連続する配列領域として大きすぎるため、配列を確保しようとするとページングが発生し、長い処理時間がかかるようになり、結果としてMATLABが反応しなくなる危険があるため、エラーとなっております。
ワークスペース変数で利用できる配列サイズは下記に記載がありますので、ご参照ください。
もし、フレームごとに画像として取得したい場合は、セルに格納する手段がありますし、implayのような巻き戻しなどはないですが、動画として見たいのであればimshowで代用はいかがでしょうか。
cellImage = cell(int64(v.FrameRate*v.Duration), 1);
% m = zeros(v.Height, v.Width, 3, int64(v.FrameRate*v.Duration),'uint8');
k = 1;
while hasFrame(v)
img = readFrame(v);
cellImage{k, 1} = img;
imshow(img);
k = k + 1;
end
