大容量csvの切り取り

Question

Jo Sasaki 2019-7-11

0
链接

此问题的直接链接

https://ww2.mathworks.cn/matlabcentral/answers/471262-csv

评论： Jo Sasaki 2019-7-16

1から3000001行まで存在するcsvデータを、1データずらしで3001ずつ切り取りcsvで保存したいのですが、下記のcsvread関数ではcsvreadのところでnの変数を読み取ってくれないのですがこれに代わるデータの切り取り方はありますでしょうか？

1つのcsvデータが約14MBですので全て書き出すとなるとメモリの容量不足になりそうですが、メモリの容量は無視していただいて構いません。

書き出されるデータは連番で約300万近いデータが書き出されると思います。

n = 1;
fileNum = 1;
filename = 'testfilename.csv';
while true 
    sig = csvread(filename,n-1,0(n-1,0,n+3000,0));
    L = length(sig);       %L = 3000001
    Overwrap = 1;       %1データずつ動く
    pickupLength = 3001;   
    fileName = ['fftcsvtitle_' num2str(fileNum) '.csv'];
    csvwrite(fileName, sig);
    fileNum = fileNum + 1;
    n = n + bufOverwrap;    
    if n > L-Length
        break               
    end
end

0 个评论
显示 -2更早的评论隐藏 -2更早的评论

请先登录，再进行评论。

请先登录，再回答此问题。

Answer 1

Shoumei 2019-7-12

0
链接

此回答的直接链接

https://ww2.mathworks.cn/matlabcentral/answers/471262-csv#answer_382921

在 MATLAB Online 中打开

大規模データの取り扱いにはdatastoreが有効です。

例えば

ds = datastore('testfilename.csv')        % ここではデータは全て読み込まれない
ds.ReadSize = 3000                            % データを読み込むチャンク数を設定
sig1 = read(ds)                                    % 3000サンプル読み込み
sig2 = read(ds)                                    % 次の3000サンプル読み込み
% ....以下続く