ファイルサイズが大きいCSVファイルの読み込みについて
显示 更早的评论
ファイルサイズが、行2000000 列10のファイルを読み込みたいです。 データインポートでは時間がかかってしまいます。 また、datastoreだと行数が多きいためエラーになってしまいます。
このファイルを読み込む方法を教えてください。
采纳的回答
datastore が最適な気がしますが、どんな読み込みをされたときにどんなエラーがでましたか？
200万x10の行列だと、double 型で大体 150MBのサイズになりますが・・これをすべてメモリ上に読み込む必要がありますか？
4 个评论
neshin
2018-10-19
Kazuya
2018-10-19
エラーの内容ありがとうございます。エラーの原因はデータの大きさではないようですね。私も以前出くわしたことがありますが、
各行と各列のフィールド数が揃った表形式ではありません。
とあるように、456132行目かその次あたりでフォーマットが崩れている可能性がありそうでが、、いかがですか？例えば
ds = datastore(filename);
ds.ReadSize = 456132;
data = read(ds);
と読み込めるところまで読み取ったデータ（の最後付近の値）をもとに、csvファイル内で検索かけて怪しいところがないか確認してみてはいかがでしょう。
neshin
2018-10-20
Kazuya
2018-10-20
datastoreで読み込めるサイズが決まっているということはなさそうですが・・。もやもやしますね。。
私の場合は、数値であるべき列に途中で文字列が混ざっていたのが原因で途中で読み込みが止まっていた、、と記憶しています。その場合、readtable で読むと数値で読み込むはずの列が、セル配列になってたりするのでわかりやすいのですけども。
更多回答（1 个）
类别
在 帮助中心 和 File Exchange 中查找有关 データ ストア 的更多信息
