ファイルサイズが大き​いCSVファイルの読​み込みについて

65 次查看（过去 30 天）
neshin
neshin 2018-10-19
回答： neshin 2018-10-21
ファイルサイズが、行2000000 列10のファイルを読み込みたいです。 データインポートでは時間がかかってしまいます。 また、datastoreだと行数が多きいためエラーになってしまいます。
このファイルを読み込む方法を教えてください。

请先登录，再回答此问题。

采纳的回答

Kazuya
Kazuya 2018-10-19
编辑：Kazuya 2018-10-19
datastore が最適な気がしますが、どんな読み込みをされたときにどんなエラーがでましたか？
200万x10の行列だと、double 型で大体 150MBのサイズになりますが・・これをすべてメモリ上に読み込む必要がありますか？
tall 配列の機能を使うと、一度に全部読み込まずにいろいろ計算できるので、PCのメモリ容量に不安がある場合にお勧めです。その分計算時間は余計にかかるのは難点ですが。 参照： tall 配列
対応関数リストはこちら： https://jp.mathworks.com/help/matlab/import_export/functions-that-support-tall-arrays-a-z.html
  4 个评论
显示 2更早的评论
neshin
neshin 2018-10-20
返信ありがとうございます。 色々調べたのですが、ファーマットが壊れている箇所はありませんでした。 datastoreでは、読み込めるサイズが決まってるのでしょうか？
とりあえず、このコードで読み込めました。
data = readtable(filename, 'delimiter', ',');
data;
何度も、ありがとうございました。
Kazuya
Kazuya 2018-10-20
datastoreで読み込めるサイズが決まっているということはなさそうですが・・。もやもやしますね。。
私の場合は、数値であるべき列に途中で文字列が混ざっていたのが原因で途中で読み込みが止まっていた、、と記憶しています。その場合、readtable で読むと数値で読み込むはずの列が、セル配列になってたりするのでわかりやすいのですけども。

请先登录，再进行评论。

更多回答（1 个）

neshin
neshin 2018-10-21
解明方法を探して頂いてありがとうございました。 また、知恵をかしていただければと思います。

类别

在 Help Center 和 File Exchange 中查找有关 データ ストア 的更多信息

标签

Community Treasure Hunt

Find the treasures in MATLAB Central and discover how the community can help you!

Start Hunting!