数値とテキストの混在したcsvファイルの扱い

10 次查看(过去 30 天)
HIronori Kamachi
HIronori Kamachi 2020-12-4
数値データ(各種データ)とテキストデータ(銘柄名)の混在したquerydata.csvファイルがあります。
実際のデータは、行数、列数も大きい(60万行*250列程度)ので、readcellでは読込時間がかかり、readmatrixではテキストデータが読みこめません。
なるべく速い読み込みで、データを落とさずに同じ形の配列(queryall)を作成するにはどうすればよいのでしょうか。
ご教示いただけますよう、よろしくお願いいたします。
なお、銘柄名にはテキストとして認識されるアルファベットと数字からなるものと、数字だけのものが混在しています。
例) querydata.csv 1-3列目:各種データ、4列目:銘柄名
  4 个评论
HIronori Kamachi
HIronori Kamachi 2020-12-14
Kenta様
コメントいただき、ありがとうございます。
読み込みに関してはreadtableでいけるかもしれません。ここに質問した後に自分でもいろいろ試してみましたら、銘柄列をtable2array()でcell配列に、数値データ列をtable2cell()でcell配列にして結合すると、queryall配列がcell配列で生成できるというのはわかりました。
ただ、最初の質問には書いておりませんでしたが、結合したqueryall配列を最終的には.csvファイルに書きこみたいので、結局writecellにするとすごく時間がかかるような感じですので、別のやり方はないかと考えている次第です。
実際は、書きこんだqueryall.csvファイルを1行ずつ読み込んで1行ずつquery.csvとして吐き出すプログラムAがあり、その吐き出されたquery.csvを別のプログラムBが読み込んで計算を実施するような動作をさせております。
本来は1分毎に測定データ等を管理するサーバから吐き出されたquery.csvをプログラムBが読み込んで計算を実施するところを、プログラムAにより過去データ等を使用して連続してquery.csvを吐き出させるようにして、プログラムBのパラメータのケーススタディの速度を速くする目的でやっております。
その際のLogファイルの吐き出し等にも応用出来ればと思い、現在、比較的時間のかかるwritecell以外の方法はないかと考えている次第です。

请先登录,再进行评论。

回答(0 个)

产品


版本

R2019b

Community Treasure Hunt

Find the treasures in MATLAB Central and discover how the community can help you!

Start Hunting!