複数のCSVファイルを取り込む方法について

[shirai...@gmail.com]

複数のCSVファイルからポイントデータを作成したいと思っております。

バッチ処理する方法ってあるのでしょうか？

少なければデリミティッドテキストレイヤの追加で行うのですが、数百ファイルあります。

どのようにすればよいでしょうか？

[wata909]

shp形式のポイントデータを作成するのであれば、QGISではなく、コマンドラインからの作業になりますが

以下の記事が参考になるかと思います。

Bulk csv to shapefile (using ogr2ogr)

https://gis.stackexchange.com/questions/276590/bulk-csv-to-shapefile-using-ogr2ogr

windows 環境で、入力csvファイルの緯度経度が lat lon みたいな形で書かれていて、入出力がWGS84であれば、csvファイルのある

フォルダで、以下のコマンドを実行すれば出来ると思います。

for /R %f in (*.csv) do ogr2ogr -s_srs EPSG:4326 -t_srs EPSG:4326 -oo X_POSSIBLE_NAMES=Lon* -oo Y_POSSIBLE_NAMES=Lat* -f "ESRI Shapefile" "%~dpnf.shp" %f

参考までに。

[福岡]

こんにちは

以前、テキストファイルをコマンドプロンプトで結合したことがあります。

CSVを１つにまとめて、QGISに取り込むという手もあると思いました。ざっと検索して、わかりやすそうだったサイトのURLを記載しておきます。

大量のtxt・csvを10秒で結合する初心者でも簡単な方法！超図解！

https://rakuzanet.jp/txt-csv-combine-zukai.html

[shirai...@gmail.com]

ありがとうございます。

試してみます。

[shirai...@gmail.com]

 ogr2ogrでは

変換はできたようですが、エラーが出ていました。

シェープファイルを確認するとフィールド数がシェープファイルの制限数に達していたようで、

途中からなくなってしまっていました。

CSVを一つのファイルに合体させるのも手なのですがファイル名（レイヤ名）を内部に持たせたかったのでうまくいかず。

あとこのやり方だとフィールド名もくっついてしまいますよね。

なかなか難しいです。

[wata909]

こんばんわ、

フィールド数の問題であれば出力ファイル形式を変えれば行けると思います。

for /R %f in (*.csv) do ogr2ogr -s_srs EPSG:4326 -t_srs EPSG:4326 -oo X_POSSIBLE_NAMES=Lon* -oo Y_POSSIBLE_NAMES=Lat* -nln %~dpnf -f SQLite "test.sqlite" %f -append

で、spatialiteに出力できました。なおこれですと、test.sqliteのなかに、csvがレイヤとして保存されます。

ただ、フィールド数は５０ぐらいまではダミーで作りましたが、正しくは検証しておりません。

[wata909]

あ、本件、discordのQGIS雑談で、n_aritaさんからアドバイス頂きました。ありがとうございますm(__)m

[wata909]

こちらのblogも参考になるかと思います。

https://ryotts.wordpress.com/2018/09/07/qgis%E3%81%A7%E3%83%90%E3%83%83%E3%83%81%E5%87%A6%E7%90%86%EF%BC%88%E3%81%9D%E3%81%AE2%EF%BC%89/

[shirai...@gmail.com]

wata909さま

ありがとうございます。

実行してみました。

以下のようなエラーが出ました。

ERROR 1: Unable to write feature 1 from layer CSVのファイル名

ERROR 1: Terminating translation prematurely after failed

フィールド数は1046あります。

フィールド数を削ってRか何かでテキスト処理する方法も考えてみます。

[wata909]

なるほど。

1000以上のフィールドで作ってみて試してみましたが、たしかにエラーが出ますね。

こちらでは、上記のエラーの前に

ERROR1 : fail to prepare SQL

というエラーが出ましたが、いかがでしょうか？

それからちょっと初めにもどって、「CSVファイルからポイントデータをつくる」ですが、

作った後にどのように使うかによって、どの様に変換するのか、方法も少し変わってくると思います。

単純に、表示するだけであればcsvのままでもいい、という選択肢もあるかもしれません。

[wata909]

こんにちは

discordのチャットの方で、@yoh_chan さんにうかがったところ、SpatiaLiteのもとになっているSQLiteの制限ではないか、

とのことでした。変数は最大999までのようです。

Maximum Number Of Host Parameters In A Single SQL Statement

https://www.sqlite.org/limits.html

ご参考までに。

[adachi]

①csvファイルの読み込み→②shpファイルへのエクスポート　という2段階の手間ですが…

pythonとプラグインを駆使してできそうでしたので情報共有させていただきます。

なおプログラミングは全くの素人なので、前半部分はネットからの受け売りです。

http://chris35wills.github.io/multi_csv_into_qgis/

前提：Cドライブ直下の「temp」というフォルダにa.csvとb.csvがあり、この中の「x」「y」というフィールドにx座標y座標が記録されている

　　　※このうちa.csvについてはフィールド数、レコード数ともに1000以上で試行してみました

動作条件：QGIS2.18

　　　　　※QGIS3以降は、pythonの記述の仕方が変わったのか実行エラーが出ました…

1. 「プラグイン」メニュー > pythonコンソールを表示、「エディタの表示」をクリック

2. 出てきた右側のウィンドウに以下のコードをペースト

※黄色の部分を、お使いのデータに合わせて変える必要があります（たぶん）

import os.path, glob

layers=[]

for file in glob.glob('C:/temp/*'): # Change this base path

  uri = "file:///" + file + "?type=csv&xField=x&yField=y&spatialIndex=no&subsetIndex=no&watchFile=no&crs=epsg:4326"

  vlayer = QgsVectorLayer(uri, os.path.basename(file), "delimitedtext")

  vlayer.addAttributeAlias(0,'x')

  vlayer.addAttributeAlias(1,'y')

  layers.append(vlayer)

QgsMapLayerRegistry.instance().addMapLayers(layers)

3. 実行すると読み込まれます

4. Batch Save Layersというプラグインをインストール、起動

5. 以下のように設定

6. 「OK」をクリックすると、「Destination Folder」で指定したディレクトリの「ESRI Shapefile」というフォルダの中に変換後のシェイプファイルが保存されます