バルクデータインポート

バルクデータインポートは、比較的短時間で大量のデータをデータベースにロードします。一度に多くのデータをロードする必要がある場合、1行ずつ挿入するのは非効率的です。バルクインポート操作は、より効率的な方法を使用します。

バルク操作は、トリガーや整合性チェック（制約など）をバイパスする場合があります。これらをバイパスすることで、データロードのパフォーマンスを大幅に向上させることができます。

バルクインポートインテグレーションオプション

Embulkを使用して、Treasure AIにデータを一括インポートします。Treasure AIは、以下からデータを一括インポートできるインテグレーションを提供しています。

Embulkのインストール

Treasure AIのオープンソースバルクデータローダー Embulk を使用してデータをインポートできます。Embulkは、さまざまなデータベース、ストレージロケーション、ファイル形式、クラウドサービス間でデータを転送するのに役立ちます。

前提条件

Treasure AIの基本知識
Embulkの基本知識
Javaがインストールされていること（EmbulkはJavaアプリケーションです）
JRubyがインストールおよび設定されていること（Embulk v0.10.50およびv0.11.0にはJRubyが含まれていません。詳細については、Embulk v0.11 is coming soonの「JRuby」セクションを参照してください）

コマンドラインからのEmbulkのインストール

curl --create-dirs -o ~/.embulk/bin/embulk -L "http://dl.embulk.org/embulk-latest.jar"
chmod +x ~/.embulk/bin/embulk
echo 'export PATH="$HOME/.embulk/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc

Embulk Treasure Dataプラグインのインストール

Embulkプラグインは、さまざまなシステムやファイル形式との間でデータをロードします。Embulkプラグインのリストを参照してください。

embulk-output-tdプラグイン（Treasure AIにレコードをインポート）をインストールします：

embulk gem install embulk-output-td

プロキシサーバーの使用

アップロードできない場合は、ネットワークがプロキシを使用しているかどうかを確認してください。コマンドラインオプションでプロキシを設定します：

embulk -J-Dhttp.proxyHost=HOST -J-Dhttp.proxyPort=PORT -J-Dhttp.proxyUser=USER -J-Dhttp.proxyPassword=PASS run config.yml

バルクインポートでの環境変数の使用

バルクインポートでの環境変数の使用を参照してください。