# バルクデータインポート

バルクデータインポートは、比較的短時間で大量のデータをデータベースにロードします。一度に多くのデータをロードする必要がある場合、1行ずつ挿入するのは非効率的です。バルクインポート操作は、より効率的な方法を使用します。

バルク操作は、トリガーや整合性チェック（制約など）をバイパスする場合があります。これらをバイパスすることで、データロードのパフォーマンスを大幅に向上させることができます。

## バルクインポートインテグレーションオプション 

Embulkを使用して、Treasure AIにデータを一括インポートします。Treasure AIは、以下からデータを一括インポートできるインテグレーションを提供しています。

* [Embulk Bulk Import from AWS S3](https://docs.treasuredata.com/smart/project-integrations/embulk-bulk-import-from-aws-s3)
* [Embulk Bulk Import from Google Sheets](https://docs.treasuredata.com/smart/project-integrations/embulk-bulk-import-from-google-sheets)
* [Bulk Import from MySQL](https://docs.treasuredata.com/smart/project-integrations/embulk-bulk-import-from-mysql)


## Embulkのインストール 

Treasure AIのオープンソースバルクデータローダー [Embulk](http://www.embulk.org/docs/) を使用してデータをインポートできます。Embulkは、さまざまなデータベース、ストレージロケーション、ファイル形式、クラウドサービス間でデータを転送するのに役立ちます。

### 前提条件

* Treasure AIの基本知識
* [Embulk](http://www.embulk.org/docs/)の基本知識
* Javaがインストールされていること（EmbulkはJavaアプリケーションです）
* [JRuby](https://www.jruby.org/download)がインストールおよび設定されていること（Embulk v0.10.50およびv0.11.0にはJRubyが含まれていません。詳細については、[Embulk v0.11 is coming soon](https://www.embulk.org/articles/2023/04/13/embulk-v0.11-is-coming-soon.html)の「JRuby」セクションを参照してください）


### コマンドラインからのEmbulkのインストール

Linux / macOS / BSD

```bash
curl --create-dirs -o ~/.embulk/bin/embulk -L "http://dl.embulk.org/embulk-latest.jar"
chmod +x ~/.embulk/bin/embulk
echo 'export PATH="$HOME/.embulk/bin:$PATH"' >> ~/.bashrc
source ~/.bashrc
```

Windows (PowerShell)

```powershell
Invoke-WebRequest http://dl.embulk.org/embulk-latest.jar -OutFile embulk.bat
```

### Embulk Treasure Dataプラグインのインストール

Embulkプラグインは、さまざまなシステムやファイル形式との間でデータをロードします。[Embulkプラグインのリスト](https://plugins.embulk.org/)を参照してください。

`embulk-output-td`プラグイン（Treasure AIにレコードをインポート）をインストールします：


```bash
embulk gem install embulk-output-td
```

### プロキシサーバーの使用

アップロードできない場合は、ネットワークがプロキシを使用しているかどうかを確認してください。コマンドラインオプションでプロキシを設定します：

Linux

```bash
embulk -J-Dhttp.proxyHost=HOST -J-Dhttp.proxyPort=PORT -J-Dhttp.proxyUser=USER -J-Dhttp.proxyPassword=PASS run config.yml
```

Windows

```powershell
embulk.bat "-J-Dhttps.proxyHost=HOST" "-J-Dhttps.proxyPort=PORT" "-J-Dhttp.proxyUser=USER" "-J-Dhttp.proxyPassword=PASS" run config.yml
```

Java（直接実行）

```bash
java -Dhttps.proxyHost=HOST -Dhttps.proxyPort=PORT -jar embulk.bat run config.yml
```

## バルクインポートでの環境変数の使用

[バルクインポートでの環境変数の使用](/ja/products/customer-data-platform/integration-hub/batch/import/using-environment-variables-with-bulk-import)を参照してください。