# バッチインポート

バッチインポートでは、履歴データを一括で読み込んだり、増分データの定期収集をスケジュールできます。Treasure AIは以下のインポート方法をサポートしています。

## CSVまたはTSVファイルのアップロード

Treasure コンソールからCSVまたはTSVファイルを直接アップロードできます。

1. Treasure コンソールを開きます。
2. **Integrations Hub** > **Catalog** に移動します。右上にアップロードオプションが表示されます。
![Integrations Hub CatalogのUpload Fileボタン](/assets/image-20191016-205214.73dbb26b5977bcdd997ec53e497bf84ec2155b07d6c085ec6f98a8ef1e96642a.b2039cd8.png)
3. **Upload File** を選択します。
4. ファイルをウィンドウにドラッグするか、参照して選択します。
![ドラッグ&ドロップ対応のローカルファイルアップロードダイアログ](/assets/image-20191016-203336.937b1cfb4c0daa9f0a192bbbaf89fec6c04e231c3364dc2014618f9365bc784f.b2039cd8.png)
5. データをプレビューします。
6. オプションで **Advanced Settings** を選択し、ファイルのデコード、区切り文字、カラム名、データ型を設定します。
7. Treasure AI内の転送先データベースとテーブルを指定します。
8. オプションで、テーブルの既存データに追加するか置換するかを選択します。
9. オプションで、パーティションキーとして使用するタイムスタンプを指定します。
10. **Upload** を選択します。


ファイルサイズ制限
Treasure コンソールからのCSV/TSVアップロードは200 MB未満である必要があります。

## インテグレーションを使用したインポート

カタログからインポートインテグレーションを設定して、Treasure AIにデータをバルクロードできます。Treasure AIは、Webサイトトラッキング、モバイルアプリ、ソーシャルメディア、クラウドストレージ、データベースなど多数のコネクタを提供しています。

インテグレーションベースのインポートを設定するには：

1. Treasure コンソールを開き、**Integrations Hub** > **Catalog** に移動します。
2. 追加するデータソースタイプを選択します。
3. データソースにアクセスするための認証情報を入力します。
4. ソース設定（取得するデータ）を定義します。
5. データをプレビューします（オプション）。
6. 転送先データベースとテーブルを定義します。
7. データ収集のスケジュールを設定します。


設定後、**Integrations Hub** > **Sources** からソースを管理できます。詳細は[データソースの新規作成](/ja/products/customer-data-platform/integration-hub/batch/import/creating-a-new-data-source)を参照してください。

## Embulkによるバルクデータインポート

大規模なインポートには、Treasure AIがサポートするオープンソースのバルクデータローダー [Embulk](https://www.embulk.org/docs/) を使用します。Embulkは、データベース、ストレージ、ファイル形式、クラウドサービス間でデータを転送します。

- [Bulk Data Importのインストール](/ja/products/customer-data-platform/integration-hub/batch/import/bulk-data-import#installing-bulk-data-import) — EmbulkとTreasure AIプラグインのインストール
- [Bulk Importインテグレーションオプション](/ja/products/customer-data-platform/integration-hub/batch/import/bulk-data-import#bulk-import-integration-options) — サポートされるソースコネクタ
- [Bulk Importでの環境変数の使用](/ja/products/customer-data-platform/integration-hub/batch/import/using-environment-variables-with-bulk-import)


## データ変換 

インポート時に、パーサー、フィルター、デコーダーを適用して、Treasure AIに格納する前にデータを変換できます。

- **パーサー** — CSV、JSON、Avro、MessagePackなどのファイル形式を解釈します。[パーサー](/ja/products/customer-data-platform/integration-hub/batch/import/parser/csv-parser-function)を参照してください。
- **フィルター** — カラムの操作、JSONの展開、データマスキングなどを行います。[フィルター関数について](/ja/products/customer-data-platform/integration-hub/batch/import/filter/about-filter-functions)を参照してください。
- **デコーダー** — パース前に圧縮またはエンコードされたファイルをデコードします。[File Decoder Function](/ja/products/customer-data-platform/integration-hub/batch/import/decoder/file-decoder-function)を参照してください。


## TD Toolbelt（CLI）を使用したインポート

上級ユーザーはTD Toolbeltコマンドラインインターフェースを使用してデータをインポートできます：

- [データベースドライバーを使用したデータインポート](/tools/cli-and-sdks/using-database-drivers-to-import-your-data)
- [ストリーミングログデータのキャプチャ](/products/customer-data-platform/integration-hub/streaming/td-agent/capturing-streaming-log-data)
- [Treasure ワークフローを使用した増分データインポート](/ja/products/customer-data-platform/integration-hub/batch/import/about-incremental-data-import-using-td-workflow)
- [Windowsバッチファイル用のTDインポート時刻形式の設定](/tools/cli-and-sdks/setting-the-td-import-time-format-for-a-windows-batch-file)