バッチインポート

バッチインポートでは、履歴データを一括で読み込んだり、増分データの定期収集をスケジュールできます。Treasure AIは以下のインポート方法をサポートしています。

Treasure コンソールからCSVまたはTSVファイルを直接アップロードできます。

1. Treasure コンソールを開きます。

2. Integrations Hub > Catalog に移動します。右上にアップロードオプションが表示されます。

   

3. Upload File を選択します。

4. ファイルをウィンドウにドラッグするか、参照して選択します。

   

5. データをプレビューします。

6. オプションで Advanced Settings を選択し、ファイルのデコード、区切り文字、カラム名、データ型を設定します。

7. Treasure AI内の転送先データベースとテーブルを指定します。

8. オプションで、テーブルの既存データに追加するか置換するかを選択します。

9. オプションで、パーティションキーとして使用するタイムスタンプを指定します。

10. Upload を選択します。

カタログからインポートインテグレーションを設定して、Treasure AIにデータをバルクロードできます。Treasure AIは、Webサイトトラッキング、モバイルアプリ、ソーシャルメディア、クラウドストレージ、データベースなど多数のコネクタを提供しています。

インテグレーションベースのインポートを設定するには：

1. Treasure コンソールを開き、Integrations Hub > Catalog に移動します。
2. 追加するデータソースタイプを選択します。
3. データソースにアクセスするための認証情報を入力します。
4. ソース設定（取得するデータ）を定義します。
5. データをプレビューします（オプション）。
6. 転送先データベースとテーブルを定義します。
7. データ収集のスケジュールを設定します。

設定後、Integrations Hub > Sources からソースを管理できます。詳細はデータソースの新規作成を参照してください。

大規模なインポートには、Treasure AIがサポートするオープンソースのバルクデータローダー Embulk を使用します。Embulkは、データベース、ストレージ、ファイル形式、クラウドサービス間でデータを転送します。

• Bulk Data Importのインストール — EmbulkとTreasure AIプラグインのインストール
• Bulk Importインテグレーションオプション — サポートされるソースコネクタ
• Bulk Importでの環境変数の使用

インポート時に、パーサー、フィルター、デコーダーを適用して、Treasure AIに格納する前にデータを変換できます。

• パーサー — CSV、JSON、Avro、MessagePackなどのファイル形式を解釈します。パーサーを参照してください。
• フィルター — カラムの操作、JSONの展開、データマスキングなどを行います。フィルター関数についてを参照してください。
• デコーダー — パース前に圧縮またはエンコードされたファイルをデコードします。File Decoder Functionを参照してください。

上級ユーザーはTD Toolbeltコマンドラインインターフェースを使用してデータをインポートできます：

• データベースドライバーを使用したデータインポート
• ストリーミングログデータのキャプチャ
• Treasure ワークフローを使用した増分データインポート
• Windowsバッチファイル用のTDインポート時刻形式の設定