{"templateId":"markdown","sharedDataIds":{"sidebar":"sidebar-@l10n/ja/sidebars.yaml"},"props":{"metadata":{"markdoc":{"tagList":[]},"type":"markdown"},"seo":{"title":"AWS S3からのEmbulkバルクインポート","description":"AWS S3からEmbulkを使用してTreasure AIにデータをインポートする方法を詳しく解説します。設定ファイルの作成、プラグインのインストール、フィールド推測の手順を紹介します。","siteUrl":"https://docs.treasure.ai","lang":"en-US","jsonLd":{"@context":"https://schema.org","@graph":[{"@type":"Organization","@id":"https://www.treasure.ai/","name":"Treasure AI","url":"https://www.treasure.ai/","logo":"https://www.treasure.ai/hubfs/assets/images/logos/primary-logo.svg"},{"@type":"WebSite","@id":"https://docs.treasure.ai/#website","name":"Treasure AI Documentation","url":"https://docs.treasure.ai/","inLanguage":["en","ja"],"publisher":{"@id":"https://www.treasure.ai/"}}]}},"dynamicMarkdocComponents":[],"compilationErrors":[],"ast":{"$$mdtype":"Tag","name":"article","attributes":{},"children":[{"$$mdtype":"Tag","name":"Heading","attributes":{"level":1,"id":"aws-s3からのembulkバルクインポート","__idx":0},"children":["AWS S3からのEmbulkバルクインポート"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["embulk-input-s3インプットプラグインを使用して、AWS S3バケットからTreasure Dataにファイルをインポートできます。"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["以下のトピックに進みます:"]},{"$$mdtype":"Tag","name":"Heading","attributes":{"level":2,"id":"前提条件","__idx":1},"children":["前提条件"]},{"$$mdtype":"Tag","name":"ul","attributes":{},"children":[{"$$mdtype":"Tag","name":"li","attributes":{},"children":["Treasure Dataの基礎知識"]},{"$$mdtype":"Tag","name":"li","attributes":{},"children":[{"$$mdtype":"Tag","name":"MarkdownLink","attributes":{"href":"http://www.embulk.org/docs/"},"children":["Embulk"]},"の基礎知識"]},{"$$mdtype":"Tag","name":"li","attributes":{},"children":[{"$$mdtype":"Tag","name":"MarkdownLink","attributes":{"href":"/products/customer-data-platform/integration-hub/batch/import/bulk-data-import#installing-bulk-data-import"},"children":["バルクデータインポートのインストール"]},"の手順に従う"]},{"$$mdtype":"Tag","name":"li","attributes":{},"children":["マシンに",{"$$mdtype":"Tag","name":"MarkdownLink","attributes":{"href":"http://www.embulk.org/docs/"},"children":["EmbulkとEmbulk-output-td"]},"プラグインがインストールされていること"]}]},{"$$mdtype":"Tag","name":"Heading","attributes":{"level":2,"id":"embulk-input-s3プラグインのインストール","__idx":2},"children":["embulk-input-s3プラグインのインストール"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["embulk-input-s3プラグインをインストールするには、以下のコマンドを実行します:"]},{"$$mdtype":"Tag","name":"CodeBlock","attributes":{"data-language":"bash","header":{"controls":{"copy":{}}},"source":"embulk gem install embulk-input-s3\n","lang":"bash"},"children":[]},{"$$mdtype":"Tag","name":"Heading","attributes":{"level":2,"id":"シード設定ファイルの作成","__idx":3},"children":["シード設定ファイルの作成"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["お好みのテキストエディタを使用して、インプット(S3)とアウトプット(TD)のパラメータを定義するEmbulk設定ファイル(例:seed.yml)を作成します。例:"]},{"$$mdtype":"Tag","name":"CodeBlock","attributes":{"data-language":"yaml","header":{"controls":{"copy":{}}},"source":"in:\n  type: s3\n  bucket: s3bucket\n  path_prefix: path/to/sample_file    # s3バケット上の*.csvまたは*.tsvファイルのパス\n  access_key_id: xxxxxxxxxx\n  secret_access_key: xxxxxxxxxxx\nout:\n  type: td\n  apikey: xxxxxxxxxxxx\n  endpoint: api.treasuredata.com\n  database: dbname\n  table: tblname\n  time_column: datecolumn\n  mode: replace\n  #デフォルトでは、定義されていない場合mode: appendが使用されます。\n  # インポートされたレコードは、このモードでターゲットテーブルに追加されます。\n  #mode: replaceは、既存のターゲットテーブルを置き換えます\n  default_timestamp_format: '%d/%m/%Y'\n","lang":"yaml"},"children":[]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["embulk-input-s3で利用可能な追加パラメータの詳細については、",{"$$mdtype":"Tag","name":"MarkdownLink","attributes":{"href":"https://github.com/embulk/embulk-input-s3"},"children":["Embulk Input S3"]},"を参照してください。"]},{"$$mdtype":"Tag","name":"Heading","attributes":{"level":2,"id":"フィールドの推測-loadymlの生成","__idx":4},"children":["フィールドの推測 (load.ymlの生成)"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["Embulkのguessオプションは、",{"$$mdtype":"Tag","name":"code","attributes":{},"children":["seed.yml"]},"を使用してターゲットファイルを読み取り、カラムのタイプ/設定を自動的に推測し、この情報を含む新しいファイル",{"$$mdtype":"Tag","name":"code","attributes":{},"children":["load.yml"]},"を作成します。"]},{"$$mdtype":"Tag","name":"CodeBlock","attributes":{"data-language":"bash","header":{"controls":{"copy":{}}},"source":"embulk guess seed.yml -o load.yml\n","lang":"bash"},"children":[]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["存在しないテーブルが自動的に作成されるように、load.ymlに\"auto_create_table: true\"パラメータを追加します。"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["以下は、.ymlファイル内のauto_create_tableパラメータのサンプルです。"]},{"$$mdtype":"Tag","name":"CodeBlock","attributes":{"data-language":"yaml","header":{"controls":{"copy":{}}},"source":"out:\n  type: td\n  apikey: your apikey\n  endpoint: api.treasuredata.com\n  database: dbname\n  table: tblname\n  time_column: created_at\n  auto_create_table: true\n  mode: append\n","lang":"yaml"},"children":[]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["ロードジョブを実行する前に、TDでdatabaseとtableを作成する必要があります。"]},{"$$mdtype":"Tag","name":"ol","attributes":{},"children":[{"$$mdtype":"Tag","name":"li","attributes":{},"children":["databaseを追加する必要がある場合、または2) .ymlファイルにauto_create_tableパラメータを追加せず、tableを追加する必要がある場合は、以下のTDコマンドを実行してください:"]}]},{"$$mdtype":"Tag","name":"CodeBlock","attributes":{"data-language":"bash","header":{"controls":{"copy":{}}},"source":"td database:create dbname\ntd table:create dbname tblname\n","lang":"bash"},"children":[]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["Treasure コンソールを使用してdatabaseとtableを作成することもできます。"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":[{"$$mdtype":"Tag","name":"code","attributes":{},"children":["embulk preview load.yml"]},"コマンドを使用してデータをプレビューできます。カラムタイプやデータに誤りがあると思われる場合は、",{"$$mdtype":"Tag","name":"code","attributes":{},"children":["load.yml"]},"ファイルを直接編集して再度プレビューして確認できます。",{"$$mdtype":"Tag","name":"code","attributes":{},"children":["guess"]},"オプションが満足のいく結果を得られない場合は、",{"$$mdtype":"Tag","name":"MarkdownLink","attributes":{"href":"http://www.embulk.org/docs/built-in.html#csv-parser-plugin"},"children":["CSV/TSVパーサープラグインオプション"]},"に従って、要件に応じて",{"$$mdtype":"Tag","name":"code","attributes":{},"children":["load.yml"]},"のパラメータを手動で変更できます。"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["Treasure コンソールまたはコマンドラインからdatabaseとtableを作成します:"]},{"$$mdtype":"Tag","name":"CodeBlock","attributes":{"data-language":"bash","header":{"controls":{"copy":{}}},"source":"$ td database:create dbname\n$ td table:create dbname tblname\n","lang":"bash"},"children":[]},{"$$mdtype":"Tag","name":"Heading","attributes":{"level":2,"id":"ロードジョブの実行","__idx":5},"children":["ロードジョブの実行"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["以下のコマンドを使用してインポートジョブを実行します:"]},{"$$mdtype":"Tag","name":"CodeBlock","attributes":{"data-language":"bash","header":{"controls":{"copy":{}}},"source":"embulk run load.yml\n","lang":"bash"},"children":[]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["データのサイズによっては、ジョブが完了するまで数分から数時間かかる場合があります。"]}]},"headings":[{"value":"AWS S3からのEmbulkバルクインポート","id":"aws-s3からのembulkバルクインポート","depth":1},{"value":"前提条件","id":"前提条件","depth":2},{"value":"embulk-input-s3プラグインのインストール","id":"embulk-input-s3プラグインのインストール","depth":2},{"value":"シード設定ファイルの作成","id":"シード設定ファイルの作成","depth":2},{"value":"フィールドの推測 (load.ymlの生成)","id":"フィールドの推測-loadymlの生成","depth":2},{"value":"ロードジョブの実行","id":"ロードジョブの実行","depth":2}],"frontmatter":{"seo":{"title":"AWS S3からのEmbulkバルクインポート","description":"AWS S3からEmbulkを使用してTreasure AIにデータをインポートする方法を詳しく解説します。設定ファイルの作成、プラグインのインストール、フィールド推測の手順を紹介します。"}},"lastModified":"2026-06-17T07:22:53.000Z","pagePropGetterError":{"message":"","name":""}},"slug":"/ja/int/embulk-bulk-import-from-aws-s3","userData":{"isAuthenticated":false,"teams":["anonymous"]},"isPublic":true}