{"templateId":"markdown","sharedDataIds":{"sidebar":"sidebar-@l10n/ja/sidebars.yaml"},"props":{"metadata":{"markdoc":{"tagList":[]},"type":"markdown"},"seo":{"title":"About Incremental Loading","description":"Treasure AI CDPのインクリメンタルローディング機能について、データソースの効率的な取り込みと最新性を維持する方法を解説します。大容量データの段階的なインポートと使用量の最適化に役立つ技術です。","siteUrl":"https://docs.treasure.ai","lang":"en-US","jsonLd":{"@context":"https://schema.org","@graph":[{"@type":"Organization","@id":"https://www.treasure.ai/","name":"Treasure AI","url":"https://www.treasure.ai/","logo":"https://www.treasure.ai/hubfs/assets/images/logos/primary-logo.svg"},{"@type":"WebSite","@id":"https://docs.treasure.ai/#website","name":"Treasure AI Documentation","url":"https://docs.treasure.ai/","inLanguage":["en","ja"],"publisher":{"@id":"https://www.treasure.ai/"}}]}},"dynamicMarkdocComponents":[],"compilationErrors":[],"ast":{"$$mdtype":"Tag","name":"article","attributes":{},"children":[{"$$mdtype":"Tag","name":"Heading","attributes":{"level":1,"id":"about-incremental-loading","__idx":0},"children":["About Incremental Loading"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["Treasure Data CDPの多くのbatch input connectorsは、incremental data loadingをサポートしています。この機能は、次のような場合に便利です:"]},{"$$mdtype":"Tag","name":"ul","attributes":{},"children":[{"$$mdtype":"Tag","name":"li","attributes":{},"children":["data sourcesが大きすぎて、定期的に完全に再インポートできない場合。"]},{"$$mdtype":"Tag","name":"li","attributes":{},"children":["情報を最新の状態に保つために、更新されたデータを頻繁にインポートする必要がある場合。"]},{"$$mdtype":"Tag","name":"li","attributes":{},"children":["使用量を最適化するために、取り込まれる行数を最小限に抑える必要がある場合。"]}]},{"$$mdtype":"Tag","name":"Heading","attributes":{"level":2,"id":"incremental-loadの仕組み","__idx":1},"children":["Incremental Loadの仕組み"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["incremental loadingを有効にするには、data sourceに新しいレコードを識別するのに役立つ特定のカラム(例: created_date)が必要です。incremental loadを有効にする方法は、Integration HubとTreasure ワークフローのどちらを使用しているかによって異なります。"]},{"$$mdtype":"Tag","name":"Heading","attributes":{"level":2,"id":"integration-hub経由のincremental-load","__idx":2},"children":["Integration Hub経由のIncremental Load"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["Integration Hubでsource settingを使用する場合、incremental loadメカニズムはTreasure Dataによって管理されます。プロセスは次のように機能します:"]},{"$$mdtype":"Tag","name":"ol","attributes":{},"children":[{"$$mdtype":"Tag","name":"li","attributes":{},"children":["ユーザーは1つ以上のincremental columns(例: ",{"$$mdtype":"Tag","name":"code","attributes":{},"children":["id,"]}," ",{"$$mdtype":"Tag","name":"code","attributes":{},"children":["created_at)を指定します。"]}]},{"$$mdtype":"Tag","name":"li","attributes":{},"children":["input connectorは定期的に実行されるようにスケジュールされます。"]},{"$$mdtype":"Tag","name":"li","attributes":{},"children":["Treasure Dataは、",{"$$mdtype":"Tag","name":"code","attributes":{},"children":["Config Diff"]},"という特別なセクションにincremental columnsの最新の値を自動的に記録します。"]},{"$$mdtype":"Tag","name":"li","attributes":{},"children":["スケジュールされた各実行で、connectorはこれらの記録された値に基づいて新しいレコードのみを取得します。"]}]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["Treasure Dataはlast_recordsを自動的に維持および更新するため、ユーザーは各実行のためにparametersを手動で設定する必要はありません。"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["このアプローチは、前回のスケジュールされた実行以降に変更されたobject targetsのみを取得したい場合に便利です。"," ","例えば、UIでは:"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":[{"$$mdtype":"Tag","name":"img","attributes":{"src":"/assets/incremental1.bd8de63b4b82f357f5dfd0776df91405e70977c6d82d8927be94760cd09eaaaa.9b411a8b.png","alt":""},"children":[]}]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["MySQL、BigQuery、SQL serverなどのdatabase integrationsでは、incremental dataをロードするためにcolumnまたはfield namesが必要です。例えば:"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":[{"$$mdtype":"Tag","name":"img","attributes":{"src":"/assets/incrementalloading.7d9cc254817b7a3d616c26f0a9bcea5ff5c67203dc8f00fe2d3c401ed94e3b6b.9b411a8b.png","alt":""},"children":[]}]},{"$$mdtype":"Tag","name":"Heading","attributes":{"level":2,"id":"treasure-ワークフロー経由のincremental-load推奨","__idx":3},"children":["Treasure ワークフロー経由のIncremental Load(推奨)"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["Treasure ワークフロー経由でincremental loadingを設定する場合、プロセスはユーザーによる明示的な管理が必要です。UIベースのアプローチとは異なり、Treasure ワークフローはincremental valuesを自動的に追跡しません。代わりに:"]},{"$$mdtype":"Tag","name":"ol","attributes":{},"children":[{"$$mdtype":"Tag","name":"li","attributes":{},"children":["ユーザーは、",{"$$mdtype":"Tag","name":"code","attributes":{},"children":["session_time"]},"やその他のworkflow parametersなどのworkflow variablesを使用して、独自のincremental logicを定義します。"]},{"$$mdtype":"Tag","name":"li","attributes":{},"children":["この",{"$$mdtype":"Tag","name":"code","attributes":{},"children":["session_time値はconnector configuration fileに注入されます。"]}]},{"$$mdtype":"Tag","name":"li","attributes":{},"children":["workflowが実行されるたびに、指定されたsession timeを使用してどのデータをインポートするかを決定します。"]},{"$$mdtype":"Tag","name":"li","attributes":{},"children":["workflow sessionが失敗した場合、同じ",{"$$mdtype":"Tag","name":"code","attributes":{},"children":["session_time"]},"を再利用してデータの一貫性を確保できます。"]}]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["このアプローチは、履歴データを再ロードする必要があるbackfill operationsなどのシナリオを処理できるように、より柔軟性を持つように設計されています。"]},{"$$mdtype":"Tag","name":"Heading","attributes":{"level":3,"id":"incremental-loading用のymlファイルを作成する","__idx":4},"children":["incremental loading用のYMLファイルを作成する"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["このアプローチでは、input connectorのincremental-loading機能は使用されません。代わりに、workflow variablesがconnector configurationに注入され、各workflow sessionでデータの異なる部分をロードできるようになります。"]},{"$$mdtype":"Tag","name":"ol","attributes":{},"children":[{"$$mdtype":"Tag","name":"li","attributes":{},"children":[{"$$mdtype":"Tag","name":"p","attributes":{},"children":["workflow variableの使用を宣言するworkflow definitionを作成します。workflowは、incremental loadingやその他の目的に役立つさまざまなvariablesを提供します。"]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":[{"$$mdtype":"Tag","name":"img","attributes":{"src":"/assets/image-20240906-102329.185571543c525237614e864df719771ad9739dc84b33eb7ece3500e9bf113bcd.9b411a8b.png","alt":""},"children":[]}]}]},{"$$mdtype":"Tag","name":"li","attributes":{},"children":[{"$$mdtype":"Tag","name":"p","attributes":{},"children":[{"$$mdtype":"Tag","name":"code","attributes":{},"children":["last_session_time"]}," variableをinput connector configuration fileに注入します。"," ",{"$$mdtype":"Tag","name":"img","attributes":{"src":"/assets/image-20240906-102711.f98a8bef8b79782b82df229906b096bca532647f92c6b1c011443d2e48930391.9b411a8b.png","alt":""},"children":[]}]}]},{"$$mdtype":"Tag","name":"li","attributes":{},"children":[{"$$mdtype":"Tag","name":"p","attributes":{},"children":["workflowによってinput connectorがトリガーされると、適切なlast session timeがconnector configuration fileに注入されます。失敗したworkflow sessionのリトライがある場合、variable valueは変更されません。"]}]}]},{"$$mdtype":"Tag","name":"p","attributes":{},"children":["これらのアプローチの違いを理解することで、ユーザーは特定のdata ingestionニーズに基づいて最適な方法を選択できます。"]}]},"headings":[{"value":"About Incremental Loading","id":"about-incremental-loading","depth":1},{"value":"Incremental Loadの仕組み","id":"incremental-loadの仕組み","depth":2},{"value":"Integration Hub経由のIncremental Load","id":"integration-hub経由のincremental-load","depth":2},{"value":"Treasure ワークフロー経由のIncremental Load(推奨)","id":"treasure-ワークフロー経由のincremental-load推奨","depth":2},{"value":"incremental loading用のYMLファイルを作成する","id":"incremental-loading用のymlファイルを作成する","depth":3}],"frontmatter":{"seo":{"title":"About Incremental Loading","description":"Treasure AI CDPのインクリメンタルローディング機能について、データソースの効率的な取り込みと最新性を維持する方法を解説します。大容量データの段階的なインポートと使用量の最適化に役立つ技術です。"}},"lastModified":"2026-06-17T07:22:53.000Z","pagePropGetterError":{"message":"","name":""}},"slug":"/ja/int/about-incremental-loading","userData":{"isAuthenticated":false,"teams":["anonymous"]},"isPublic":true}