SnowflakeでのLive Connect Zero Copy

この機能はベータ版です。詳細については、カスタマーサクセス担当者にお問い合わせください。

SnowflakeデータウェアハウスからのZero-Copyの実行は、Treasure Data Snowflakeインテグレーションを活用してフェデレーテッドクエリを実行します。データフローは次のようになります:

Snowflakeでzero-copyを実装するための手順は、概略として以下の通りです:

TD Integration Hubで、Snowflakeインテグレーションを使用して認証を作成します。
新しいZero-Copyソースを作成し、「Zero-Copy Config」としてRole Name、Warehouse、およびDatabaseを指定します。
TD Data Workbenchで、新しいQueryを作成します。クエリするテーブル名の前に、作成したばかりのzero-copyソースの名前を付けます。例えば、次のように設定されたsnowflake_connという名前のZero-Copy (Federated Query)設定がある場合:

次のように、YANデータベースのtable1のクエリを指定できます:

select * from snowflake_conn.test_schema.table1

test_schemaはSnowflakeのスキーマ名です。

Treasure Dataがクエリ結果の処理を完了した後、クエリ結果は7日後に削除されます。ただし、INSERT INTOオプションを使用して、クエリ結果をTreasure Dataに保存できます。

制限事項

SnowflakeでのZero-Copyには、以下の制限があります:

カタログ名の長さは64文字を超えることはできません。
カタログ名のプレフィックスはsnowflake_で始まる必要があります。
1つのアカウントで作成できる「Zero-Copy (Federated Query) Configs」は、対応するすべてのデータウェアハウス（DWH）を合わせて最大200個です。各Configは1つのデータウェアハウスへの接続設定であり、Trinoの1つのカタログに対応します。この制限はConfigに適用され、テーブル数には適用されません。
フェデレーテッドクエリはTrinoでのみ利用可能で、Array型をサポートしていません。
10GBの入力制限がクエリごとに外部データウェアハウスから読み取るデータ量に適用されます。クエリ結果のサイズやTreasure AIのストレージから読み取るデータ量には適用されません。制限が有効な場合、実行中に10GBを超えるとクエリは中止されます。この制限は現在、本番環境ではデフォルトで有効になっていませんが、近い将来デフォルトで適用される予定です。お客様自身でこの制限を変更することはできませんが、Treasure AIサポートへのリクエストにより上限を調整することが可能です。
カタログ反映時間:最大5分(新しく作成されたzero-copyカタログまたはカタログの変更が反映されるまで最大5分かかります。)