Workflows SFTPデータコネクタの例

1. 以下のURLからサンプルプロジェクトをダウンロードします

GitHub Gist

2. ダウンロードしたプロジェクトを解凍します。例えば、コマンドラインから以下を実行できます：

tar xzvf sftp_pull_push.tar.gz

3. 新しく作成されたワークフロープロジェクトディレクトリに移動します。例：

cd sftp_pull_push

_imports/sample_data.csv_ファイルをSFTPサーバーにアップロードします。このファイルには、後でクエリに使用する22件のサンプルデータレコードが含まれています。

1. _pull_push.dig_ファイルを変更し、エクスポート用のSFTPサーバーの設定で**<...>内の値を置き換えてresult_url**を更新します。

_export:
  td:
    database: workflow_temp

+import_from_sftp:
  td_load>: imports/sftp_load.yml
  table: pull_push_tutorial

+export_to_sftp:
  td>: queries/count_rows.sql
  result_url:
    {
      "type":"sftp",
      "host":"<host>",
      "port":<port>,
      "auth_method":"Password",
      "username":"<username>",
      "password":"<password>",
      "user_directory_is_root":true,
      "path_prefix":"export_example.csv",
      "formatter":{"type":"csv"}
    }

2. インポート用のSFTP接続詳細で_sftp_load.yml_ファイルを変更します。

in:
  type: sftp
  host: <host>
  port: <port>
  user: <username>
  password: <password>

Treasure Dataでデータコネクタジョブを実行するには、データをロードするデータベースとテーブルを作成しておく必要があります。

1. Treasure コンソールを開きます。

2. Data Workbench > Databasesに移動します。

3. workflow_tempが存在しない場合は、新しいデータベースを作成し、workflow_tempという名前を付けます。

4. 新しいテーブルを作成し、push_pull_tutorialという名前を付けます。

または、TD Toolbeltがインストールされている場所から以下のコマンドを使用できます：

td table:create workflow_temp pull_push_tutorial

1. Treasure コンソールから、Data Workbench > Workflowsに移動します。

2. 新しいワークフローを追加し、workflow_sftp_pull_pushという名前を付けます。

3. 空白のテンプレートを選択します。

4. ワークフロー定義に、上記で変更した例のファイルをコピーして貼り付けます。

5. ワークフローを保存してコミットします。

または、クエリとワークフローファイルをTreasure Dataにアップロードするには：

1. TD Toolbeltがインストールされているマシンから。

2. コマンドウィンドウを開きます。

3. sftp_pull_pushディレクトリに移動します。

4. 以下を入力します：

td wf push sftp_pull_push

ワークフローに必要なファイルが登録され、Treasure コンソール内から表示できるようになりました。この例では、プロジェクト名はsftp_pull_pushで、ワークフロー名はpull_pushです。

1. Data Workbench > Workflows > pull_pushから。

2. New Runを選択します。

3. Run Historyを確認して、ワークフローの実行ステップを監視します。

または、以下のコマンドを実行して、すでにTreasure Dataに送信されたワークフローを実行します：

td wf start sftp_pull_push pull_push --session now

実行が成功した場合、SFTPサーバーにクエリの結果を含む_export_example.csv_というファイルが表示されます。