メインコンテンツまでスキップ
に最終更新

CREATE STREAMING JOB

説明​

Doris Streaming Job は Job 方式に基づく継続的なインポートタスクです。Job の送信後、Doris はインポートジョブを継続的に実行し、TVF または上流データソースにリアルタイムでクエリを実行して、データを Doris テーブルに書き込みます。

次のモードをサポートしています:

  • TVF モード:DO INSERT INTO ... SELECT FROM TVF() 構文を使用して、TVF のデータを指定した単一の Doris テーブルに継続的に書き込みます。S3 TVF と CDC Stream TVF をサポートしています。
  • マルチテーブル CDC モード:FROM <sourceType> TO DATABASE 構文を使用して、上流データベースの複数テーブルから全量および増分データを Doris に継続的に同期し、初回同期時に下流テーブルを自動的に作成します。

詳細な使用方法については、継続的なデータロードを参照してください。

構文​

TVF モード​

CREATE JOB <job_name>
[ PROPERTIES (
<job_property>
[ , ... ]
)
]
ON STREAMING
[ COMMENT <comment> ]
DO <Insert_Command>

マルチテーブル CDC モード​

CREATE JOB <job_name>
[ PROPERTIES (
<job_property>
[ , ... ]
)
]
ON STREAMING
[ COMMENT <comment> ]
FROM <sourceType> (
<source_property>
[ , ... ]
)
TO DATABASE <target_db> (
<target_property>
[ , ... ]
)

必須パラメータ​

1. <job_name>

ジョブ名。データベース内のイベントを一意に識別します。ジョブ名はグローバルに一意である必要があります。同じ名前のジョブがすでに存在する場合は、エラーが報告されます。

2. <Insert_Command>(TVF モード)

DO 句は、ジョブがトリガーされたときに実行する操作、つまり INSERT INTO SELECT FROM TVF ステートメントを指定します。S3 TVF と CDC Stream TVF をサポートしています。

3. <sourceType>(マルチテーブル CDC モード)

サポートされるデータソースタイプ:現在は MYSQL と POSTGRES をサポートしています。

4. <source_property>(マルチテーブル CDC モード)

パラメータデフォルト説明
jdbc_url-JDBC 接続文字列(MySQL/PostgreSQL)
driver_url-JDBC ドライバー jar パス
driver_class-JDBC ドライバークラス名
user-データベースユーザー名
password-データベースパスワード
database-データベース名
schema-スキーマ名(PostgreSQL)
include_tables-同期するテーブル。カンマ区切りで指定します。指定しない場合、デフォルトですべてのテーブルが同期されます。
offsetlatestlatest: 増分のみ(デフォルト);initial: 全量 + 増分同期
snapshot_split_size40960 (4.1.4 より前は 8096)分割サイズ(行数)。全量同期中、テーブルは複数の split に分割されます。
snapshot_parallelism1全量同期フェーズ中の並列度、つまりタスクあたりの最大 split 数。

5. <target_db>(マルチテーブル CDC モード)

インポート先の Doris ターゲットデータベース名です。

6. <target_property>(マルチテーブル CDC モード)

パラメータデフォルト説明
table.create.properties.*-作成時のテーブルプロパティ。例:replication_num
load.strict_mode-strict モードを有効にするかどうか。デフォルトでは無効です。
load.max_filter_ratio-サンプリングウィンドウ内で許容される最大フィルタリング率。0 以上 1 以下である必要があります。デフォルト値は 0 で、許容値ゼロを示します。サンプリングウィンドウは max_interval * 10 と同じです。このウィンドウ内で、エラー行数と総行数の比率が max_filter_ratio を超えると、スケジュールされたジョブが一時停止され、データ品質の問題に対処するため手動介入が必要になります。

オプションパラメータ​

1. <job_property>

パラメータデフォルト説明
session.*-job_properties ですべてのセッション変数を設定できます(TVF モードのみ)
s3.max_batch_files256累積ファイル数がこの値に達すると、インポート書き込みをトリガーします(S3 TVF のみ)
s3.max_batch_bytes10737418240累積データサイズ(バイト単位)がこの値に達すると、インポート書き込みをトリガーします。プレーンな整数のバイト数のみ受け付けます。例:10737418240。10G のような単位サフィックスはサポートされません。有効範囲は 100MB–10GB、つまり 104857600–10737418240 です。(S3 TVF のみ)
max_interval10上流に新しいファイルまたはデータがない場合のアイドルスケジューリング間隔(秒)。整数(秒数)のみ受け付けます。例:10。10s のような単位サフィックスはサポートされません。1 以上である必要があります。

権限制御​

この SQL コマンドを実行するユーザーは、少なくとも次の権限を持っている必要があります:

権限オブジェクト注記
LOAD_PRIVデータベース現在、この操作では LOAD 権限のみサポートされています

注意事項​

  • TASK は最新の 100 件のレコードのみ保持します。

例​

TVF モード​

  • S3 上の指定ディレクトリにあるファイルを継続的に監視し、CSV ファイルのデータを db1.tbl1 にインポートするジョブを作成します。

    CREATE JOB my_job
    ON STREAMING
    DO
    INSERT INTO db1.`tbl1`
    SELECT * FROM S3
    (
    "uri" = "s3://bucket/s3/demo/*.csv",
    "format" = "csv",
    "column_separator" = ",",
    "s3.endpoint" = "https://s3.ap-southeast-1.amazonaws.com",
    "s3.region" = "ap-southeast-1",
    "s3.access_key" = "",
    "s3.secret_key" = ""
    );
  • CDC Stream TVF を使用して、単一の MySQL テーブルを Doris に継続的に同期するジョブを作成します。

    CREATE JOB mysql_cdc_job
    ON STREAMING
    DO
    INSERT INTO db1.target_table
    SELECT * FROM cdc_stream(
    "type" = "mysql",
    "jdbc_url" = "jdbc:mysql://127.0.0.1:3306",
    "driver_url" = "mysql-connector-java-8.0.25.jar",
    "driver_class" = "com.mysql.cj.jdbc.Driver",
    "user" = "root",
    "password" = "123456",
    "database" = "source_db",
    "table" = "source_table",
    "offset" = "initial"
    );
  • CDC Stream TVF を使用して、単一の PostgreSQL テーブルを Doris に継続的に同期するジョブを作成します。

    CREATE JOB pg_cdc_job
    ON STREAMING
    DO
    INSERT INTO db1.target_table
    SELECT * FROM cdc_stream(
    "type" = "postgres",
    "jdbc_url" = "jdbc:postgresql://127.0.0.1:5432/postgres",
    "driver_url" = "postgresql-42.5.1.jar",
    "driver_class" = "org.postgresql.Driver",
    "user" = "postgres",
    "password" = "postgres",
    "database" = "postgres",
    "schema" = "public",
    "table" = "source_table",
    "offset" = "initial"
    );

マルチテーブル CDC モード​

  • MySQL 上流の user_info テーブルと order_info テーブルを最初から target_test_db データベースに同期するジョブを作成します。

    CREATE JOB multi_table_sync
    ON STREAMING
    FROM MYSQL (
    "jdbc_url" = "jdbc:mysql://127.0.0.1:3306",
    "driver_url" = "mysql-connector-java-8.0.25.jar",
    "driver_class" = "com.mysql.cj.jdbc.Driver",
    "user" = "root",
    "password" = "123456",
    "database" = "test",
    "include_tables" = "user_info,order_info",
    "offset" = "initial"
    )
    TO DATABASE target_test_db (
    "table.create.properties.replication_num" = "1"
    )
  • PostgreSQL 上流の test_tbls テーブルから target_test_db データベースへ増分データを継続的に同期するジョブを作成します。

    CREATE JOB test_postgres_job
    ON STREAMING
    FROM POSTGRES (
    "jdbc_url" = "jdbc:postgresql://127.0.0.1:5432/postgres",
    "driver_url" = "postgresql-42.5.1.jar",
    "driver_class" = "org.postgresql.Driver",
    "user" = "postgres",
    "password" = "postgres",
    "database" = "postgres",
    "schema" = "public",
    "include_tables" = "test_tbls",
    "offset" = "latest"
    )
    TO DATABASE target_test_db (
    "table.create.properties.replication_num" = "1"
    )

CONFIG​

fe.conf

パラメータデフォルト説明
max_streaming_job_num1024Streaming ジョブの最大数
job_streaming_task_exec_thread_num10StreamingTask 用のスレッド数
max_streaming_task_show_count100メモリ内の StreamingTask レコードの最大数