メインコンテンツまでスキップ
に最終更新

MySQL CDC による自動テーブル作成同期

実験的機能

Doris の継続データロードは実験的機能であり、Doris 4.1.5 以降でサポートされています。

自動テーブル作成同期は、ネイティブな FROM MYSQL (...) TO DATABASE (...) DDL によって実装されます。ターゲットは Doris データベースであり、Doris は上流テーブルのスキーマに基づいて対応する下流テーブルを自動的に作成します。include_tables を使用して、単一のテーブル、複数のテーブル、またはすべてのテーブルを同期するかどうかを制御できます。最初の同期では、Doris は下流の主キーテーブルを自動的に作成し、主キーを上流と一致させます。これは SQL 処理を必要とせず、下流テーブルのスキーマを上流に自動追従させる必要があるミラー レプリケーション シナリオに適しています。

Flink CDC の機能を統合することで、Doris は MySQL から変更ログを読み取り、テーブル群の全量データと増分データを Stream Load を通じて継続的に Doris に書き込みます。自動テーブル作成同期では、個々のソーステーブルにターゲットテーブル名を割り当てたり、非キー列を除外したりできます。SQL 式、行フィルタリング、またはデータ変換が必要な場合は、MySQL CDC with SQL Mapping を参照してください。

適用シナリオ​

  • MySQL のテーブル群(またはデータベース全体)を Doris にミラーリングする必要がある。
  • 手動でテーブルを作成せず、上流に基づいて下流テーブルのスキーマと主キーを自動的に作成したい。
  • SQL 式、行フィルタリング、データ変換を必要とせず、単純なターゲットテーブル名の変更または列の削除だけが必要である。
  • 初回の全量初期化と、増分変更の継続的な受信の両方をサポートする必要がある。

機能と制限​

項目説明
一貫性セマンティクス現在、at-least-once セマンティクスのみが保証されます
テーブルタイプ主キーを持つ上流テーブルのみ同期できます。自動作成される下流テーブルは Unique Key モデルを使用します
権限Load 権限が必要です。下流テーブルが存在しない場合は Create 権限も必要です
自動テーブル作成ターゲットテーブルがすでに存在する場合は作成をスキップします。必要に応じてテーブルスキーマをカスタマイズできます
データ処理ターゲットテーブル名の変更と非キー列の除外をサポートします。SQL 式、行フィルタリング、データ変換はサポートしません

前提条件​

自動テーブル作成同期ジョブを作成する前に、次の事項を確認してください。

  1. Doris クラスターがデプロイされ、Load 権限を持っている(自動テーブル作成シナリオでは Create 権限も必要)。
  2. MySQL のバージョンと互換性のある JDBC ドライバー jar がアップロードされ、ファイル名、ローカル絶対パス、または HTTP アドレスで参照できる。JDBC Catalog Overview を参照してください。
  3. MySQL で binlog が有効になっており、アカウントに binlog の読み取り権限がある。
  4. 同期範囲が明確になっている。データベース全体を同期するのか、include_tables で指定したテーブルだけを同期するのかを確認する。

クイックスタート​

手順 1:ロードジョブを作成する​

CREATE STREAMING JOB を使用して継続データロードジョブを作成します。

CREATE JOB multi_table_sync
ON STREAMING
FROM MYSQL (
"jdbc_url" = "jdbc:mysql://127.0.0.1:3306",
"driver_url" = "mysql-connector-java-8.0.25.jar",
"driver_class" = "com.mysql.cj.jdbc.Driver",
"user" = "root",
"password" = "123456",
"database" = "test",
"include_tables" = "user_info,order_info",
"offset" = "initial"
)
TO DATABASE target_test_db (
"table.create.properties.replication_num" = "1" -- Set to 1 for single-BE deployment
)

上記の例の要点は次のとおりです。

  • database は上流の MySQL データベースを指定します。include_tables は同期するテーブルを制限します。複数のテーブルはコンマで区切り、空にするとデータベース全体を同期します。
  • offset = "initial" は、最初に全量初期化を行い、その後増分に切り替えることを意味します。増分データだけを同期するには latest に変更します。
  • TO DATABASE target_test_db は下流の Doris データベースを指定します。table.create.properties.* を使用して、自動作成されるテーブルのプロパティ(レプリカ数など)を制御します。

手順 2:ロード状態を確認する​

jobs("type"="insert") テーブル関数を使用して、Streaming Job の実行状態を照会します。

select * from jobs("type"="insert") where ExecuteType = "STREAMING"
Id: 1765332859199
Name: mysql_db_sync
Definer: root
ExecuteType: STREAMING
RecurringStrategy: \N
Status: RUNNING
ExecuteSql: FROM MYSQL('include_tables'='user_info','database'='test','driver_class'='com.mysql.cj.jdbc.Driver','driver_url'='mysql-connector-java-8.0.25.jar','offset'='initial','jdbc_url'='jdbc:mysql://127.0.0.1:3306','user'='root' ) TO DATABASE target_test_db ('table.create.properties.replication_num'='1')
CreateTime: 2025-12-10 10:19:35
SucceedTaskCount: 1
FailedTaskCount: 0
CanceledTaskCount: 0
Comment:
Properties: \N
CurrentOffset: {"ts_sec":"1765284495","file":"binlog.000002","pos":"9350","kind":"SPECIFIC","splitId":"binlog-split","row":"1","event":"2","server_id":"1"}
EndOffset: \N
LoadStatistic: {"scannedRows":24,"loadBytes":1146,"fileNumber":0,"fileSize":0}
ErrorMsg: \N

注目するフィールドは次のとおりです。

  • Status:ジョブ全体の状態(RUNNING など)。
  • CurrentOffset:現在消費している binlog の位置。同期の進行状況を追跡するのに役立ちます。
  • LoadStatistic:スキャンした行数や書き込んだバイト数などのロード統計。
  • ErrorMsg:エラーメッセージ。ジョブに問題がある場合のトラブルシューティングの主な手掛かりです。

手順 3:ロードジョブを変更する​

データソースの接続情報(アカウント認証情報のローテーションなど)を更新する必要がある場合は、ALTER JOB を使用します。

ALTER JOB <job_name>
FROM MYSQL (
"user" = "root",
"password" = "123456"
)
TO DATABASE target_test_db

一時停止、再開、削除、タスクの表示など、より一般的な操作については、Continuous Load Overview を参照してください。

データソースパラメータ​

MySQL ソース(FROM MYSQL)では、次のパラメータがサポートされています。接続情報、データベース名、ドライバー情報は必須です。

パラメータ必須デフォルト説明
jdbc_urlはい-MySQL JDBC 接続文字列。
driver_urlはい-JDBC ドライバー jar へのパス。ファイル名、ローカル絶対パス、HTTP URL をサポートします。詳細は JDBC Catalog Overview を参照してください。
driver_classはい-JDBC ドライバーのクラス名。例:com.mysql.cj.jdbc.Driver。
userはい-データベースのユーザー名。
passwordはい-データベースのパスワード。
databaseはい-MySQL データベース名。
include_tablesいいえ-同期するテーブル名をコンマ区切りで指定します。設定しない場合は、データベース内のすべてのテーブルが同期されます。
exclude_tablesいいえ-同期しないテーブル名をコンマ区切りで指定します。このパラメータは include_tables が設定されていない場合にのみ有効です。
table.<table_name>.target_tableいいえソーステーブル名ソーステーブルの Doris ターゲットテーブル名を設定します。<table_name> はソーステーブル名です。
table.<table_name>.exclude_columnsいいえ-同期しないソース列をコンマ区切りで指定します。列は存在している必要があり、主キー列を含めることはできません。
offsetいいえlatest起動オフセット。initial:全量と増分の同期。earliest:利用可能な最も早い Binlog オフセットから開始。latest:ジョブ開始後の変更のみを同期。{"file":"binlog.000001","pos":"154"} や {"gtids":"<gtid_set>"} のような正確な JSON オフセットも指定できます。snapshot もサポートされ、全量同期のみを実行します。
snapshot_split_sizeいいえ40960分割サイズ(行数)。全量同期中、テーブルは複数の分割に分割されます。正の整数である必要があります。
snapshot_parallelismいいえ1全量同期フェーズの並列度。つまり、Task が一度にスケジュールできる分割の最大数です。正の整数である必要があります。
server_idいいえ自動生成MySQL CDC リーダーのサーバー ID。5400 のような単一値、または 5400-5408 のような閉区間をサポートします。区間の幅は snapshot_parallelism 以上である必要があります。
ssl_modeいいえdisableSSL モード。有効な値は disable、require、verify-ca です。
ssl_rootcert条件付き必須-FILE:<file_name> 形式の CA 証明書ファイル。ssl_mode が verify-ca の場合に必須です。まず CREATE FILE を使用してファイルをアップロードしてください。

include_tables と exclude_tables の両方を設定した場合は、include_tables が優先されます。次の FROM MYSQL パラメータフラグメントは orders と customers を同期し、orders を ods_orders に書き込み、非キー列 internal_note を除外し、CA 検証を有効にします。

"include_tables" = "orders,customers",
"table.orders.target_table" = "ods_orders",
"table.orders.exclude_columns" = "internal_note",
"server_id" = "5400-5403",
"ssl_mode" = "verify-ca",
"ssl_rootcert" = "FILE:ca.pem"

リファレンスマニュアル​

ロードステートメント​

自動テーブル作成同期ジョブを作成する構文は次のとおりです。

CREATE JOB <job_name>
[job_properties]
ON STREAMING
[ COMMENT <comment> ]
FROM MYSQL (
[source_properties]
)
TO DATABASE <target_db> (
[target_properties]
)

各モジュールの説明は次のとおりです。

モジュール説明
job_nameジョブ名
job_propertiesジョブの一般的なロードパラメータを指定するために使用します
commentジョブの説明を注記として記述するために使用します
source_propertiesMySQL ソースに関連するパラメータ
target_propertiesDoris ターゲットデータベースに関連するパラメータ

job_properties は max_interval と compute_group をサポートします。詳細は Common Job Load Configuration Parameters を参照してください。自動テーブル作成モードでは session.* は使用しません。

Doris ターゲットデータベースの構成パラメータ​

TO DATABASE では、次のオプションパラメータがサポートされています。

パラメータデフォルト説明
table.create.properties.*-Doris がテーブルを作成するときにテーブルプロパティを追加します。例:table.create.properties.replication_num。
load.strict_modefalseStream Load の書き込みで strict モードを有効にするかどうか。有効な値は true と false です。
load.max_filter_ratio0サンプリングウィンドウで許可される最大フィルタリング率。範囲は [0, 1] です。0 はエラー行をフィルタリングできないことを意味します。サンプリングウィンドウは max_interval * 10 秒です。ウィンドウ内のエラー行数と総行数の比率がこの値を超えると、ジョブは一時停止します。

FAQ​

Q1:自動テーブル作成同期は主キー以外のテーブルをサポートしますか?

いいえ。現在、自動テーブル作成同期は主キーを持つテーブル(Unique Key)のみをサポートします。最初の同期では、Doris は上流の主キーに基づいて下流の主キーテーブルを自動的に作成します。

Q2:ターゲットテーブルがすでに存在する場合、上書きされますか?

いいえ。自動テーブル作成フェーズでは、ターゲットテーブルがすでに存在する場合は作成をスキップします。さまざまなシナリオに応じてテーブルスキーマをカスタマイズできます。

Q3:全量初期化を行わず、増分データだけを同期するにはどうすればよいですか?

offset パラメータを latest に設定します。ジョブは全量同期フェーズをスキップし、最新の binlog 位置から直接消費を開始します。

Q4:自動テーブル作成同期と SQL マッピング同期はどのように選択すればよいですか?

  • ミラー レプリケーション、自動テーブル作成、上流とのテーブルスキーマの一貫性が必要な場合:自動テーブル作成同期を使用します。
  • ターゲットテーブル名の変更または非キー列の除外だけが必要な場合:自動テーブル作成同期を使用します。
  • SQL 式、行フィルタリング、またはデータ変換が必要な場合:MySQL CDC with SQL Mapping を使用します。

Q5:単一 BE のデプロイでテーブル作成に失敗した場合はどうすればよいですか?

TO DATABASE でレプリカ数を明示的に 1 に指定します:"table.create.properties.replication_num" = "1"。