概要

概要

CCR（Cross クラスター Replication）は、データベースまたはテーブルレベルでソースクラスターからターゲットクラスターにデータ変更を同期するクラスター間データ同期メカニズムです。主にオンラインサービスのデータ可用性向上、読み取りと書き込み負荷の分離、および2サイト3センター構成の構築に使用されます。CCRは現在、コンピュートとストレージの分離モードをサポートしていません。

適用シナリオ

CCRは以下の一般的なシナリオに適しています：

• 災害復旧バックアップ: 企業データを別のクラスターおよびデータセンターにバックアップし、ビジネス中断やデータ損失の場合のデータ復旧を保証します。金融、医療、eコマースなどの業界では通常、このような高SLA災害復旧バックアップが必要です。

• 読み書き分離: データクエリ操作と書き込み操作を分離することで、読み取りと書き込み間の相互影響を軽減し、サービスの安定性を向上させます。高並行性や重い書き込み圧力があるシナリオでは、読み書き分離を採用することで効果的に負荷を分散し、データベースのパフォーマンスと安定性を向上させることができます。

• データ統合: グループの本部が異なる地域にある支店のデータを管理・分析し、データの不整合によって引き起こされる管理の混乱や意思決定エラーを回避し、グループの管理効率と意思決定品質を向上させる必要があります。

• 分離アップグレード: システムクラスターをアップグレードする際、CCRを使用して新しいクラスターで検証とテストを行い、バージョン互換性の問題によるロールバックの困難を回避できます。ユーザーはデータの整合性を保証しながら各クラスターを段階的にアップグレードできます。

• クラスター移行: Dorisクラスターを移転したり機器を交換したりする際、CCRを使用して古いクラスターから新しいクラスターにデータを同期し、移行プロセス中のデータ整合性を保証できます。

ジョブカテゴリ

CCRは2種類のジョブをサポートします：

• データベースレベルジョブ: データベース全体のデータを同期します。
• テーブルレベルジョブ: 指定されたテーブルのデータのみを同期します。テーブルレベル同期はテーブルの名前変更や置換をサポートしないことに注意してください。Dorisの各データベースは一度に1つのスナップショットジョブのみ実行できるため、テーブルレベル同期の完全同期ジョブはキューに入る必要があります。

原理とアーキテクチャ

用語

• Source クラスター: データソースが存在するクラスター、通常はビジネスデータが書き込まれるクラスター。
• Target クラスター: クラスター間同期のターゲットクラスター。
• binlog: ソースクラスターの変更ログ、スキーマとデータの変更を含みます。
• Syncer: データ同期を担当する軽量プロセス。
• Upstream: データベースレベルジョブでの上流データベース、テーブルレベルジョブでの上流テーブルを指します。
• Downstream: データベースレベルジョブでの下流データベース、テーブルレベルジョブでの下流テーブルを指します。

アーキテクチャ説明

CCRは主に軽量プロセス：Syncerに依存します。Syncerはソースクラスターからbinlogを取得し、ターゲットクラスターにメタデータを適用し、ターゲットクラスターにソースクラスターからデータをプルするよう通知し、完全同期と増分同期を実現します。

原理

1. 完全同期:

   • CCRジョブはまず完全同期を実行し、上流データを下流に完全にコピーします。

2. 増分同期:

   • 完全同期が完了した後、CCRジョブは増分同期を続行して上流と下流間のデータ整合性を維持します。

3. 完全同期の再開始:

   • 増分同期をサポートしないDDL操作に遭遇した場合、CCRジョブは完全同期を再開始します。増分同期をサポートしない具体的なDDL操作については、機能詳細を参照してください。
   • 上流binlogが期限切れやその他の理由で中断された場合、増分同期は停止し、完全同期を再開始します。

4. 完全同期の再開始:

   • 完全同期中、増分同期は一時停止されます。
   • 完全同期が完了した後、下流データテーブルはアトミック置換を行い、データ整合性を保証します。
   • 完全同期が完了した後、増分同期が再開されます。

同期方法

CCRは4つの同期方法をサポートします：

同期方法	原理	トリガータイミング
Full Sync	上流が完全バックアップを実行し、下流がリストアを実行します。DBレベルジョブはDBバックアップをトリガーし、テーブルレベルジョブはテーブルバックアップをトリガーします。	初回同期または特定の操作によってトリガーされます。トリガー条件については、機能詳細を参照してください。
Partial Sync	上流がテーブルまたはパーティションレベルのバックアップを実行し、下流がテーブルまたはパーティションレベルのリストアを実行します。	特定の操作によってトリガーされます。トリガー条件については、機能詳細を参照してください。
TXN	増分データ同期、上流のコミット後に同期を開始します。	特定の操作によってトリガーされます。トリガー条件については、機能詳細を参照してください。
SQL	上流のSQL操作を下流で再生します。	特定の操作によってトリガーされます。トリガー条件については、機能詳細を参照してください。

ダウンロード

要件: glibc >= 2.28

Version	Arch	Tarball	SHA256
2.1	ARM64	ccr-syncer-2.1.10-rc06-arm64.tar.xz	a2e56dc1909b065db98c037a037d6ec918dec7e20eb7cccbac9da729ce9be155
2.1	X64	ccr-syncer-2.1.10-rc06-x64.tar.xz	ebeebbe47a85c8b52f69394fd1d839663e3e7ca2cab93d7a443b44ec3f6d35ae
3.0	ARM64	ccr-syncer-3.0.6-rc05-arm64.tar.xz	dd5f154c68007732c3c3a9f808f16a7f287fd742bd35d0272ef596779f0eb8e6
3.0	X64	ccr-syncer-3.0.6-rc05-x64.tar.xz	77a4e4e2a74c376ffaef0207cfdef957729380fa3718418bccece015a41ad15a