跳到主要内容

配置说明

本文给出使用 CCR 需要调整或者关注的配置。

FE 配置

在 fe.conf 中配置,例如 restore_reset_index_id = true

名称说明默认值版本
restore_reset_index_id如果同步的表中使用 inverted index 或者 bitmap 索引,需设置为 falsefalse从 2.1.8 及 3.0.4 开始。
ignore_backup_tmp_partitions避免因上游创建 tmp partition 导致同步中断,需设置为 truefalse从 2.1.8 及 3.0.4 开始。
max_backup_restore_job_num_per_db内存中每个 DB 的 backup/restore job 数量限制,建议设置为 2。10所有版本。
label_num_threshold控制 TXN Label 数量,防止事务回收过快,过大会占用较多内存,过下可能导致异常情况下数据重复,默认值在大多数情况下够用。20002.1 开始。
restore_job_compressed_serializationtablet 数目超过 10w 时建议配置为 true。
降级前关闭配置并确保 FE 完成一次 checkpoint。
2.1 升级 3.0 时,至少升级到 3.0.3。
false从 2.1.8 和 3.0.3 开始。
backup_job_compressed_serializationtablet 数目超过 10w 时建议配置为 true。
降级前关闭配置并确保 FE 完成一次 checkpoint。
2.1 升级 3.0 时,至少升级到 3.0.3。
false从 2.1.8 和 3.0.3 开始。
backup_job_default_timeout_ms备份/恢复任务超时时间,源、目标集群的 FE 都需要配置。根据需求设置
enable_restore_snapshot_rpc_compression开启 snapshot info 压缩,降低 RPC 消息大小,建议设置为 true。true从 2.1.8 和 3.0.3 开始。

BE

在 be.conf 中配置,例如 thrift_max_message_size = 2000000000

名称说明默认值版本
thrift_max_message_sizeBE thrift server 单次 RPC packet 上限,CCR 任务涉及的 tablet 数目大时,建议设置为 2000000000100MB所有版本
be_thrift_max_pkg_bytesBE Thrift RPC 消息包大小限制。20MB2.0 特有。
max_download_speed_kbps下游 BE 每个 download worker 的下载限速,默认每线程 50MB/s。50MB/s所有版本
download_worker_count下载任务的线程数,结合网卡、磁盘和负载设置。1所有版本

库表属性

Create Table 或者 Alter Table 设置。

名称说明默认值版本
binlog.max_bytesbinlog 最大内存占用,建议至少保留 4GB。无限制所有版本
binlog.ttl_secondsbinlog 保留时间。2.0.5 之前无限制,2.0.5 开始 1 天(86400)所有版本