性能
本文档中的性能数据基于默认配置,如果您面临高网络延迟或高吞吐量写入场景,可以参考操作手册进行优化。
测试数据集
- 数据集:TPC-H 1T
测试集群配置
配置项 | 上游配置 | 下游配置 |
---|---|---|
FE | 2 核 16 GB | 2 核 16 GB |
BE | 3 个节点,16 核 64 GB,每节点 3*500 GB | 3 个节点,16 核 64 GB,每节点 3*500 GB |
增量同步性能测试
测试步骤
- 在上游集群创建 TPC-H 1T 的库表信息。
- 创建 TPC-H 1T 数据库的同步任务。
- 等待 TPC-H 1T 数据导入完成,记录完成时间。
- 等待下游数据同步完成,记录完成时间。
测试结论
增量同步时间差:33 秒。
全量同步性能测试
测试步骤
- 在上游集群创建 TPC-H 1T 的库表信息并完成数据导入,记录完成时间。
- 创建 TPC-H 1T 数据库的同步任务。
- 等待下游数据同步完成,记录完成时间。
测试结论
全量同步时间差:6 分 1 秒。
Flink 同步性能测试
测试步骤
- 上游使用 Flink 导入方式导入 100,000,000 条数据。
- 创建库表的同步任务。
- 在每个阶段观察下游同步完成时间与上游导入完成时间的差异(例如:1,000,000 条、2,000,000 条等)。
- 记录上游最后一次导入完成时间。
- 记录下游同步完成时间为。
测试结论
每个阶段的 lag 时间 均保持在 5 秒内
。