先做两个决定, 再 部署。
先选择存储架构,再决定由谁编排各个进程。这两个选择会形成四条部署路径。
FE 和有状态的 BE 进程运行在配有本地磁盘的主机上。
FE、Meta Service、无状态 BE、FoundationDB 和共享存储。
DorisCluster 资源管理 FE 和有状态 BE 的工作负载。
Operator 管理云模式集群及其计算组。
先选择存储架构,再决定由谁编排各个进程。这两个选择会形成四条部署路径。
FE 和有状态的 BE 进程运行在配有本地磁盘的主机上。
FE、Meta Service、无状态 BE、FoundationDB 和共享存储。
DorisCluster 资源管理 FE 和有状态 BE 的工作负载。
Operator 管理云模式集群及其计算组。
部署的可靠性取决于磁盘、网络标识、时钟、端口和操作系统是否准备妥当。
确认指令集、内核、系统限制和 Java 要求。
确保所需节点之间的 FE、BE 和 Web 服务端口相互连通。
保持时钟一致,以便协调运行、查看日志和排查问题。
妥善规划 FE 元数据、BE 数据、日志和共享存储的存放位置。
初始化第一个 FE,扩充 FE 仲裁组,注册 BE 节点,并在导入数据前验证节点是否已加入集群。
除常见的 FE 和 BE 进程外,存算分离集群还需要 FoundationDB、Meta Service 和 Storage Vault。
持久化保存并协调数据层元数据。
规划 SQL 并弹性执行任务。
连接持久化对象存储或分布式文件系统。
Doris Operator 根据 DorisCluster 资源创建并管理 FE 和 BE 工作负载、服务、配置及持久化存储。
Kubernetes 可以自动管理 Doris 进程,但 FoundationDB、共享存储、凭据和故障规划仍需妥善管理。
具有冗余部署和容量监控的 FoundationDB。
一致的集群标识和可访问的端点。
具备适当资源和缓存的无状态工作节点。
Vault 的凭据、权限、持久性和吞吐量。
部署完成前,还应做好健康检查、安全防护、可观测性、扩缩容规则,并演练升级流程。
验证 FE 角色、BE 心跳和计算组状态。
设置凭据、限制服务暴露范围,并保护存储密钥。
在首次发生故障前,就开始收集指标和日志。
测试重启、替换、备份和升级流程。
选择能满足存储、弹性、可用性和平台要求的最简单路径,并用真实数据验证。
如果本地存储和存算同步扩容符合需求,可选择运维更简单的方案。
如果具备共享存储和平台运维能力,可选择独立扩缩容。