面向 AI Agent 时代的
实时可观测性

Apache Doris 使用一个高性能分析引擎统一日志、指标、链路和 AI Agent 事件,帮助团队加快故障排查、控制成本并持续提升 AI 质量。

可观测性为何对Agent 时代至关重要。

当团队统一管理日志、链路、指标和 AI Agent 事件时,五个方面会同时发生变化:

  • 故障发现
  • 用户体验
  • 规模化成本
  • AI 质量
  • 连接系统行为与业务结果
  1. 01

    更快发现故障

    将日志、链路和 Agent 事件转化为可分析的执行数据,在故障扩散前发现异常与根因。

  2. 02

    用户体验与 SLA

    将系统健康状况关联到实际用户影响:延迟、错误、答案准确性、任务完成情况,以及回答是否有可靠依据。

  3. 03

    降低规模化成本

    通过热数据快速排障、聚合数据分析趋势,并随遥测数据增长,将历史数据转移到成本更低的存储。

  4. 04

    持续改进 AI

    结合提示词、回答、RAG 上下文、工具调用、评分与用户反馈,发现检索、提示和任务完成过程中的改进空间。

  5. 05

    面向业务的运维

    将每个信号关联到受影响的客户、租户和工作流,评估 AI 故障对转化、支持负担与收入的影响。

已在生产环境运行。

三个团队使用 Apache Doris 作为可观测性分析基础,大规模处理实时运维数据中的日志、指标和事件。

案例 01 · PB 级日志

MiniMax:从 Grafana Loki 迁移至 Apache Doris,构建 PB 级日志系统

离开 Grafana Loki 后,MiniMax 所有业务线的日志均接入 Apache Doris,在 PB 级规模下保持超过 99.9% 的可用性,并在数秒内完成数十亿行日志的查询。

实际成效
  • PB 级日志存储,所有业务线可用性超过 99.9%
  • 在 10 亿行日志上的关键词查询与聚合可在 2 秒内返回
  • 写入吞吐达 10 GB/s,导入延迟为秒级
  • 5:1 的压缩与分层存储,使存储成本降低 70%
案例 02 · 日志与时序数据

网易:使用 Apache Doris 替换 Elasticsearch 与 InfluxDB

网易将 Eagle 监控平台从 Elasticsearch 迁出,将 IM 时序平台从 InfluxDB 迁出,统一使用 Apache Doris,实现更快查询、更低存储占用,并可在不重建表的情况下变更索引。

实际成效
  • 监控日志查询速度为 Elasticsearch 的 11 倍,存储成本降低 70%
  • 时序负载比 InfluxDB 减少 67% 的存储,服务器数量减半
  • 最高 100 万 TPS,峰值写入吞吐为 1 GB/s
  • 可增量新增或删除倒排索引,无需重写数据表
案例 03 · 从 Elasticsearch 迁移

腾讯音乐:替换 Elasticsearch,成本降低 80%

腾讯音乐娱乐将基于标签的搜索和分析从 Elasticsearch 迁移到 Apache Doris,利用倒排索引在一条 SQL 中完成全文检索与聚合。

实际成效
  • 整体运营成本比 Elasticsearch 降低 80%
  • 存储占用减少 72%(相同数据集从 697.7 GB 降至 195.4 GB)
  • 写入速度达 4 倍,导入时间从 10 多小时缩短至 3 小时以内
  • 告警从每日 20 多次降至每月个位数
TENCENT MUSIC

现代可观测性需要什么,Apache Doris 如何应对。

现代可观测性平台需要具备五项关键能力,Apache Doris 提供相应支持。

Apache Doris 可观测性:日志、指标、链路和 AI Agent 事件经采集器进入 Doris,由 VARIANT、倒排索引和列式存储承载,随时间从热 SSD 迁移到冷对象存储;全文、聚合和混合查询为 Grafana、告警、即席 SQL 和 AI 质量评估提供支持。可观测信号应用与服务日志 · 链路 · OTel主机与 K8S指标 · Pod 日志日志采集器Vector · Fluent BitAI AGENT提示词 · 工具调用OTEL COLLECTOR · VECTOR · KAFKA01APACHE DORIS统一 SQL 层存储VARIANT动态 JSON02倒排索引全文检索 · BM25列式存储5:1 压缩比数据生命周期 · 分层存储热数据 · SSD温数据冷数据 · S3 / HDFS现在7 天30 天1 年近期数据在 SSD 上快速查询 · 历史数据以对象存储降低成本查询全文检索BM25 · 关键词03聚合分析P99 · SLA · 成本04混合检索关键词 + 向量05数据消费端GRAFANA看板告警与 SLOP99 · 错误率即席 SQL问题排查AI 质量评估 · 反馈图 03 · 信号持续流入,数据从热到冷,全程保持可查询

Apache Doris 的可观测性能力

每项能力均链接到对应的功能文档。如需了解背后的工程细节,请阅读 Apache Doris 博客.

构建面向 AI Agent 时代的可观测性
使用 Apache Doris.

快速开始