01
リアルタイムの オブザーバビリティ
AI エージェント時代へ
Apache Doris は、ログ、メトリクス、トレース、AI エージェントのイベントを高性能な単一分析エンジンに統合します。問題調査を速め、コストを管理し、AI の品質を継続的に改善できます。
エージェント時代にオブザーバビリティが重要な理由。
ログ、トレース、メトリクス、AI エージェントのイベントを統合して観測すると、5 つの点が変わります。
- 障害の検知
- ユーザー体験
- 大規模運用のコスト
- AI の品質
- システムの挙動とビジネス成果の関係
障害をすばやく検知
ログ、トレース、エージェントイベントを分析可能な実行データとして扱い、障害が広がる前に異常や根本原因を見つけます。
ユーザー体験と SLA
システムの健全性を、レイテンシ、エラー、回答精度、タスク完了率、回答の根拠など、ユーザーへの実際の影響に結び付けます。
大規模運用のコスト削減
調査に使うホットデータは高速に保ち、傾向は集約で把握。テレメトリの増加に合わせて履歴を低コストのストレージへ移します。
AI の継続的な改善
プロンプト、回答、RAG のコンテキスト、ツール呼び出し、スコア、利用者の反応から、検索、プロンプト、タスク遂行の改善点を把握します。
ビジネスを見据えた運用
各シグナルを影響先の顧客、テナント、処理フローに結び付け、AI の失敗がコンバージョン、サポート負荷、収益に及ぼすコストを把握します。
本番環境ですでに稼働。
Apache Doris をオブザーバビリティの分析基盤として使い、ログ、メトリクス、イベントを最新の運用データ上で大規模に分析する 3 チームの事例です。
事例 01・PB 規模のログ
MiniMax：Grafana Loki から Apache Doris の PB 規模ログ基盤へ
Grafana Loki から移行した MiniMax では、すべての事業部門が Apache Doris にログを保存しています。PB 規模のデータを 99.9% 超の可用性で扱い、数十億行のログへのクエリに数秒で応答します。
成果
- 全事業部門の PB 規模ログを 99.9% 以上の可用性で保存
- 10 億件のログに対するキーワード検索と集約が 2 秒以内に完了
- 書き込みスループット 10 GB/s、取り込みレイテンシは秒単位
- 5:1 の圧縮と階層化ストレージで、ストレージコストを 70% 削減
事例 02・ログと時系列データ
NetEase：Elasticsearch と InfluxDB を Apache Doris に統合
NetEase は Eagle 監視基盤を Elasticsearch から、IM 時系列基盤を InfluxDB から移行しました。現在は両方を Apache Doris で動かし、クエリの高速化、容量削減、テーブルの再構築なしでのインデックス変更を実現しています。
成果
- 監視ログで Elasticsearch よりクエリが 11 倍高速、ストレージコストは 70% 削減
- 時系列処理で InfluxDB よりストレージを 67%、サーバー台数を半分に削減
- 最大 100 万 TPS、ピーク書き込みスループット 1 GB/s
- テーブルを書き直さずに転置インデックスを増分で追加・削除
事例 03・Elasticsearch からの移行
Tencent Music：Elasticsearch を置き換え、コストを 80% 削減
Tencent Music Entertainment は、タグを使う検索と分析を Elasticsearch から Apache Doris に移行しました。転置インデックスにより、全文検索と集約を単一の SQL クエリで処理します。
成果
- Elasticsearch と比べて運用コスト全体を 80% 削減
- 同じデータセットでストレージを 72% 削減（697.7 GB → 195.4 GB）
- 書き込みを 4 倍に高速化し、取り込み時間を 10 時間超から 3 時間未満に短縮
- アラート数を 1 日 20 件超から月 1 桁に削減
TENCENT MUSICモダンなオブザーバビリティの要件とApache Doris の対応。
モダンなオブザーバビリティ基盤に求められる 5 つの要件と、それに応える Apache Doris の機能を紹介します。
オブザーバビリティを支える Apache Doris の機能
各機能から対応するドキュメントを開けます。実装や技術の詳細は、こちらをご覧ください： Apache Doris ブログ.
リアルタイム取り込み
02
半構造化データの分析
VARIANT を活用
03
高速な全文検索
転置インデックスと BM25 を活用
04
対話的な分析
オブザーバビリティのダッシュボード向け
05
