English日本語한국어Русский

Наблюдаемость в реальном времени
для эпохи ИИ-агентов

Apache Doris объединяет журналы, метрики, трассировки и события ИИ-агентов в одном высокопроизводительном аналитическом движке, чтобы команды быстрее находили проблемы, контролировали затраты и постоянно улучшали качество ИИ.

Почему наблюдаемостьважнав эпоху агентов.

Когда команды объединяют наблюдаемость журналов, трассировок, метрик и событий ИИ-агентов, меняются пять аспектов:

  • Обнаружение инцидентов
  • Удобство для пользователей
  • Затраты при масштабировании
  • Качество ИИ
  • Связь поведения системы с бизнес-результатами
  1. 01

    Быстрое обнаружение инцидентов

    Журналы, трассировки и события агентов становятся данными выполнения, доступными для анализа, позволяя выявить аномалии и первопричины до распространения сбоев.

  2. 02

    Пользовательский опыт и SLA

    Состояние системы связывается с реальным влиянием на пользователей: задержками, ошибками, точностью ответов, завершением задач и обоснованностью ответов.

  3. 03

    Меньше затрат при масштабировании

    Горячие данные остаются быстрыми для диагностики, агрегации показывают тенденции, а история переносится в более дешёвое хранилище по мере роста телеметрии.

  4. 04

    Постоянное улучшение ИИ

    Промпты, ответы, контекст RAG, вызовы инструментов, оценки и отзывы пользователей показывают, где можно улучшить извлечение данных, промпты и выполнение задач.

  5. 05

    Эксплуатация с учётом бизнеса

    Каждый сигнал связан с затронутыми клиентами, арендаторами и процессами, а также с влиянием сбоев ИИ на конверсию, нагрузку поддержки и выручку.

Уже работает в промышленной среде.

Три команды используют Apache Doris как аналитическую основу наблюдаемости: в большом масштабе, на актуальных операционных данных, включая журналы, метрики и события.

Пример 01 · журналы петабайтного масштаба

MiniMax: журналы петабайтного масштаба на Apache Doris после Grafana Loki

После отказа от Grafana Loki все бизнес-направления MiniMax записывают журналы в систему на Apache Doris. Она обслуживает петабайты данных с доступностью более 99,9% и отвечает на запросы по миллиардам строк журналов за секунды.

Результат
  • Петабайтное хранилище журналов с доступностью более 99,9% для всех бизнес-направлений
  • Поиск по словам и агрегации по 1 млрд записей журнала выполняются за 2 секунды
  • Пропускная способность записи 10 ГБ/с с задержкой приёма на уровне секунд
  • Сжатие 5:1 и многоуровневое хранение сократили затраты на хранение на 70%
Пример 02 · журналы и временные ряды

NetEase: Apache Doris заменил Elasticsearch и InfluxDB

NetEase перевела платформу мониторинга Eagle с Elasticsearch, а платформу временных рядов IM с InfluxDB на Apache Doris. Запросы ускорились, объём хранения сократился, а индексы можно менять без пересоздания таблиц.

Результат
  • Запросы по журналам мониторинга в 11 раз быстрее, затраты на хранение на 70% ниже, чем в Elasticsearch
  • На нагрузках временных рядов объём хранения меньше на 67%, серверов вдвое меньше, чем с InfluxDB
  • Пиковая пропускная способность записи 1 ГБ/с, до 1 млн TPS
  • Инвертированные индексы добавляются и удаляются инкрементально, без перезаписи таблиц
Пример 03 · миграция с Elasticsearch

Tencent Music: замена Elasticsearch сократила затраты на 80%

Tencent Music Entertainment перенесла поиск по тегам и аналитику с Elasticsearch на Apache Doris, где инвертированные индексы обеспечивают полнотекстовый поиск и агрегации в одном SQL-запросе.

Результат
  • Общие эксплуатационные затраты на 80% ниже, чем с Elasticsearch
  • Объём хранения меньше на 72% (697,7 ГБ → 195,4 ГБ на одинаковом наборе данных)
  • Запись в 4 раза быстрее, время загрузки сократилось с более 10 часов до менее 3 часов
  • Число оповещений сократилось с более 20 в день до единичных за месяц
TENCENT MUSIC

Что требуется от современной наблюдаемостии что предлагает Apache Doris.

Пять задач, с которыми современная платформа наблюдаемости должна справляться, и конкретные возможности Apache Doris для каждой из них.

Наблюдаемость на Apache Doris: журналы, метрики, трассировки и события ИИ-агентов проходят через сборщик в Doris, где VARIANT, инвертированные индексы и колоночное хранение обеспечивают работу с данными по мере их переноса с горячих SSD в холодное объектное хранилище. Полнотекстовые, агрегатные и гибридные запросы обслуживают Grafana, оповещения, нерегламентированные SQL-запросы и оценку качества ИИ.СИГНАЛЫПРИЛОЖЕНИЯлоги · трассы · OTelХОСТЫ И K8Sметрики · логи подовСБОРЩИКИ ЛОГОВVector · Fluent BitИИ-АГЕНТЫпромпты · вызовыOTEL COLLECTOR · VECTOR · KAFKA01APACHE DORISЕДИНЫЙ СЛОЙ SQLХРАНЕНИЕVARIANTдинамический JSON02ИНВЕРТ. ИНДЕКСтекст · BM25КОЛОНКИсжатие 5:1ЖИЗНЕННЫЙ ЦИКЛ · УРОВНИ ХРАНЕНИЯГОРЯЧИЕ · SSDТЁПЛЫЕХОЛ. · S3/HDFSсейчас7 дн.30 дн.1 годSSD: быстрый доступ · объектное: дешёвая историяЗАПРОСЫFTSBM25 · слова03АГРЕГАЦИЯP99 · SLA · цена04ГИБРИДНЫЙслова + векторы05ПОТРЕБИТЕЛИGRAFANAдашбордыАЛЕРТЫ И SLOP99 · доля ошибокAD HOC SQLрасследованияКАЧЕСТВО ИИоценки · отзывыРИС. 03 · СИГНАЛЫ ПОСТУПАЮТ, ПЕРЕХОДЯТ В ХОЛОДНОЕ ХРАНЕНИЕ И ДОСТУПНЫ ДЛЯ ЗАПРОСОВ

Возможности Apache Doris для наблюдаемости

Для каждой возможности есть ссылка на её документацию. Подробнее о технической реализации читайте в блоге Apache Doris.

Создавайте наблюдаемость для эпохи ИИ-агентов
на базе Apache Doris.

Начать работу