Руководство по установке Apache Doris

Выберите путь

Примите два решения перед развёртыванием.

Сначала выберите архитектуру хранения. Затем решите, кто будет координировать процессы. Эти два решения определяют четыре пути развёртывания.

VMВручную · интегрированная архитектура

Процессы FE и BE с сохранением состояния на хостах с локальными дисками.

VMВручную · разделение хранения и вычислений

FE, Meta Service, BE без состояния, FoundationDB и общее хранилище.

K8SOperator · интегрированная архитектура

Ресурсы DorisCluster управляют рабочими нагрузками FE и BE с сохранением состояния.

K8SOperator · разделение хранения и вычислений

Operator управляет кластером в облачном режиме и его вычислительными группами.

Подсказка

Архитектура и оркестрация решают разные задачи.

Интегрированная архитектура хранит данные на дисках BE. При разделённой архитектуре постоянные данные хранятся в общем хранилище. При ручном развёртывании каждый процесс управляется отдельно; Kubernetes использует Doris Operator для управления требуемым состоянием.

Начните с простого

Для первого кластера на локальных машинах или виртуальных машинах ручное интегрированное развёртывание — самый короткий путь к работающей системе Doris.

Какой выбор определяет, где хранятся постоянные данные?

Выберите ответ, чтобы проверить понимание.

Предварительные требования

Устраните проблемы среды прежде всего.

Надёжность развёртывания зависит от дисков, сетевой идентификации, часов, портов и подготовки операционной системы.

CPUСовместимые хосты

Проверьте набор инструкций, ядро, ограничения и требования Java.

NETДоступные сервисы

Откройте порты FE, BE и веб-сервисов между необходимыми узлами.

NTPСинхронизированное время

Синхронизируйте часы для координации, журналирования и диагностики.

SSDПостоянные пути хранения

Продуманно спланируйте размещение метаданных FE, данных BE, журналов и общего хранилища.

Подсказка

Проверьте среду на каждом узле.

Используйте поддерживаемые сочетания CPU и операционной системы, совместимый с FE JDK, стабильные имена хостов или IP-адреса, синхронизированные часы и полную связность между сервисными портами Doris.

Решения, которые трудно изменить

Храните метаданные FE в отдельном постоянном хранилище и до инициализации согласованно задайте правила именования для всего кластера.

Что должно оставаться неизменным на каждом узле кластера?

Выберите ответ, чтобы проверить понимание.

Ручное интегрированное развёртывание

Сначала запустите управляющий слой, затем добавьте хранилище.

Инициализируйте первый FE, расширьте кворум FE, зарегистрируйте узлы BE и проверьте членство до загрузки данных.

Первый FEИнициализировать метаданные
Кворум FEДобавить участников с правом голоса
Узлы BEЗарегистрировать пути хранения
ПроверкаПроверить состояние и защитить систему

Подсказка

Регистрация и запуск процессов — отдельные шаги.

Новый FE присоединяется через вспомогательный FE после регистрации. BE становится рабочим только после регистрации его конечной точки heartbeat и подтверждения работоспособности процессом.

Конфигурация для промышленной эксплуатации

Используйте нечётный кворум FE с правом голоса для высокой доступности и достаточное количество реплик BE, чтобы выдержать сбои, предусмотренные вашей рабочей нагрузкой.

Что нужно сделать перед запуском нового follower FE?

Выберите ответ, чтобы проверить понимание.

Ручное развёртывание с разделением хранения и вычислений

Создайте уровни метаданных и хранения перед вычислительным слоем.

Кластер с разделением хранения и вычислений дополняет знакомые процессы FE и BE компонентами FoundationDB, Meta Service и Storage Vault.

01
FoundationDB + Meta Service
Сохранять и координировать метаданные уровня данных.
02
FE в облачном режиме + вычислительные группы
Планировать SQL и выполнять эластичные задачи.
03
Storage Vault
Подключить постоянное объектное хранилище или распределённую файловую систему.

Подсказка

Каждый уровень должен использовать один и тот же идентификатор кластера.

FoundationDB сохраняет системные метаданные, Meta Service координирует метаданные уровня данных, FE работает в облачном режиме, BE присоединяется к вычислительной группе, а Storage Vault указывает общее объектное или файловое хранилище.

Операционные затраты

FoundationDB и общее хранилище — производственные зависимости. Создавайте резервные копии этих компонентов, отслеживайте их состояние и проверяйте поведение при сбоях, прежде чем полагаться на эластичность.

Что обеспечивает кластеру с разделением хранения и вычислений доступ к общим файлам данных?

Выберите ответ, чтобы проверить понимание.

Интегрированное развёртывание в Kubernetes

Опишите кластер и позвольте Operator согласовать его.

Doris Operator преобразует ресурс DorisCluster в рабочие нагрузки FE и BE, сервисы, конфигурацию и постоянное хранилище.

УстановитьCRDs + Operator
НастроитьОбразы + ConfigMaps
Обеспечить постоянное хранениеPVCs + сервисы
ПрименитьDorisCluster
НаблюдатьПоды + состояние SQL

Подсказка

Пользовательский ресурс становится источником истины.

Задайте образы, количество реплик, ресурсы, ConfigMaps, заявки на постоянные тома и экспонирование сервисов в спецификации DorisCluster. Используйте режим FQDN, чтобы идентификатор pod оставался стабильным при перемещении рабочих нагрузок.

Постоянное хранение должно быть действительно постоянным

Поды BE в интегрированной архитектуре имеют состояние. Перед использованием в продакшене проверьте поведение StorageClass, сохранение томов, ёмкость и размещение по зонам отказа.

Где следует объявить требуемое количество реплик FE и BE?

Выберите ответ, чтобы проверить понимание.

Kubernetes с разделением хранения и вычислений

Считайте зависимости частью платформы.

Kubernetes автоматизирует процессы Doris, но не снимает ответственности за FoundationDB, общее хранилище, учетные данные и планирование отказов.

FDBХранилище метаданных

Отказоустойчивый FoundationDB с контролем ёмкости.

MSMeta Service

Согласованный идентификатор кластера и доступные конечные точки.

CGВычислительные группы

Рабочие узлы без состояния с подходящими ресурсами и кэшем.

OBJОбщее хранилище

Учетные данные Vault, разрешения, сохранность и пропускная способность.

Подсказка

Здоровый pod — не то же самое, что здоровая платформа данных.

Разверните FoundationDB, установите ресурсы Operator для разделённой архитектуры, настройте идентификатор кластера и доступ к хранилищу, создайте Storage Vault, а затем проверьте FE, Meta Service, вычислительные группы и сквозную работу SQL.

Рекомендации по окружению

Быстрая конфигурация с одной репликой полезна для обучения. Для продакшена нужны избыточные службы метаданных и хранилище, рассчитанное на выбранный целевой уровень доступности.

Что должна включать сквозная проверка готовности?

Выберите ответ, чтобы проверить понимание.

Эксплуатация и проверка

Проверяйте сигналы на каждом слое.

Успешное развертывание завершается проверками состояния, безопасностью, наблюдаемостью, правилами масштабирования и отработанным путём обновления.

SQLЧленство

Проверьте роли FE, heartbeat-сигналы BE и состояние вычислительных групп.

SECБезопасность

Задайте учетные данные, ограничьте доступ извне и защитите секреты хранилища.

OBSНаблюдаемость

Начните собирать метрики и журналы до первого инцидента.

DRВосстановление

Протестируйте процедуры перезапуска, замены, резервного копирования и обновления.

Подсказка

Используйте сигналы SQL и платформы вместе.

Проверяйте членство FE и BE с помощью SQL, состояние процессов или pod на платформе, а причины сбоев ищите по журналам и метрикам. Перед публикацией сервисов измените учетные данные по умолчанию.

Порядок обновления

Следуйте руководству по обновлению для нужной версии и матрице совместимости. При пошаговых обновлениях на всём протяжении процедуры сохраняйте кворум и доступность реплик.

Какой сигнал подтверждает, что BE присоединился к кластеру Doris?

Выберите ответ, чтобы проверить понимание.

Итоги развертывания

Путь развертывания — это набор компромиссов, за которые вы отвечаете.

Выберите наименее сложный путь, отвечающий требованиям к хранению, эластичности, доступности и платформе, и проверьте его на реальных данных.

Предпочтительна интегрированная архитектура

Выбирайте простоту эксплуатации, если локальное хранилище и совместное масштабирование подходят вашим требованиям.

Меньше зависимостей от платформы
BE-узлы с сохранением состояния
Прямое управление локальными дисками

Предпочтительно разделение хранения и вычислений

Выбирайте независимое масштабирование, если доступны общее хранилище и возможности управления платформой.

Эластичные вычислительные группы
Надёжное общее хранилище
Дополнительные службы метаданных

Подсказка

Кластер готов, когда готов рабочий процесс.

Вместе с манифестами развертывания задокументируйте выбранную архитектуру, домены отказа, кворум, политику репликации, ответственность за хранилище, модель доступа, мониторинг и процедуру обновления.

Перед следующим уроком

Сохраняйте стабильность развертывания. В следующем модуле вы преобразуете семантику рабочих нагрузок в модели таблиц, партиции, бакеты и ключи сортировки.

Как лучше всего протестировать развертывание в конце?

Выберите ответ, чтобы проверить понимание.

Doris 101: Руководство по установке Apache Doris

Примите два решения перед развёртыванием.

Устраните проблемы среды прежде всего.

Сначала запустите управляющий слой, затем добавьте хранилище.

Создайте уровни метаданных и хранения перед вычислительным слоем.

Опишите кластер и позвольте Operator согласовать его.

Считайте зависимости частью платформы.

Проверяйте сигналы на каждом слое.

Путь развертывания — это набор компромиссов, за которые вы отвечаете.