Проверка аппаратного и программного окружения
В этом документе приведены справочные сведения об аппаратном и программном окружении для развёртывания Doris.
Проверка аппаратного окружения
| Проверяемый параметр | Минимальная конфигурация | Рекомендуемая конфигурация |
|---|---|---|
| CPU | Поддержка набора инструкций AVX2 | Поддержка набора инструкций AVX2 |
| Память | Количество ядер CPU x 4 GB | Количество ядер CPU x 8 GB |
| Накопитель | SSD или HDD | SSD |
| Файловая система | ext4 или xfs | ext4 или xfs |
| Сетевая карта | 1GbE | 10GbE + агрегация каналов |
Проверка CPU
Doris использует векторизацию AVX2 для ускорения запросов. Рекомендуется использовать машину с поддержкой набора инструкций AVX2.
cat /proc/cpuinfo | grep avx2
Если команда выводит результат, AVX2 поддерживается. Если поддержки нет, можно использовать установочный пакет Doris no-AVX2.
Проверка памяти
Doris не устанавливает ограничений на объём памяти. Для сред промышленной эксплуатации рекомендуются следующие значения:
| Компонент | Минимальный объём памяти | Рекомендуемый объём памяти |
|---|---|---|
| FE | 16 GB | 64 GB+ |
| BE | Количество ядер CPU x 4 GB | Количество ядер CPU x 8 GB |
Проверка накопителей
| Сценарий | Рекомендуемый тип хранилища |
|---|---|
| Большое число одновременных точечных запросов к большим объёмам данных | SSD |
| Частые обновления больших объёмов данных | SSD |
| Архивирование холодных данных | HDD / объектное хранилище |
Проверка файловой системы
| Файловая система | Сценарий применения |
|---|---|
| ext4 | Универсальное применение, хорошая стабильность |
| xfs | Большие объёмы данных, множество одновременных операций записи |
Проверка сетевой карты
Рекомендуется сеть 10GbE или более быстрая. На машинах с несколькими сетевыми картами используйте агрегацию каналов для увеличения пропускной способности и обеспечения резервирования.
Рекомендуемая конфигурация серверов
Поддерживаются архитектуры x86-64 и ARM64.
Среды разработки и тестирования
FE и BE можно развёртывать совместно:
- Разверните 1 FE + 1 BE на одном сервере (развёртывание нескольких экземпляров не рекомендуется)
- Для хранения 3 реплик данных: разверните по 1 BE на каждом из как минимум 3 серверов
| Модуль | Минимальные требования к CPU | Минимальный объём памяти | Минимальные требования к диску | Сеть | Количество экземпляров |
|---|---|---|---|---|---|
| Frontend | 8 ядер | 8 GB | SSD/SATA, 10 GB+ | 1GbE/10GbE | 1 |
| Backend | 8 ядер | 16 GB | SSD/SATA, 50 GB+ | 1GbE/10GbE | 1 |
Среда промышленной эксплуатации
Рекомендуется развёртывать FE и BE отдельно. Если ресурсов недостаточно и их приходится размещать совместно, храните их данные на разных дисках.
| Модуль | Рекомендуемые требования к CPU | Рекомендуемый объём памяти | Рекомендуемые требования к диску | Сеть | Количество экземпляров |
|---|---|---|---|---|---|
| Frontend | 16+ ядер | 64 GB+ | SSD, 100 GB+ | 10GbE | 1 |
| Backend | 16+ ядер | 64 GB+ | SSD/SATA, 100 GB+ | 10GbE | 3 |
Расчёт дискового пространства
| Компонент | Рекомендуемый объём | Описание |
|---|---|---|
| FE | 100 GB+ | SSD, используется для хранения метаданных |
| BE | Общий объём данных x 3 x 1.4 | Коэффициент сжатия LZ4 0.3-0.5, 3 реплики + 40% пространства, зарезервированного для фоновой компактации |
Приведённый выше расчёт объёма хранилища BE относится главным образом к режиму развёртывания с совмещённым хранением и вычислениями. В режиме развёртывания с разделением хранения и вычислений все данные находятся в общем хранилище, а локальный диск используется только для кэширования, поэтому его объём зависит от объёма горячих данных.
Проверка окружения Java
Для работы всех процессов Doris требуется Java.
| Версия Doris | Версия Java | Рекомендуемая версия |
|---|---|---|
| 2.1 (включительно) и более ранние | Java 8 | jdk-8u352+ |
| 3.0 (включительно) и более поздние | Java 17 | jdk-17.0.10+ |