Начните с логической иерархии. Затем приблизьте масштаб, чтобы увидеть, как таблица делится и распределяется по кластеру.
Аналитические запросы часто обращаются лишь к нескольким столбцам во множестве строк. Колоночное хранение позволяет Doris читать и обрабатывать только нужные этим запросам данные.
Сканировать только столбцы, на которые ссылается запрос.
Значения одинакового типа проще компактно кодировать.
Непрерывные векторы эффективнее используют кэш и позволяют применять SIMD.
Модель таблицы определяет, сохраняет ли Doris каждую строку, объединяет значения или поддерживает по одной логической строке для каждого Key.
Сохраняет каждую входную строку для сведений о событиях и журналов.
Объединяет столбцы Value с помощью объявленных агрегатных функций.
Сохраняет одну логическую строку для каждого Key при обновлениях и CDC.
В интегрированной архитектуре узлы Frontend координируют систему, а узлы Backend выполняют запросы и сохраняют реплики таблетов в локальном хранилище.
Группы вычислений без состояния могут масштабироваться независимо, а постоянные данные остаются в общем хранилище.
FE предоставляет SQL, а Meta Service управляет метаданными уровня данных.
Узлы BE без состояния выполняют работу и кэшируют горячие данные.
Объектное хранилище или поддерживаемая распределённая файловая система сохраняет данные.
Развертывания в интегрированной архитектуре и архитектуре с разделением хранения и вычислений подходят для разных условий эксплуатации. Ни одна архитектура не является универсально лучшей.
BE-узлы хранят состояние, выполняют вычисления и сохраняют данные локально.
Вычислительные группы без состояния используют общее постоянное хранилище.
Движок хранения организует данные и пути доступа. Движок запросов преобразует SQL в распределенные векторизованные конвейеры.
Читает необходимые столбцы и сжимает аналитические данные.
Префиксные, Min/Max, Bloom и инвертированные индексы сокращают область сканирования.
Распределяет выполнение запроса между узлами Backend.
Применяет стратегии на основе правил, стоимости и исторических данных.
Запрос проверяется и оптимизируется, разбивается на фрагменты и экземпляры, выполняется на узлах BE, после чего результаты объединяются.
Doris сочетает предварительные вычисления, логическое переписывание запросов, планирование на основе статистики и фильтрацию во время выполнения, чтобы уменьшать объем данных до и во время выполнения.
Повторно использует предварительно вычисленные результаты с помощью переписывания запросов.
Применяет детерминированные логические преобразования.
Использует статистику для сравнения физических планов.
Продвигает фильтры ближе к сканированию, чтобы раньше отбрасывать строки.