Руководство по озёрному хранилищу Apache Doris

Модель озёрного хранилища

Запрашивайте открытые данные, не создавая второго изолированного контура.

Doris может использовать свой векторизованный движок запросов MPP для работы с таблицами хранилища данных и внешними данными озёрного хранилища, доступными через Catalog.

01
SQL и оптимизатор
Планируйте соединения и переносите вычисления ближе к подключённым источникам.
02
Catalog и метаданные
Определяйте базы данных, таблицы, партиции, схемы и снимки.
03
Удалённое хранилище и системы
Храните данные, являющиеся источником истины, в открытых таблицах, файлах или базах данных.

Подсказка

Исходная система остаётся источником истины.

Внешние метаданные определяют таблицы и файлы, Doris планирует и выполняет SQL, а кэши сокращают повторный удалённый I/O. Данные могут оставаться в Hive, Iceberg, Hudi, объектном хранилище или другой подключённой системе.

Две разные архитектуры

Запрос внешних таблиц озёрного хранилища — это не то же самое, что развёртывание Doris с разделением вычислений и хранения. Первое — федерация источников данных; второе — архитектура кластера Doris.

Где внешняя таблица Hive остаётся источником истины?

Выберите ответ, чтобы проверить понимание.

Catalogs

Предоставьте каждому внешнему источнику знакомый SQL-адрес.

Catalog задаёт подключение и предоставляет свои базы данных и таблицы через то же трёхуровневое пространство имён, которое используется в SQL.

CatalogИсточник + коннектор
База данныхВнешнее пространство имён
ТаблицаСхема + файлы
ПартицияМетаданные для отсечения

Подсказка

Свойства Catalog — это конфигурация инфраструктуры.

Тип Catalog выбирает коннектор. Свойства задают конечные точки, аутентификацию, доступ к хранилищу и поведение коннектора. Затем Doris сопоставляет внешние типы и метаданные со своей SQL-моделью.

Безопасность учётных данных

Используйте поддерживаемые схемы управления секретами, ограничивайте разрешения и применяйте сетевые ограничения. Не добавляйте учётные данные объектного хранилища или Metastore в примеры курса или код приложения.

Что представляет собой Doris Catalog?

Выберите ответ, чтобы проверить понимание.

Интеграция с Hive

Соедините метаданные и хранилище в единый путь.

Hive Catalog требует доступа к Metastore и разрешения на чтение файлов, описанных этими метаданными.

Уровень метаданных

Определяйте базы данных, таблицы, схемы и партиции.

Конечная точка Hive Metastore
Свойства Catalog
События метаданных и кэш

Уровень данных

Читайте или записывайте файлы, на которые указывают эти определения таблиц.

HDFS или объектное хранилище
Сеть и учётные данные
Поддержка форматов и снимков

Подсказка

Успешный доступ к метаданным не доказывает доступ к данным.

Doris может перечислять базы данных через Hive Metastore, но запросы всё равно могут завершаться ошибкой при обращении к HDFS или объектному хранилищу. Сквозным образом проверьте DNS, порты, аутентификацию, конфигурацию файловой системы и делегированные учётные данные.

Среды Kerberos

Единообразно распространяйте и защищайте необходимые конфигурацию krb5 и материалы keytab, затем проверьте продление билетов и доступ к файлам из фактических процессов Doris.

Вы можете перечислить таблицу Hive, но не можете просканировать её. Что следует проверить?

Выберите ответ, чтобы проверить понимание.

Федеративный SQL

Объединяйте источники, но передавайте минимальный объём данных.

Doris может объединять таблицы внешнего озёрного хранилища, внешние базы данных и внутренние таблицы в одном запросе, применяя отсечение и проталкивание с учётом возможностей коннектора.

ОпределениеМетаданные Catalog
ОтсечениеПартиции + столбцы
ПроталкиваниеПоддерживаемые предикаты
СканированиеПараллельный удалённый I/O
СоединениеВыполнение Doris

Подсказка

Федерация не устраняет сетевые затраты.

Рано фильтруйте данные и выбирайте нужные столбцы, делайте предикаты внешних партиций явными, собирайте полезную статистику и проверяйте EXPLAIN, чтобы подтвердить отсечение партиций, проталкивание предикатов и распределение соединений.

Шаблон для промышленной эксплуатации

Федерация подходит для исследования и выборочных соединений. Результаты, которые часто используются повторно или чувствительны к задержке, лучше сохранять во внутренней таблице или материализованном представлении.

Что обычно наиболее непосредственно сокращает объём сканирования федеративного запроса?

Выберите ответ, чтобы проверить понимание.

Кэш и I/O

Превратите повторные удалённые чтения в локальную работу.

Кэши метаданных сокращают обращения к каталогу, а кэширование данных сохраняет часто читаемые удалённые блоки в локальном хранилище.

METAКэш метаданных

Повторно используйте метаданные таблиц, партиций, файлов и снимков.

DATAКэш данных

Храните часто используемые удалённые блоки на локальных дисках рядом с вычислительными узлами.

PUSHPushdown

Уменьшайте количество столбцов, партиций и строк до передачи данных.

Подсказка

Производительность при холодном и тёплом кэше измеряется по-разному.

Холодные запросы показывают пропускную способность источника и сети. Тёплые запросы показывают пользу кэша. Определяйте размер кэша по рабочему набору, отслеживайте коэффициент попаданий и вытеснение, а также обеспечьте достаточную локальную пропускную способность для параллельного сканирования.

Кэш не гарантирует корректность

Настройте поведение обновления и инвалидации в соответствии с характером изменений во внешней системе. Быстрый, но устаревший результат всё равно неверен.

Что следует отдельно указывать в результатах теста производительности lakehouse?

Выберите ответ, чтобы проверить понимание.

Запись во внешнюю систему и DDL

Рассматривайте запись во внешнюю систему как изменение общей системы.

Поддерживаемые каталоги могут записывать данные или управлять внешними объектами, но целевой формат, Metastore, разрешения и другие движки должны согласованно обрабатывать результат.

CAPВозможности

Подтвердите поддержку коннектора, формата и версии.

AUTHАвторизация

Предоставьте только необходимые разрешения для Metastore и хранилища.

COMMITПоведение фиксации

Разберитесь в атомарности, снимках и очистке после сбоев.

READПроверка в разных движках

Убедитесь, что другие потребители видят ожидаемый результат.

Подсказка

Возможности зависят от коннектора и формата таблицы.

Перед выполнением INSERT, CTAS или DDL проверьте матрицу поддержки текущей версии. Соблюдайте правила внешнего партиционирования, проверьте семантику фиксации и протестируйте, как Hive, Spark или другие системы чтения видят изменения.

Правило схемы Hive

При создании таблиц Hive соблюдайте ограничения схемы коннектора и транзакционных таблиц, включая размещение столбцов партиционирования.

Что следует проверить перед включением записи во внешнюю систему?

Выберите ответ, чтобы проверить понимание.

Итоги lakehouse

Управляйте границей коннектора как продуктом.

Производственный контур lakehouse сочетает корректные метаданные, безопасный доступ к хранилищу, эффективное отсечение партиций, измеримый эффект кэширования и проверенную семантику записи.

ПодключениеCatalog + аутентификация
ЗапросОтсечение партиций + pushdown
УскорениеКэш + материализация
УправлениеЗапись + схема
ЭксплуатацияСквозное наблюдение

Подсказка

Отвечайте за весь путь, а не только за конечную точку SQL.

Отслеживайте задержку Metastore, поведение кэша, объём данных, прочитанных удалённо, ошибки сканирования, учётные данные, изменения схемы и доступность источника. Зафиксируйте, какая команда отвечает за каждую зависимость и границу инцидента.

Курс завершён

Теперь у вас есть ментальная модель Doris 101: архитектура, развёртывание, проектирование таблиц, операции с данными, аналитический SQL и интеграция с lakehouse.

Что лучше всего подтверждает готовность каталога к промышленной эксплуатации?

Выберите ответ, чтобы проверить понимание.

Doris 101: Руководство по озёрному хранилищу Apache Doris

Запрашивайте открытые данные, не создавая второго изолированного контура.

Предоставьте каждому внешнему источнику знакомый SQL-адрес.

Соедините метаданные и хранилище в единый путь.

Объединяйте источники, но передавайте минимальный объём данных.

Превратите повторные удалённые чтения в локальную работу.

Рассматривайте запись во внешнюю систему как изменение общей системы.

Управляйте границей коннектора как продуктом.