Миграция данных из других AP-систем
В этом документе описаны распространённые способы миграции данных из других AP-систем (аналитических систем) в Apache Doris. Он поможет выбрать способ миграции с учётом исходной системы и используемого технологического стека.
Обзор способов миграции
В зависимости от исходной системы и доступных инструментов существует три основных способа миграции данных из других AP-систем в Doris:
| Способ миграции | Сценарий применения | Основные компоненты |
|---|---|---|
| Multi-Catalog + Insert Into | Исходная система — Hive, Iceberg, Hudi или другая система, поддерживающая сопоставление с внешним Catalog | Multi-Catalog, Insert Into |
| Перенос через промежуточные файлы | Исходная система поддерживает экспорт в распространённые форматы данных, такие как CSV | Инструменты экспорта данных, импорт файлов в Doris |
| Интеграция через коннекторы | Уже есть задание Spark или Flink либо требуется программная миграция | Spark/Flink AP Connector, Doris Connector |
Подробное описание способов миграции
Способ 1: Представление в виде внешней таблицы с помощью Multi-Catalog и последующий импорт
Этот способ подходит для систем, которые распознаёт Doris Multi-Catalog, таких как Hive, Iceberg и Hudi.
- В Doris используйте Multi-Catalog, чтобы представить исходную систему в виде внешней таблицы.
- Используйте
Insert Into, чтобы записать данные из внешней таблицы во внутреннюю таблицу Doris.
Способ 2: Перенос через промежуточные файлы
Этот способ подходит, если прямую интеграцию с исходной системой организовать затруднительно, но она поддерживает экспорт данных.
- Экспортируйте данные из исходной AP-системы в распространённый формат данных, например CSV.
- Импортируйте экспортированные файлы данных в Doris.
Способ 3: Запись данных через Spark или Flink Connector
Этот способ подходит, если уже используется конвейер обработки данных на Spark или Flink либо во время миграции требуется очистка или преобразование данных.
- Используйте Spark или Flink Connector для соответствующей AP-системы, чтобы прочитать исходные данные.
- Используйте Doris Connector, чтобы записать данные в Doris.
Часто задаваемые вопросы
Вопрос: Что делать, если используемой мной AP-системы нет в приведённом выше списке?
Если у вас есть другие инструменты или способы миграции, которые можно добавить в этот список, свяжитесь с нами по адресу dev@doris.apache.org.
Если у вас есть другие инструменты миграции, которые можно добавить в этот список, свяжитесь с нами по адресу dev@doris.apache.org.