Kettle

Kettle Doris Plugin представляет собой плагин для Kettle, который записывает данные из других источников в Doris через Stream Load.

Этот плагин использует функцию Stream Load в Doris для загрузки данных и должен работать совместно с сервисом Kettle. Если вы уже используете Kettle для организации ETL-заданий и хотите записывать в Doris данные из источников, поддерживаемых Kettle, этот плагин позволит синхронизировать данные.

О Kettle

Kettle представляет собой инструмент ETL (извлечение, преобразование и загрузка) с открытым исходным кодом, первоначально разработанный компанией Pentaho. Kettle входит в число основных компонентов набора продуктов Pentaho и используется преимущественно для интеграции и обработки данных. Он позволяет извлекать данные из различных источников, очищать и преобразовывать их, а затем загружать в целевые системы.

Дополнительные сведения см. на официальном сайте Pentaho.

Порядок работы

Запись данных в Doris с помощью Kettle Doris Plugin выполняется в следующем порядке:

Шаг	Цель пользователя	Действие
1	Подготовить среду Kettle	Скачайте и распакуйте Kettle или соберите его самостоятельно.
2	Подготовить плагин Doris	Соберите Kettle Doris Plugin из исходного кода Doris.
3	Установить плагин	Скопируйте собранный плагин doris-stream-loader в каталог plugins Kettle.
4	Создать задание	Выберите Doris Stream Loader в Kettle и настройте подключение к Doris и параметры импорта.
5	Запустить синхронизацию	Запустите задание для записи данных в Doris через Stream Load.

Подготовка среды Kettle

Скачивание и запуск Kettle

1. Перейдите на страницу загрузки Kettle и скачайте Kettle.
2. Распакуйте скачанный пакет.
3. Выполните spoon.sh, чтобы запустить Kettle.

Самостоятельная сборка Kettle

Чтобы собрать Kettle самостоятельно, следуйте инструкциям по сборке Pentaho Kettle.

Сборка и установка Kettle Doris Plugin

Сборка плагина

В каталоге исходного кода Doris перейдите в extension/kettle, затем соберите плагин:

cd doris/extension/kettle
mvn clean package -DskipTests

Установка плагина

После завершения сборки распакуйте пакет плагина и скопируйте doris-stream-loader в каталог plugins Kettle:

cd assemblies/plugin/target
unzip doris-stream-loader-plugins-9.4.0.0-343.zip
cp -r doris-stream-loader ${KETTLE_HOME}/plugins/

Создание и запуск задания

Создание задания Doris Stream Loader

В Kettle найдите Doris Stream Loader в разделе «Массовая загрузка» и создайте задание.

Запуск задания

Нажмите «Запустить», чтобы выполнить задание и синхронизировать данные.

Параметры

В следующей таблице описаны основные параметры настройки задания Doris Stream Loader:

Параметр	Значение по умолчанию	Обязательный	Описание
Step name	--	Y	Название шага.
fenodes	--	Y	HTTP-адрес FE Doris. Поддерживается несколько адресов, разделённых запятыми.
База данных	--	Y	Целевая база данных в Doris для записи.
Целевая таблица	--	Y	Целевая таблица в Doris для записи.
Имя пользователя	--	Y	Имя пользователя для доступа к Doris.
Пароль	--	N	Пароль для доступа к Doris.
Максимальное число строк за один импорт	10000	N	Максимальное число строк за один импорт.
Максимальное число байтов за один импорт	10485760 (10 MB)	N	Максимальный объём данных в байтах за один импорт.
Число повторных попыток импорта	3	N	Число повторных попыток при сбое импорта.
Свойства Stream Load	--	N	Заголовки запроса Stream Load.
Режим удаления	N	N	Определяет, включён ли режим удаления. По умолчанию Stream Load выполняет операции вставки. После включения режима удаления все операции записи Stream Load становятся операциями удаления.

Дополнительные параметры Stream Load см. в документации по Stream Load.

Часто задаваемые вопросы

Можно ли использовать Kettle Doris Plugin самостоятельно?

Нет. Kettle Doris Plugin должен работать совместно с сервисом Kettle.

Как заполнить fenodes?

Укажите в fenodes HTTP-адрес FE Doris. Если адресов FE несколько, разделите их запятыми.

Как режим удаления влияет на запись?

По умолчанию Stream Load выполняет операции вставки. После включения режима удаления все операции записи Stream Load становятся операциями удаления.