Kettle Doris Plugin
Kettle Doris Plugin
Kettle Doris的插件,用于在Kettle中通过 Stream Load 将其他数据源的数据写入到 Doris 中。
这个插件是利用 Doris 的 Stream Load 功能进行数据导入的。需要配合 Kettle 服务一起使用。
关于 Kettle
Kettle 是一款开源的ETL(Extract, Transform, Load)工具,最早由 Pentaho 公司开发,Kettle 是 Pentaho 产品套件中的核心组件之一,主要用于数据集成和数据处理,能够轻松完成从各种来源提取数据、对数据进行清洗和转换,并将其加载到目标系统中的任务。
更多信息请参阅:https://pentaho.com/
使用手册
下载Kettle安装
Kettle 下载地址: https://pentaho.com/download/#download-pentaho 下载后解压,运行spoon.sh即可启动kettle 也可以自行编译,参考编译章节
编译Kettle Doris Plugin
cd doris/extension/kettle
mvn clean package -DskipTests
编译完成后,将插件包解压后拷贝到kettle的plugins目录下
cd assemblies/plugin/target
unzip doris-stream-loader-plugins-9.4.0.0-343.zip
cp -r doris-stream-loader ${KETTLE_HOME}/plugins/
mvn clean package -DskipTests
构建作业
在Kettle中的批量加载中找到Doris Stream Loader,构建作业
点击开始运行作业即可完成数据同步
参数说明
Key | Default Value | Required | Comment |
---|---|---|---|
Step name | -- | Y | 步骤名称 |
fenodes | -- | Y | Doris FE http 地址,支持多个地址,使用逗号分隔 |
数据库 | -- | Y | Doris 的写入数据库 |
目标表 | -- | Y | Doris 的写入表 |
用户名 | -- | Y | 访问 Doris 的用户名 |
密码 | -- | N | 访问 Doris 的密码 |
单次导入最大行数 | 10000 | N | 单次导入的最大行数 |
单次导入最大字节 | 10485760(10MB) | N | 单次导入的最大字节大小 |
导入重试次数 | 3 | N | 导入失败之后的重试次数 |
StreamLoad属性 | -- | N | Streamload的请求头 |