web kettle 数据采集

大数据15

大概是最后一次Fix了。项目内置的Kettle引擎是在没办法运行各种任务。所以推荐使用kettle集群

另外如果项目中使用到任何外部文件(包括jar包,读取的文件等)。最好要放在分布式文件系统中。因为这些文件在web模式下是找不到的。

这是一个对客户端版的kettle创建的job和transformation进行统一管理的工具(支持kettle9.0版本)

简单说明

  • 目前已经支持文件类型转换和任务的保存和添加,保存位置在配置文件中进行配置。
  • 因为kettle支持的转换类型非常的多。目前我只是测试了MySQL数据的导入和导出以及MySQL-Excel数据之间的转换,如果添加的转换比较复杂是一定会出问题的。这个目前来说也没有什么优雅的解决办法,正在逐步完善。
  • 现在本系统,作为kettle的简单调度平台。还缺少很多的模型模板作为提供,这也是在未来要进行完善的模块。

使用工具(这里我觉得直接看pom文件比较好)

1.8
4.12
UTF-8
UTF-8
4.3.1.RELEASE
2.8.11
5.1.38
1.0.29
1.10
1.3.2
1.8.3
1.10
2.4
1.5.6
2.8.4
7.0.0.0-25
2.2.1
1.6

主要是spring+mvc+beetlsql的整合使用,这里必须多说一句,beetlsql的确是非常的好用

有商务意向 786348954

项目启动

  1. 下载项目

  2. 导入eclipse

  3. 等待maven下载完包
  4. 一直等到项目不报错了
  5. 导入数据库文件
  6. 配置数据库连接(resource目录下面)
  7. 扔到Tomcat里面进行启动

web kettle 数据采集

web kettle 数据采集

web kettle 数据采集

web kettle 数据采集

Original: https://blog.csdn.net/xinshengtaihechuang/article/details/122340896
Author: 屌屌的程序猿
Title: web kettle 数据采集