kettle批量抽取web（kettle抽取数据到hive）-兴科数码

本篇目录：

1、kettle连接Oracle数据库?
2、kettle数据导出到另一个数据库,必须先建表结构吗
3、web如何调用kettle来进行数据的采集
4、Linux上安装Kettle
5、kettle抽取linux下csv文件到Windows下数据库

kettle连接Oracle数据库?

1、启动Kettle。打开数据库连接的窗口。在数据库类型下拉框中选择相应的数据库类型，如MySQL、Oracle等。填写主机名、端口号、数据库名称等数据库的连接信息。

2、把%ORACLE_HOME%\lib加到PATH环境变量。把%ORACLE_HOME%\jdbc\lib\classes1jar加到CLASSPATH环境变量里，也可以把classes1jar拷贝到tomcat的comman\lib目录下。

3、驱动文件安装失败。确认是否安装了驱动文件。下载对应数据库的驱动jar包放在kettle下的lib目录下，oracle数据库连接的时候，需要在表或者数据库的前面加上前缀词。

4、kettle可以执行脚本，delete和truncate都可以。

kettle数据导出到另一个数据库,必须先建表结构吗

1、导出数据库对象在PL/SQL Developer的菜单Tools=Export User Objects中出来一个对话框界面，然后框选要到处的Oracle 数据库对象，包括表，序列，存储过程，视图，函数等等，并指定导出的文件名称，如下操作。

2、如果一定要用kettle解决的话，写个shell，自动解析excel，然后创建目标表。或者重写kettle的控件。kettle工具安装很简单，从官网上下载下来之后，直接解压到制定的盘符下即可（前提是你配置了JAVA的环境变量，path，classpath）。

3、当然可以操作步骤：准备工作：data.xlsx表；testuser用户下要有一个与data.xlsx表结构（列数与字段类型）相同的表。

4、确认数据库连接信息的准确性。完成以上步骤后，Kettle就可以成功连接到相应的数据库，并进行数据读取和写入等操作。需要注意的是，每个不同类型的数据库在连接时需要填写的信息和参数不同，因此需要根据具体情况进行配置。

5、EMP导出、IMP导入，应该就可以了，百度一下，方法比较简单，就不重复描述了。

6、启动Spoon，新建一个Trans。点击左侧的Database，选择Oracle。在连接Oracle数据库的页面，填写以下信息：Host name： Oracle数据库所在的主机名或IP地址。Port number： Oracle数据库的监听端口号，默认为1521。

web如何调用kettle来进行数据的采集

Kitchen.bat：命令行方式执行作业。 Carte.bat：启动web服务，用于 Kettle 的远程运行或集群运行。

通过调用电商平台提供的API，可以获取到特定的产品信息、订单数据、用户信息等。使用API接口采集数据，通常更加规范和合法。

基于API接口的数据采集：许多网站提供API接口来提供数据访问服务，网络爬虫可以通过调用API接口获取数据。与直接采集Web页面相比，通过API接口获取数据更为高效和稳定。

Linux上安装Kettle

1、jdk8 kettle1 linux可视化图形插件Window System Xmanager。安装步骤第一步安装jdk8，并使用java -version 查看是否正确安装。

2、Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。

3、链接：https：//pan.baidu.com/s/1qSJoR5D1Ih9ZtfYEfncQKg 提取码：sd59 kettle 是纯 java 开发，开源的 ETL工具，用于数据库间的数据迁移。可以在 Linux、windows、unix 中运行。

4、于是从接触kettle以来都是在windows系统操作ETL的设计和处理。现在需要在linux中查看一下kettle资源库是否连接正常，以及在linux上调度kettle的job，就需要在Linux上配置kettle环境了。

5、kettle 的官网是 https：//community.hitachivantara.com/docs/DOC-1009855，github 地址是 https：//github.com/pentaho/pentaho-kettle。安装。这边以 windows 下的配置为例，linux 下配置类似。jdk 安装及配置环境变量。