- 博客(31)
- 资源 (1)
- 收藏
- 关注
RSS订阅原创 Kettle 连接 Oracle 数据库全流程指南
例如：C:\Oracle\product\19.0.0\dbhome_1\jdbc\lib\ojdbc8.jar2. 替换 Kettle 驱动文件将驱动文件复制到 Kettle 的 目录：删除旧版本驱动：如 ojdbc14.jar只能保留一个oracle驱动重启 Kettle 以加载新驱动二、配置数据库连接1. 启动 Kettle 并新建转换运行 （Windows）或 （Linux）。新建转换（Transformation），添加 “表输入” 步骤，双击进入配置。2.
2025-02-28 15:21:54
1805
原创 使用 Kettle (PDI) 连接 SQL Server 数据库
❌ 驱动未找到 → 确认 JAR 在 lib 目录且重启 Kettle，根据提示放入jtds驱动或mssql驱动。添加参数：integratedSecurity=true（需 sqljdbc_auth.dll）🔑 认证失败 → 验证用户名/密码，检查 SQL Server 身份验证模式（混合模式）🛠 端口冲突 → 确认 SQL Server 实例监听 1433 端口（或自定义端口）🔗 连接超时 → 检查防火墙/网络，确认 SQL Server 允许远程连接。点击 测试 按钮，确认提示 “成功连接到数据
2025-02-27 17:06:25
915
原创 Kettle 实战面试题及参考答案（完整版）
以下是几个 Kettle（Pentaho Data Integration）项目实战面试题及参考答案的完整 Markdown 格式整理，包含代码示例和优化方案。
2025-02-21 16:04:04
1079
原创 Kettle中CSV文件输入勾选「将文件添加到结果文件中」的作用
勾选「将文件添加到结果文件中」自动化文件管理（归档、清理）增强日志和审计能力实现故障恢复和重试机制动态控制后续流程该功能在需要严格管理文件来源或实现端到端自动化的 ETL 流程中非常实用。
2025-02-20 18:16:10
963
原创 Kettle (Pentaho Data Integration) 关键组件及用法
【代码】Kettle (Pentaho Data Integration) 关键组件及用法。
2025-02-19 18:16:49
328
原创 Kettle (Pentaho Data Integration) 常见问题及解决方案
可通过 View → Show debug messages 查看详细日志定位问题。使用 Execute for every input row 循环重试。右键点击步骤 → Define error handling。在作业中添加 Check Db connections 步骤。启用 Batch 模式进行批量提交。使用 Sort 步骤前增加内存缓存。指定错误输出字段和错误描述列。
2025-02-18 11:50:56
709
原创 老司机使用kettle频率超高和必要的设置
Linux/Mac：编辑 ，修改 ：根据数据量调整 （最大堆内存），建议不超过物理内存的70%。2. 配置数据库连接池作用：提高数据库连接的复用性，减少资源消耗。步骤：在Kettle界面中，打开 。选择数据库类型（如MySQL、Oracle），设置以下参数：最大连接数：根据并发任务调整（如20-50）。初始连接数：5-10。空闲超时：300秒（避免长时间占用连接）。3. 启用日志和错误处理作用：精准定位转换/作业执行问题。步骤：日志级别设置：
2025-02-17 17:55:51
1274
原创 汇总50条数据安全常见面试题
加密是将明文转换为密文的过程，以保护数据的机密性。常见的加密算法包括AES、RSA、DES、3DES、SHA等。哈希函数将任意长度的数据映射为固定长度的哈希值，常用于数据完整性验证和密码存储。常见的哈希函数有MD5、SHA-1、SHA-256等。数字签名是通过私钥对数据进行加密生成的，用于验证数据的来源和完整性，确保数据未被篡改。SSL/TLS是用于加密网络通信的协议，确保数据在传输过程中的机密性和完整性，常用于HTTPS。防火墙是一种网络安全设备，用于监控和控制进出网络的流量，防止未经授权的访问和攻击。
2025-02-17 17:39:43
815
原创 Kettle 最常见的性能优化面试题
答案：实际操作：答案：实际操作：答案：实际操作：答案：实际操作：答案：实际操作：答案：实际操作：答案：实际操作：答案：实际操作：答案：实际操作：答案：实际操作：
2025-02-17 17:26:50
692
原创 10个Kettle（Pentaho Data Integration）基础概念面试题及答案
答案步骤（Step）：转换中的基本操作单元，用于执行特定的数据处理任务，如读取数据、过滤数据、写入数据等。跳（Hop）：连接步骤的箭头，用于定义数据流的走向。跳可以配置条件，决定数据是否流向下一个步骤。答案数据库连接：全局共享的数据库连接配置。变量：全局或局部变量，用于动态传递参数。集群模式配置：分布式执行的配置信息。通过主对象树，可以在多个转换或作业中复用资源。
2025-02-17 15:40:50
616
原创 ROACLE查询结果中文乱码
解决oracle中文乱码修改环境变量NLS_LANG = SIMPLIFIED CHINESE_CHINA.ZHS16GBKTNS_ADMIN = D:\install\PLSQL\instantclient_11_2D:\install\PLSQL\instantclient_11_2是自己的
2024-03-11 16:26:54
412
原创 java连接hive出现的各种错误
连接hive代码 private static final String driver = "org.apache.hive.jdbc.HiveDriver"; private static final String url = "jdbc:hive://192.168.10.102:10000/fruit"; @Test public void linkHive(){ Connection conn = null; try { C
2022-04-09 11:19:26
4716
原创 oracle常用函数
表空间相关–查看数据文件空间使用情况select b.file_name 物理文件名, b.tablespace_name 表空间, b.bytes / 1024 / 1024 大小M, (b.bytes - sum(nvl(a.bytes, 0))) / 1024 / 1024 已使用M, substr((b.bytes - sum(nvl(a.bytes, 0))) / (b.bytes) * 100, 1, 5) 利用率 from dba_free_space
2022-04-06 17:10:46
213
原创 docker简单命令
docker简单常用命令Docker 是一个开源的应用容器引擎，让开发者可以打包他们的应用以及依赖包到一个可移植的容器中，然后发布到任何流行的 Linux 机器上.镜像类似于模板，用于启动容器相比传统服务器部署的优点：部署方便 、安全隔离性好快速回滚测试环境执行以下命令，完成docker安装[root@localhost ~]# curl -o /etc/yum.repos.d/docker-ce.repo https://mirrors.aliyun.com/dock
2022-04-06 17:01:44
2502
原创 hive更换tez引擎报错Expected authority at index 7: file://
首先查看hive-env.sh是否是下面形式 # Set HADOOP_HOME to point to a specific hadoop install directoryexport HADOOP_HOME=/opt/SoftWare/Hadoop/hadoop-3.1.3export HIVE_CONF_DIR=/opt/SoftWare/Hive/hive-3.1.2/conf # Folder containing extra libraries required for hive c
2022-03-23 11:08:00
2285
原创 在idea中使用java打开并读取db.splite3文件
偶然得到一份后缀为splite3的文件，现在记录一下如何在idea中使用java读取db.splite3文件。编写工具类，连接splite3文件import java.sql.*;public class sqliteTools { @Test public Statement linkSqlite(){ Statement state = null; try { //名字固定 Class.fo
2022-03-19 09:46:09
1601
原创 window10使用防火墙只允许某些ip远程访问
window10使用防火墙只允许某些ip访问首先，防火墙是禁止所有IP访问的，除了在入站规则里面自行配置的可以访问，现在只需要在入站规则里面添加允许访问的ip和端口就可以了打开windows安全中心，查看网络使用的那个防火墙，如公用网络点击下面高级设置点击入站规则比如要设置共享文件夹的只允许某个ip访问，要对445端口进行设置，找到配置文件是公用，右键属性选中作用域，把需要访问的ip填入，别忘了启用规则，然后就可以了也可对配置文件是所有的进行设置，即三种是都允许
2021-12-24 16:23:43
14971
2
原创 Java四大集合List、Set、Queue、Map特点
集合类主要由Collection和Map两个接口派生出来的Collection又派生出3个接口，List、Set、Queue共四大类ListArrarList可调整大小的数组实现初始容量Math.max(DEFAULT_CAPACITY, minCapacity)最小是10或指定>10的阈值size()扩容 int newCapacity = oldCapacity + (oldCapacity >> 1) 1.5倍有序，可重复线程不安全允许有null查找时
2021-12-23 10:47:39
1253
原创 window10使用WinRAR和ftp实现文件压缩并自动上传
window10使用WinRAR和ftp实现文件压缩并自动上传定时压缩首先电脑上有WinRAR找到WinRAR的可执行文件记录下路径及名称 例：D:\software\winrar\WinRAR.exe随便创建一个文本文档，存放要压缩的内容 如：source.txt并填入内容，可填入多个，每个用英文引号，每个一行"D:\test""D:\test\a.jpg"创建一个文本文档，存储ftp命令 如：ftp.txt模板：open **.**.**.**use
2021-12-21 16:31:20
876
原创 sql列转行，行转列，可实操
题：或请参考1179. 重新格式化部门表 - 力扣（LeetCode）https://leetcode-cn.com/problems/reformat-department-table/进行实操列转行CASE expr1 WHEN expr2 THEN expr3 ELSE expr4 END行中字段expr1是expr2取expr3否则取expr4根据题意CASE month WHEN 'jan' THEN revenue ELSE null END当字段month是‘jan’
2021-09-29 11:03:59
390
原创 sql中if,ifnull,isnull,nullif基本用法
sql中if,ifnull,isnull,nullif基本用法ifif(expr1,expr2,expr3)expr1:条件expr2：条件true，返回expr2expr3：条件false，返回expr3测试：将sex是m的变成f，是f的变成mselect id,if(sex = 'm', 'f', 'm') sex, class from stuifnullifnull(expr1,expr2)expr1不为空返回expr1expr1为空返回expr2测试：cl
2021-09-28 16:25:07
1036
原创 sum(1)，count(1)，sum(n)，count(n)，sum(列名)，count(列名)等的区别
sum(1)，count(1，)sum(n)，count(n)，sum(列名)，count(列明)等的区别准备数据进行查询SELECT SUM(1),COUNT(1) FROM USER;结果输出当前总行数可能性能会有区别，但是结果一样注：搜索执行计划一样，所以性能也没且别扩展查询SELECT COUNT(*) FROM USER;结果：count(*)：返回所有行（包含空值的行） sum(*) ：语法错误查询SELECT SUM(0),COUNT(0)
2021-08-01 11:09:26
2201
原创 flink提交获取netcat数据的任务报拒绝连接错误
flink提交获取netcat数据的任务报拒绝连接错误简述我是使用本地netcat进行通信，然后就会报错解决在linux上安装netcat安装netcat[root@hadoop102 ~]# yum install -y netcat配置并使环境变量生效export NETCAT_HOME=/usr/local/netcatexport PATH=$PATH:$NETCAT_HOME/bin启动[root@hadoop102 ~]# netcat -lk 7777然后测试即可
2021-07-11 17:50:02
662
1
原创 执行hivesql reduce任务失败
空key转换reduce任务失败如图所示点击失败的任务，进入可查看失败原因[2021-05-26 19:00:18.590]Container [pid=6061,containerID=container_1622024613586_0011_01_000013] is running 325679616B beyond the ‘VIRTUAL’ memory limit. Current usage: 216.5 MB of 1 GB physical memory used; 2.4 GB
2021-05-26 19:24:54
382
oracle常用驱动ojdbc5，ojdbc6，ojdbc7，ojdbc8，ojdbc14
2025-02-28
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人