- 博客(49)
- 收藏
- 关注
RSS订阅原创 使用docker compose部署dify（大模型开发使用平台）
Dify 企业版 on 阿里云百炼是一款适配阿里云环境的生成式 AI 应用中间件，面向有私有部署与数据合规需求的企业用户，推动企业向 AI+ 时代转型。平台支持无代码构建，业务人员即可快速搭建与调试 AI 应用，显著降低开发门槛。
2025-05-22 15:22:28
438
原创 docker-安装部署于macOS11
Docker Desktop 为个人及小微企业提供免费版本，而 Docker CE 社区版也是免费的。安装 Docker Desktop 后即可使用 Docker Compose。
2025-05-22 15:10:51
882
原创 oracle 触发器与commit的先后执行顺序
oracle11g前些天朋友问了一个触发器的问题，引发了我进一步实验验证的想法：触发器与commit的先后顺序，以及触发器中的before、after是以哪个时间点划分的，rollback对触发器的影响。
2025-05-07 14:17:43
543
原创 大模型-qwen1.5-本地部署
参照Qwen1.5-0.5B-Chat：大模型前置要求ransformers：自然语言处理pytorch：机器学习和深度学习框架TensorFlow：机器学习平台streamlit：python应用开发库。
2025-04-05 09:41:09
1046
原创 大数据-spark3.5安装部署之免密登录
spark使用standalone模式部署时，从节点要与主节点之间进行通信。如果不配置免密登录，启动时会提示输入密码，很可能造成从节点没有成功启动；启动后当主从节点要互相访问时，依然需要密码，这时肯定失败，例如web查看时只看到一个主节点自身的worker。节点互访存在于主从之间，从从之间不存在。
2025-03-14 14:47:22
954
原创 大数据-spark3.5安装部署之standalone模式
真实工作中还是要将应用提交到集群中去执行，Standalone模式就是使用Spark自身节点运行的集群模式，体现了经典的master-slave模式。
2025-03-14 14:19:37
1306
原创 大数据-spark3.5安装部署之local模式
spark，一个数据处理框架和计算引擎。local模式即本地模式，就是不需要任何其他节点资源就可以在本地执行spark代码的环境。用于练习演示。
2025-03-14 13:20:17
404
原创 oracle使用动态sql将多层级组织展平
ERP或者其他企业管理软件中都会有一张组织机构表，可以写固定sql的方式将其展平获取组织表中的字段信息，如负责人、上级负责人、成立时间等。但是这种方式有个缺陷，就是如果只写到处理4个层级，那么后期层级增多就无法处理。如何灵活处理，实现一次写好，即使层级增多，也可以正常处理呢。思路：通过展平，可以知道层级（depth），然后根据层级，使用动态sql拼接查询语句字符串。比如，拿到的是第三层的组织名称，而其负责人信息存储在上上级组织即第一层组织的负责人字段中。循环3次拼接一个完整的sql。
2025-02-13 15:58:19
427
原创 数仓技术hive与oracle对比（五）
刷新共享池可以帮助合并碎片(small chunks)，释放少数共享池资源，暂时解决shared_pool中的碎片问题。·Flush Shared Pool会导致当前未使用的cursor被清除出共享池，如果这些SQL随后需要执行，那么数据库将经历大量的硬解析，系统将会经历严重的CPU争用，数据库将会产生激烈的Latch竞争。oracle的客户端sqldeveloper，对于超过50行的，非聚合查询、非分析查询要想得到真正的执行时间，外加select count(*) from (query)。
2024-12-06 15:15:00
1326
原创 数仓技术hive与oracle对比（四）
将oracle数据库中的表，用sqoop导入hive时，如果表中字段值含有“，”，会导致导入hive后，每一行所有字段的内容都放在了第一个字段，其他字段均没有值。所以对于以上情况，命令中要添加对“，”的处理，即添加--fields-terminated-by "\001"。执行聚合查询时，报错如上所示，但看日志时，在路径/tmp/hadoop/.log中并没有找到相应的日志。然后可以正常查询，但是删掉上图中增加的红框内容，重启hadoop、hive，仍然可以正常查询。经验证，是内存崩溃导致。
2024-12-06 15:09:32
581
原创 数仓技术hive与oracle对比（三）
oracle使用dblink+透明网关连接其他数据库，mysql、sqlserver、oracle，然后用sql、plsql更新数据；或者使用etl工具实现更新。hive使用sqoop连接mysql、sqlserver、oracle实现数据更新。
2024-12-06 15:07:07
742
原创 数仓技术hive与oracle对比（二）
将SELECT sum(ncostmny),sum(ninnum) FROM ht_od_ic_flow_100 WHERE vbillcode >= 'CR2023080100000001' AND vbillcode <= 'CR2023083000000001'中的vbillcode起始改为CR202308xx00000001，速度依然很快，往前调个两三天0731、0730、0729，速度依然很快，维持在1.xxxs，或者至多不超过10s。少量查询 code范围查询。少量查询 code范围查询。
2024-12-06 14:58:07
1266
原创 数仓技术hive与oracle对比（一）
使用仓库、组织、物料、库存流水，进行响应测试，oracle使用dbeaver等将测试数据从外系统加载至测试环境，hive使用sqoop将测试数据从外系统加载至测试环境。备注：1、数据量超达到4万条，dbeaver客户端加载数据明显慢很多，受限于客户端工具（客户端工具是java所开，需要将sql文件在工具中打开），使用服务端加载。测试数据的加载，按照oracle、hive的不同，分别采用不同的方式和工具进行处理。hive中，表名、列名是不区分大小写的，但库名区分大小写。包括软硬件环境、数据两方面的准备内容。
2024-12-06 13:57:02
906
原创 oracle数据泵导出导入
oracle数据泵导出工具（其后为方便读写，简称为导出），它可以将数据和元数据加载到一系列的操作系统文件中，这些文件也被称之为一个数据泵文件集。数据泵文件集只可以被数据泵导入工具（其后为方便读写，简称为导入）在导入时使用。数据泵文件集可以被导入到相同的数据库系统中，也可以被导入到另一个数据库系统中。数据库文件集是由包含表数据、数据库对象元数据和控制信息的一个或多个硬盘文件组成。这些文件内容是以专用的二进制格式写入的，导入工具使用这些文件定位每个数据库对象在数据泵文件集中的位置。参照。
2024-08-12 14:03:26
1428
原创 oracle普通导出导入
原始的普通导出导入工具，是一个客户端工具。使用导出工具（export utility简称exp）是将数据从oracle数据库以二进制形式写入操作系统文件，这个文件存储在数据库之外，并且可以被另一个数据库使用导入工具（import utility简称imp）读入。注意：从oracle11g开始，不再支持oracle导出导入的使用（不再支持，但11g还可以使用这个功能）。唯一支持的是使用导出导入将XMLType数据向后迁移至10g或者更早版本。参照。
2024-08-12 13:48:31
1482
原创 mac操作系统下验证iconv字符集转码机制
iconv是unix、linux、mac等类unix操作系统下的一个字符集编码格式转换工具，可以将一种已知的字符集文件转换成另一种已知的字符集文件。结论：经过如下验证，使用iconv会直接调整文件（中文）内容的底层编码，并按照新的字符集编码生成新的文件。
2024-07-30 14:44:04
258
原创 oracle读写时相关字符集详解
服务器端操作系统（Oracle linux）字符集服务器端数据库字符集客户端操作系统（Oracle linux）字符集客户端工具sqlplus字符集结论1：客户端工具sqlplus的会话，使用的字符集，是数据库字符集。如果客户端用户的env环境变量设置了NLS_LANG变量，则优先使用这个变量指定的字符集。结论2：通过客户端工具往数据库写入内容时，存储到表中的字段是按照写入时客户端工具的字符集编码进行存储的。
2024-07-25 15:07:03
1381
原创 Oracle连接mysql
oracle使用的11g，在一台windows服务器；mysql使用的是5.7版本，在另一台windows服务器，这两个服务器之间的网络是互通的。做BI时，要获取不同数据源的数据，这些数据源可能是Oracle，也可能是sqlserver、mysql。当使用Oracle作为数仓归集数据时，可以使用专门的ETL工具，从其他类型的数据源获取数据，也可以直接使用Oracle的网关技术+dblink，直连这些非oracle的关系型数据库。
2024-07-01 10:31:05
2284
2
原创 oracle发送https请求
oracle发送https请求与发送http请求没有本质的不同，只是需要在发送前在请求上下文中加入wallet信息。
2024-06-20 09:43:45
1430
原创 oracle发送http请求
UTL_HTTP包让SQL和PLSQL能够调用超文本传输协议（HTTP），也就是说可以使用它在Internet上访问数据。当包用HTTPS从Web site获取数据时，要使用Oracle Wallet，它是由Oracle Wallet Manager或者orapki utility创建。非HTTPS获取时，则不需要Oracle wallet。参照。
2024-06-17 14:39:45
1208
原创 oracle准确记录数据提交时间
ora_rowscn是oracle10g版本中提出的概念，是一个伪列，用来记录数据提交时的scn，而scn是唯一的，且scn的先后就是commit的时间的先后。默认建表方式的ora_rowscn记录的是scn是精确到block的，而不是row，此时ora_rowscn取自data block header中的scn。oracle中数据发生变动时，如何准确记录发生变动时的时间。注意：mysql中的默认值同样记录的是dml操作发出时的时间，并且没有找到mysql中准确记录commit时间的方法。
2024-05-27 14:36:02
608
原创 mysql5.7允许root远程访问
这是由于mysql的root用户默认禁止远程访问，可以通过两种方式改表或者授权的方式开启远程访问。本文中使用改表的方法。mysql客户端工具配置完成后，测试联通失败，客户端真正连接mysql时，也报错不允许root@ip连接。
2024-05-27 14:18:41
1095
原创 clickhouse mergeTree之跳数索引
许多因素会影响ClickHouse查询性能。大部分场景下最关键的因素是，当解析评估查询WHERE子句条件时，ClickHouse能否使用primary key。因此，一个有效的表设计，就是要根据大部分查询模式，选择一个primary key。然而，无论如何仔细优化设计primary key，仍然不可避免还是有查询用例无法有效使用primary key的情况。
2024-05-17 16:53:07
1339
原创 oracle数据库监听日志满了（4G）处理步骤
默认监听名为listener，直接在服务器中搜索listener.log文件。遇到这些现象基本是监听日志已满，达到了4G。D:\app\Administrator\diag\tnslsnr\计算机名\listener\trace\listener.log。3、按照路径 【控制面板】——【服务】——【监听服务】，含ora、listener字样，右键停止。5、新建文本文件，【文件名.扩展名】改为【listener.log】，与之前保持一致。6、按照路径 【控制面板】——【服务】——【监听服务】，右键启动。
2024-05-17 10:47:11
3575
原创 clickhouse mergeTree表引擎解析
参照Clickhouse中最强大的表引擎当属MergeTree（合并树）引擎及该系列（*MergeTree）中的其他引擎。MergeTree 系列的引擎被设计用于将极大量的数据插入到一张表当中。数据可以以数据片段的形式一个接着一个的快速写入，数据片段在后台按照一定的规则进行合并。相比在插入时不断修改（重写）已存储的数据，这种策略会高效很多。主要特点。
2024-05-09 14:39:23
1048
原创 hive使用hplsql进行etl或其它数据加工
参照Hive HPL/SQL，即Hive Hybrid Procedural SQL一个开源工具，它为hive实现了过程性的SQL功能，类似Oracle的PLSQL。从hive 2.0.0开始出现，自此hive的etl更便利。hplsql命令位于路径$HIVE_HOME/bin/hplsql。注意：该HPLSQL命令能被执行的前提是要执行 hive --service hiveserver2 启动hive。
2024-04-29 15:17:58
650
3
原创 clickhouse与oracle传输数据
参考clickhouse官方提供了一种方式，可以实现clickhouse与oracle之间传输数据，不仅仅是oracle，而且是一类支持jdbc的数据库，这种方式就是JDBC bridge for ClickHouse它可以作为一个无状态的代理将查询传递到外部数据源。由于这个扩展功能，你可以在clickhouse上运行分布式查询，这查询能够做到实时跨多数据源。
2024-04-26 09:57:28
1144
1
原创 clickhouse安装部署
虚拟机：virtualbox7.0操作系统：ubuntu server 22.04.3虚拟机硬件：cpu 1，内存 2G， 硬盘 100G采用默认安装参照。
2024-04-26 09:49:06
1491
1
原创 hive使用sqoop与oracle传输数据
下载地址两个版本sqoop1（1.4.x）和sqoop2（1.99.x），两种不同的架构。本文使用sqoop1。sqoop是apache旗下一款“hadoop与关系数据库之间传送数据”的工具。导入数据：从MySQL、Oracle导入数据到Hadoop的HDFS、HIVE、HBASE等存储系统。导出数据：从Hadoop的HDFS、HIVE中导出数据到关系数据库mysql等。sqoop的工作机制是将导入导出命令翻译成mapreduce程序来实现。
2024-04-15 10:19:04
1685
3
原创 hive图形化客户端工具
并且重启hive服务时，要以root用户登录，使用命令 hive --service hiveserver2 启动hive服务。hive部署完成后，路径$HIVE_HOME/jdbc/hive-jdbc-3.1.3-standalone.jar有有完整的hive的jdbc驱动，直接使用即可。dbeaver上传驱动时，使用hive-jdbc-1.0-SNAPSHOT-jar-with-dependencies.jar。使用idea新建项目，按照如下所示，然后在pom中添加hive-jdbc依赖。
2024-04-07 10:51:49
1200
原创 ubuntu-server部署hive-part4-部署hive
参照操作系统版本：ubuntu-server-22.04.3虚拟机：virtualbox7.0。
2024-04-02 17:26:24
1435
1
原创 ubuntu-server部署hive-part3-安装mysql
参照操作系统版本：ubuntu-server-22.04.3虚拟机：virtualbox7.0。
2024-04-02 17:13:31
1142
1
原创 ubuntu-server部署hive-part2-安装hadoop
参照操作系统版本：ubuntu-server-22.03.4虚拟机：virtualbox7.0。
2024-04-01 10:27:45
1284
原创 ubuntu-server部署hive-part1-安装jdk
参照操作系统版本：ubuntu-server-22.03.4虚拟机：virtualbox7.0。
2024-04-01 10:01:11
405
原创 oracle存储过程访问sys表视图时权限处理
示例如下，匿名存储过程可以正常输出，但具名不可以，会提示表或视图不存在即使加上authid current_user仍然会提示表或视图不存在。那么用户创建存储过程时，需要在存储过程前添加authid current_user。或者直接将该表视图权限授权给用户。show parameter O7_DICTIONARY_ACCESSIBILITY，默认值show显示是FALSE，按照如下调整。-- 测试用户创建：匿名存储过程。-- 测试用户创建：具名存储过程。-- 调用具名存储过程。-- 创建具名存储过程。
2024-03-15 14:10:58
1145
1
原创 Oracle-sql执行计划解析
参照Oracle的执行计划是sql调优的基础执行计划是optimizer（优化器）为SELECT、UPDATE、INSERT、DELETE语句选择的，一个语句的执行计划是数据库运行语句时各项操作的顺序。
2024-03-11 20:43:25
1705
空空如也
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人