- 博客(182)
- 资源 (12)
- 收藏
- 关注
RSS订阅
原创 神芷迦蓝寺
水墨圆彩诺一世怎离伤若花怨蝶等封羽等秋凉桥前明月是夙愿悬龙江我心如雪如飞舞落几行把岁月流成花海折射你眼眸片片尽 相思愁等断桥雪落孤山白堤曾游隔如海 念成舟漠行悠悠离落漠长沙月明星稀有寒鸦不做汴梁梧桐梦西围塞上慕人家我曾幻想过无数个美好的日子或历历在目，刻骨铭心或风轻云淡，白云苍狗那些都已逝去的过往如风一般不留痕迹却真的来...
2019-09-27 15:56:11
2410
2
原创 日增进：Oracle如果一不小心drop删表了怎么办
大多数人在一生要强的Coding生涯中，除了谨慎谨慎再谨慎的情况下，依然都会或多或少的遇到删库删表操作，这个时候并不需要那么急着提桶跑路，数据库在设计之初就始终牢记初心，不忘使命，对数据的"删除"是非常严肃的。我们都知道IDU这种都有归档日志以供恢复，同样的删除表DROP亦有。Mochou作为一个数据工作者，本应时刻对数据保持敬畏之心，但突然有一天某种原因，他把表删了，表结构还能重新创建，那表数据怎么办？2.恢复该表（恢复时间为drop前，会自动建表，自动完善数据）
2023-09-15 13:26:28
1199
原创 日增进：Oracle dump文件的导入导出
虽然去Oracle化进程如火如荼，但毋庸置疑的是在银行，政府等政企单位里，Oracle数据库的占比依然是个大头
2022-12-29 14:38:44
2629
原创 基于多库通用SQL代码转换的新系统MSE介绍
MSE是一种多库并用的代码在线转换系统工具。摒弃一库一写，本地函数等复杂多变的应对方式，采取字符转换高效简洁地实现数据分析常用的DDL和DML语句实时转换，一套代码，多库通用
2022-10-24 14:13:51
1196
原创 成为一个大数据开发工程师的学习步骤--文字版
本博客搬运自我知乎所出视频成为一个大数据开发工程师的学习步骤？ - 知乎大数据的学习是有条件限制的，首先你需要是一名普通的工程师，如果你是Java工程师的话更好，但如果你是小…https://www.zhihu.com/question/67872368/answer/416481734P1:江南无所有，聊赠一枝春，大家好，欢迎来到恒生课程。本期我们站在一个开发者的角度来回答题主的问题：成为一个大数据开发工程师的学习步骤。P2:在回答问题之前，先做一个简单的自我介绍，我目前就职于恒生财富经纪业务.
2022-01-25 15:42:12
3804
3
原创 定点一键查询GUI编程的设计与开发
背景前几天一朋友问我怎么能定点查询数据并格式化输出，因为在百度上查出来的广告和链接居多，有用的信息需要手动筛选，比较麻烦。本质上他这个需求其实运用更多的是爬虫，即从百度上定点查询数据，并以结构化形式呈现。居于此，我想到了之前在git上看到的百度蛛(BaiduSpider)开源项目，想着可以使用它为核心来开发，鉴于朋友的IT技术能力不那么好，便再结合python的GUI编程Tkinter来给他包一层，直接给他一个exe可执行文件在电脑上，打开运行方便查询和数据粘贴，Demo样例图如下开发百
2022-01-25 15:06:23
969
1
原创 日增进：手把手教你搭建钉钉预警机器人
摘要随着生产上线业务的不断增多以及无人值守需求的日益增长，钉钉预警机器人的出现极大的解决了我们的问题。本文从0到1详细介绍讲解下钉钉预警机器人的搭建与自定义，分为机器人搭建，预警内容开发，上线部署三大步机器人搭建以下所有的配置开发均来源于钉钉官网文档，喜欢阅读官网或者有更进一步个性化的需求可前往查看，也可以跟随笔者站在初级开发者的角度来一步步搭建首先是先要有一个群以及你有这个群添加机器人的权限，然后添加机器人群设置--智能群助手--添加机器人--自定义，选择添加，然后进行相关设置
2021-12-30 18:20:06
3464
原创 日增进：记一次PG主从搭建及数据同步性能测试流程
目录背景PG安装主从配置主库配置从库配置验证主从搭建数据同步背景随着金融领域关系型数据库的去ORACLE化，越来越多的客户现场开始采用国内自产云数据库或者开源数据库。国内自产的数据库有OceanBase，达梦，以及我们恒生的LightDB(超好用，极推)，他们都有很强大的性能和客户至上的运维，这里便不再多说。我们的产品所用到的开源RDBMS目前以MySQL为主，它的优点是很多的，体积小、速度快、总体拥有成本低、开放源代码等等，这也是客户用的最多产品。但是MySQL有一个.
2021-12-10 15:40:15
2308
1
原创 日增进：kettle如何处理文本数据传输为‘‘而不是null
kettle在传输过程中有时候会遇到字段数据为空，会写入''，但是传输的目标字段里该字段为number或者date类型，这个时候就会报错比如kettle 传输了两个字段，id,name,age，文本字符该字段为空，传入的是''，而不是null,则就会报字段限制错误这个时候我们可以在${KETTLE_HOME}/.kettle/kettle.properties文件里加一句# 自动填补为空KETTLE_EMPTY_STRING_DIFFERS_FROM_NULL=Y那么对于文件里的空字符
2021-09-07 16:34:13
1110
原创 本地ORACLE报ORA-12514: TNS:监听程序当前无法识别请求服务
写在前面：本博客只是用来日常记录报错改正，只适用于装在本地的Oracle测试库，由于以下操作涉及数据库重启，监听重启，不建议生产库操作，如为正式生产库请绕行该报错是由于Oracle数据库网络变动，或者其他系统原因造成自动重启的监听和数据库出现问题，可以通过重启监听来解决lsnrctl stop lsnrctl start如仍无法解决可通过采用数据库重启来解决sqlplus / as sysdba shutdown immediate startup学而时习之，不亦说乎...
2021-09-07 16:18:01
1174
原创 解决MySQL JDBC数据批量插入慢的问题
MySQL数据库是当前最常用的数据库之一，因此MySQL的ETL相关问题也比较多，这里我们来讨论一下数据批量操作的优化当前数据批量写入或更新几乎使用的都是JDBC的方式，但是JDBC驱动在默认情况下会无视executeBatch()语句，也就是说我们所期望的批量执行，其实都只是单条插入，造成性能很低。这个时候我们需要设置rewriteBatchedStatements参数置为true，驱动就会帮我们批量执行sql在各种开发语言里，添加方式为在jdbc后加入&rewriteBatchedS
2021-06-27 22:03:08
3258
原创 kettle的文件名通配规则
kettle是一个很好用的ETL工具，参考datax这里记录一下kettle的文件名通配规则，与我们所熟知的*匹配所有，|是并列等差不多，但也有些许不同，kettle里的wen'j
2021-06-16 01:58:47
3415
原创 我的大四
--我曾幻想过无数个美好的日子--或历历在目，刻骨铭心--或风轻云淡，秋雨微漾--那些都已逝去的过往如风一般--不留痕迹--却真的来过--在阳光下春风拂面--在雨雾蒙蒙中流连忘返--我想起了那窗前的白绫纱--点点滴滴都是笑容的痕迹--停留驻此--最后的故事是那朵小黄花闲下来的时光坐在办公室里望着屏幕上的代码不禁遐想，遐想到2016年的那个夏天，仿佛什么都没有发生过，也仿佛什么都在发生着。大三结束，我回顾我行将完结的大学生涯，除了大一上学期的短暂闪耀外，其他时...
2021-06-08 19:41:55
1146
1
原创 存储过程试炼2--建立Test表测试不同类型的存储过程
上一篇记录了存储过程的基本知识点https://mochou.blog.csdn.net/article/details/116503996，这一篇通过建立测试表进行各个不同类型的存储过程试炼-- *************建立测试表CREATE TABLE szsz.produre_test_table( ID1 INTEGER PRIMARY KEY, NAME1 VARCHAR2(50), num1 INTEGER, bz VARCHAR2(50))...
2021-05-10 21:52:50
454
原创 存储过程试炼1--爱的初相识
##### 写在前面，存储过程是一项比较老的sql语言了，目前网上关于此的资料非常多，我也是靠他们来学会的(毕竟达到我这个level的，一般学一门新语言只要两个小时)，##### 由于时间沉淀不足，难免有遗漏和错误之处，因此本存储过程系列文章不做普及之用，只是用来我自己的笔记记录##### 比心，终于向存储过程低头我做大数据多年，本身是很讨厌存储过程的，因为他存在着迁移难，可复制性不高，开发难度大，无集群等等不好的点。但是阴差阳错，我现在在做的项目正好是需要用到Oracle的存储过程来实现数据的计算和
2021-05-07 22:36:17
221
原创 kafka常见异常问题总结：KeepErrorCode = NoNode for...
主要异常kafka是我们常见的数据订阅中间件系统，但清除累计的日志文件也是件技术活笔者在清除日志的时候，不小心把zookeeper log 目录下version-2里的文件删除了，就引发了一系列惨案：kafka数据报错，无法再产生数据，报错详情:kafka报错：Error Path:/admin Error:KeeperErrorCode = NoNode for /brokersError Path:/admin Error:KeeperErrorCode = NoNode for
2021-04-01 10:40:26
10256
2
原创 Linux下安装软件报no acceptable C compiler found in $PATH问题解决
该问题是Linux的gcc环境未搭建好，只需要配置搭建好gcc如果是可连网状态，可以直接使用yum下载yum install gcc如果是离线服务器，则需要拷贝离线安装包到服务器，然后使用rpm命令下载安装这些gcc相关包一般在linux的映射iso文件里都存在的，解压iso，打开package文件夹下选择下面这些rpm包，然后打包上传至离线服务器即可如有需要可百度云下载链接：https://pan.baidu.com/s/1RTCGR9CTlkFNfEdIAx_bOg 提..
2021-03-16 15:41:35
4408
1
原创 Linux的文本无法按行输出时如何做？
我们在Linux系统中进行shell开发时，有时候会因为文本源不同或语言不同的产物等原因造成文本读取存在一定的bug比如文本解析出是乱码，这个时候要改字符集，eg:把gbk改成utf比如windows的文本有错行，串字等，要把CRLF 改为UNIX这里需要讲的是在逐行读取文本时，我们常用for line in `cat xxx.log`;do echo ${line}done 但是偶尔会出问题，今天我在做shell 调用 python运行产出的日志文件时，文件如下：['
2021-03-16 15:06:39
193
原创 PHP 实现与MySQL的数据交互
PHP 是一种创建动态交互性站点的强有力的服务器端脚本语言MySQL是最流行的关系型数据库管理系统，尤以WEB应用为甚那么这两个如何进行交互呢，方法如下：PHP与MySQL交互下面以一个简单的酒店模块业务控制通断电来简单说明php调用mysqlPHP调用MySQL数据插入添加酒店信息<?php/* * 前端可调用此php脚本添加酒店房间信息，对应表为dwd_hotel_module_baseinfo s_hotel_id int comment '酒店ID' ,
2021-02-19 10:16:17
730
1
原创 Linux服务器时钟同步与外网IP
能搜到这里的，也都是知道什么是时钟同步的，直接说吧运行 /sbin/ntpdate -u 17.253.68.253其中IP是外网同步专用IP，至于办公网，收费网，监控网等各公司的内网的话可以自行映射专用IP运行情况如下，可以看到我当前的服务器与真正的时间差了0.025750秒，还是很准时的[root@node01 ~]# /sbin/ntpdate -u 17.253.68.25320 Jan 10:57:29 ntpdate[18899]: adjust time server 1.
2021-01-20 11:04:19
503
原创 实战|python消费rabbitMQ
必须的包为pika，话不多说，上代码#!/usr/bin/env python# -*- encoding: utf-8 -*-"""@File : CosumerMQ.py@Contact : dtboys507@163.com@License : (C)Copyright 1997-2021, XXXXXXXXXXXXX CO.,LTD.@Modify Time @Author @Version @Desciption------------
2021-01-15 17:02:08
1526
原创 ES如何在界面创建index和type
传送站：es的批量传输和增删改查es本质上也是数据库，只不过是分析型数据库，可以快速响应大数据量查询，其中index类似于数据库，type类似于表那么如何在应用界面端创建index和type呢首先打开主页，点击复合查询，在红框位置输入对应的index_name和在代码里输入对应的type_name以及相关字段即可创建index_name和type_name注意：es并不是严格意义上的结构化数据，所以对表结构要求不高，因此title那里可任意设置字段，后续可以根据实际业务自动更改其实也可以
2021-01-14 14:14:22
4272
原创 Git笔记|常用命令解析
1 初始化配置git init 初始化本地git仓库(创建新仓库) git config --global user.name "xxx" 配置用户名 git config --global user.email "xxx" 配置邮件 2 克隆下载git clone x.x.x.x/VT.git 克隆远程仓库 git status 查看当前版本状态(是否修改)，该命令最常用 git pull origin master 把远程仓库拉取下载.
2020-11-26 14:55:50
177
原创 大数据增量采集OGG&Adapter的安装部署与相关配置
目 录 1. 简介 1.1. 目的 1.2. 定义、业务术语、缩略语 1.3. 参考资料 1.4. 原理特点 2. 安装使用 2.1. 下载安装 2.2. 双端配置 2.2.1. 源端数据库配置 2.2.2. 源端mgr配置 2.2.3. 源端extract配置 2.2.4. 源端pump配置 2.2.5. 生成de
2020-11-20 18:41:59
3507
15
原创 大数据之路之数据上云解决方案(全量)
定义：数据上云又称数据采集，数据集成，数据迁移，是大数据架构中的最基础也是最根本的一环，从性质上来讲属于ETL中的一部分操作，即把数据从一个地方迁移汇总到另外一个地方。数据上云解决了信息孤岛问题，解决了信息不对称问题，即”车同轨书同文“，同时把数据迁移到云计算平台，对后续数据的计算和应用提供了第一步开山之路难点：数据上云如何做到在数量上，质量上保持无误？ 数据上云如何解决不同平台的网络，...
2020-11-20 18:41:34
6627
1
原创 大数据之路之数据上云解决方案(增量)
上篇说到全量数据上云，这里继续讲增量为什么要用到增量？因为小数据库还好，数据量大的，每一次都要全量既对存储压力巨大，也对上云效率产生弊端，每次都要上全量代价太大了，所以这时候为什么不考虑全量+增量=全量的模式呢，即如果某库数据是一天一调度，那就是昨天的全量+今天的增量=今天的全量，如此一来只需要第一次上一份全量，后续每次的调度只抽取增量即可难点：如何获取到云下数据库的增量数据 如何保...
2020-11-20 18:41:17
2713
原创 基于阿里云MaxComputer的外部互联网数据上云方案
数据上云不仅仅是上那些纯粹的结构化数据，一些半结构化的数据，甚至视频，图片这些非结构化数据也需要应用，因此也诞生了很多存储这些数据的数据库等等，例如基于Nosql的HybirdDB，本文着重介绍下如何把半结构化数据上云到ODPS互联网爬虫爬出来的数据可以直接爬到数据库，但是有时候数据库比较死板，无法数据迁移，比如内外网数据不通，这时候就需要一个中转，一般是把这些文件转存成半结构化csv格式进行...
2020-11-20 18:40:51
1260
原创 canal实战(三)|canal数据消费到kafka
## 本文章改编于阿里开源工具Canal，原版网址https://github.com/alibaba/canalcanal第一辑canal的配置安装与服务启动 canal第二辑canal java客户端canal的原理我们在第一辑里已经介绍，现在我们需要把canal采集到的日志数据消费到kafka，并通过kafka把数据进行进一步入库，上云等消费操作。首先我们把Kafka进行安装配置，涉及到的有zookeeper，kafka，有的服务器还要装java环境等，kafka的安装我之前有讲...
2020-11-20 18:40:07
2234
原创 canal实战(二)|canal java客户端
## 本文章改编于阿里开源工具Canal，原版网址https://github.com/alibaba/canal在前面canal搭建并启动后（传送站），我们就可以开始进行第二步canal java客户端建立maven工程，maven工程创建如有不会的童鞋可参考传送站pom.xml依赖添加<dependency> <groupId>com.alibaba.otter</groupId> <artifactId>canal....
2020-11-20 17:18:21
2187
原创 canal实战(一)|canal的配置安装与服务启动(含安装包)
## 本文章改编于阿里开源工具Canal，原版网址https://github.com/alibaba/canal当你看到这篇文章时，说明你已经对canal有所理解，其主要用途是基于 MySQL 数据库增量日志解析，提供增量数据订阅和消费。废话不多说，直接上流程1 MySQL1.1 安装网上资源很多，暂不做详细说明，我给自己的博客打个广告吧：https://blog.csdn.net/mochou111/article/details/981747211.2 账号权限...
2020-11-19 14:19:29
4280
2
原创 pyqt获取输入内容
在函数脚本里加入下面一串布局代码self.stationLabel = QLabel('输入站码或站名')self.stationLineEdit = QLineEdit("")#布局控件的加载与设置layout.addWidget(self.stationLabel)layout.addWidget(self.stationLineEdit)button函数里以下代码来获取输入的数据self.stationLineEdit.text()...
2020-10-27 15:38:39
1860
原创 阿里云实时计算平台Flink的作业开发流程详解
阿里云实时计算Flink版的优势极大：性能优越：作业可达百万级吞吐，计算可达秒级延迟，TPC-H性能测试可达开源引擎3~5倍。 功能强大：数十种作业指标监控，一站式开发界面，提供智能诊断系统，具有作业智能调优功能。 价格低廉：极致弹性体验，可按量付费，总资源费用低于自建。 稳定安全：服务SLA可达99.9%，集群计算无单点，故障可自动恢复，资源租户隔离，杜绝相互干扰。 品牌认证：Flink官方创始团队出品，中国信通院认证，进入Forrester象限的实时流计算产品。 兼容开源：提供最新Flin
2020-10-19 17:48:50
1562
windows ftp程序(无需任何配置，网络互通即可)
2019-11-26
Microsoft Visual Studio 2010 Tools for Office Runtime.zip
2019-08-13
Microsoft .Net Framework 4.0.zip
2019-08-13
Mysql安装包for linux.zip
2019-07-05
pl/sql 自动补全插件Cnplugin 亲测win10有效
2017-09-08
plsql oracle数据库
2017-09-07
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人