- 博客(80)
- 资源 (43)
- 收藏
- 关注
RSS订阅原创 Jenkins 构建管道 job 间传递参数
安装Parameterized Trigger 插件，传递管道中初始BUILD_NUMBER 为例。在初始 job 配置中，点击 “增加构建后操作步骤” --> Trigger parameterized build on other projects，然后点击 Add Parameters，选择 Predefinded parameters，在出现的文本框中填写要传递的参数，格式为 Key=value，一行一对。例：SOURCE_BUILD_NUMBER=${BU...
2021-08-01 21:54:59
2186
原创 Jenkins 修改主目录 JENKINS_HOME
Windows 安装Jenkins 运行后，默认数据目录，也就是工作区目录，即每次构建的项目数据文件所在目录为： C:\Users\Administrator\AppData\Local\Jenkins\.jenkins随着项目和构建次数增加，这是个空间暴涨的目录，因此有必要将它转移到别的地方。登录 Jenkins 访问 Manage Jenkins ->System Configuration -> Configure System 可以看到页面最上面第一项就是当前主目录位...
2021-08-01 16:18:45
5831
2
原创 Linux 安装 MongoDB 及 pymongo
1. 安装 MongoDBMongoDB 可以从 https://docs.mongodb.com/master/administration/install-on-linux/ 获得安装信息。● 通过系统自带仓库安装： CentOS7 通过 yum 包管理器安装： [devalone@devalone chapter03]$ sudo yum...
2018-09-12 16:18:50
2120
原创 CentOS7 安装 Python3.7 及 SSL 编译错误处理
下载： https://www.python.org/ftp/python/3.7.0/Python-3.7.0.tgz解包：tar -zxvf Python-3.7.0.tgz进入 Python-3.7.0 目录: cd Python-3.7.0 1. 安装必要的依赖模块：执行下面的安装指令：[devalone@nutch Python-3.7.0]$ sudo...
2018-09-06 12:09:43
13643
3
原创 CentOS 更改 MySQL 5.7数据库存储位置及 SELinux 设置
MySQL 默认安装将 /var/lib/mysql 作为数据存储目录，可以通过登录 mysql 查看 datadir 变量的值，或者查看 /etc/my.cnf 文件查看： mysql> SHOW VARIABLES like 'datadir'; +---------------+--------------------+ | Variable_name | V...
2018-08-24 12:04:50
3725
1
原创 利用 Topgit 对 Nutch 定制开发进行代码管理（二）
继 ： 利用 Topgit 对 Nutch 定制开发进行代码管理（一） 6. 利用 Topgit 对 Nutch 定制开发进行代码管理了解了 Topgit 的原理和使用方法之后，就可以利用 Topgit 对 Nutch 定制开发进行源代码管理了。 6.1 准备版本库 ● 克隆完整的 Nutch 项目代码从 github 上克隆完整的 nutch 项目代码： ...
2018-08-21 10:59:23
484
原创 利用 Topgit 对 Nutch 定制开发进行代码管理（一）
对开源项目的定制开发，源代码管理是一个人抓狂的问题。随着主代码版本的推进和定制版本开发越来越远，要使用主代码中新版本的特性，势必要将主代码中的新版本合并到自己的定制版本中。这时可能出现大量的冲突，而且冲突的数量会随着时间的推移和两个分支上代码量的增加而显著增多。解决这些冲突要耗费大量的时间和精力，而且可能会弄得一塌糊涂，令人望而生畏。然而这个过程不会结束，每隔一段时间就会由于主代码版本发布新的版本...
2018-08-21 10:54:07
865
原创 Nutch 分布式运行模式 (v1.14)
Nutch 1.x 是成熟的产品级 web 爬虫，这个分支通过精细的优化配制，充分利用了具有非常强大的批处理能力的Apache Hadoop数据结构。目前该分支最新版本是 2017 年12月23日发布的 Nutch 1.14，基于 Hadoop 2.7.4 版本开发。Nutch 的另一开发分支为 Nutch 2.x，利用 Apache Gora 作为数据中间层来处理对象的持久化映射。这样用户可...
2018-08-17 10:00:11
1337
1
原创 走进 Apache Nutch (v1.14)
Apache NutchApache Nutch 起源于 Apache Lucene 项目，是高可扩展性和高可伸缩性的开源 web 爬虫软件项目。项目主页： http://nutch.apache.org/ 出于底层数据存储多样性的设计，目前该项目在两个代码分支上持续开发，分别是： ● Nutch 1.x ：成熟的产品级 web 爬虫，这个分支通过精细的优化配制，...
2018-08-16 09:55:34
4383
2
原创 Linux shell 脚本编程-实战篇（三）
继： Linux shell 脚本编程-实战篇（二） 3. 一些小有意思的脚本 3.1 发送消息 3.1.1 功能分析对于这种简单的脚本，需要的功能不多。涉及的一些命令很常见，下面了解脚本所需的几个命令。3.1.1.1 确定系统中都有谁要用到的第一个工具就是 who命令。该命令可以输出当前系统中所有的登录用户。示例： [devalone@de...
2018-08-15 09:44:12
895
原创 Linux shell 脚本编程-实战篇（二）
继： Linux shell 脚本编程-实战篇（一） 2. 创建与数据库、Web及电子邮件相关的脚本2.1 MySQL 数据库 2.1.1 MySQL 数据库安装到 http://repo.mysql.com/ 找到合适的 MySQL 版本的 YUM 库 rpm 安装包，复制下载地址，然后执行下面指令安装 YUM 库： [devalone@devalone mys...
2018-08-13 09:47:19
2999
原创 Linux shell 脚本编程-实战篇（一）
1. 编写简单的脚本实用工具对 Linux 系统管理员而言，没什么比编写脚本实用工具更有意义。Linux 系统管理员每天都会有各种各样的任务，从监测磁盘空间到备份重要文件再到管理用户账户。shell脚本实用工具可以让这些工作轻松许多。1.1 归档不管负责的是商业环境还是家用环境的 Linux 系统，丢失数据都是一场灾难。为了防止这种倒霉事，最好是定时进行备份（或者是归档）。如果正...
2018-08-11 10:25:15
2007
原创 Linux shell 脚本编程-高级篇 （七）
继 Linux shell 脚本编程-高级篇 （六） 7. 使用其他 shell虽然 bash shell 是 Linux 发行版中最广泛使用的 shell，但它并不是唯一的选择。本节介绍另外两个可能会碰到的 shell: dash 和 zsh 。7.1 什么是 dash shellDebian 的 dash shell 是 ash shell 的直系后代，而 ash shell...
2018-08-10 09:56:21
2591
原创 Linux shell 脚本编程-高级篇 （六）
继 ： Linux shell 脚本编程-高级篇 （五） 6. gawk 进阶本节将进一步深入了解如何定制 gawk。gawk 是一门功能丰富的编程语言，可以通过它所提供的各种特性来编写高级程序处理数据。 6.1 使用变量所有编程语言共有的一个重要特性是使用变量来存取值。gawk编程语言支持两种不同类型的变量： □ 内建变量 □ 自定义变量gawk 有一些...
2018-08-09 09:16:52
1351
原创 Linux shell 脚本编程-高级篇 （五）
继： Linux shell 脚本编程-高级篇 （四） 5. sed 进阶sed 编辑器的基础命令能满足大多数日常文本编辑需求。本节介绍 sed 编辑器提供的更多高级特性。这些功能未必会经常用到，但当需要时，知道这些功能的存在以及如何使用它们是必要的。5.1 多行命令---------------------------------------------------------...
2018-08-08 09:50:24
858
原创 Linux shell 脚本编程-高级篇 （四）
继 Linux shell 脚本编程-高级篇 （三） 4. 正则表达式在 shell 脚本中成功运用 sed 编辑器和 gawk 程序的关键在于熟练使用正则表达式。这可不是件简单的事，从大量数据中过滤出特定数据可能会（而且经常会）很复杂。4.1 什么是正则表达式4.1.1 定义正则表达式是所定义的模式模板（pattern template），Linux 工具可以用它来...
2018-08-07 10:09:00
1280
原创 Linux shell 脚本编程-高级篇 （三）
继 Linux shell 脚本编程-高级篇 （二） 3. 初识sed和gawk目前为止， shell 脚本最常见的一个用途就是处理文本文件。检查日志文件、读取配置文件、处理数据元素，shell 脚本可以帮助我们将文本文件中各种数据的日常处理任务自动化。但仅靠 shell 脚本命令来处理文本文件的内容有点勉为其难。如果想在 shell 脚本中处理任何类型的数据，需要熟悉Linux中的...
2018-08-06 10:15:54
1704
原创 Linux shell 脚本编程-高级篇 （二）
继 Linux shell 脚本编程-高级篇 （一） 2. 图形化桌面环境中的脚本编程 2.1 创建文本菜单创建交互式 shell 脚本最常用的方法是使用菜单。提供各种选项可以帮助脚本用户了解脚本能做什么和不能做什么。 通常菜单脚本会清空显示区域，然后显示可用的选项列表。用户可以按下与每个选项关联的字母或数字来选择选项。shell 脚本菜单的核心是 case 命令。ca...
2018-08-04 09:46:39
1766
原创 Linux shell 脚本编程-高级篇 （一）
1. 创建函数可以将 shell 脚本代码放进函数中封装起来，这样就能在脚本中的任何地方多次使用它了。1.1 基本的脚本函数在开始编写较复杂的 shell 脚本时，会发现自己重复使用了部分能够执行特定任务的代码。这些代码有时很简单，比如显示一条文本消息，或者从脚本用户那里获得一个答案；有时则会比较复杂，需要作为大型处理过程中的一部分被多次使用。在后一类情况下，在脚本中一遍又一遍地...
2018-08-03 10:57:27
8651
原创 Ambari 安装确认主机 “SSLError“ 错误 终极解决方案
Ambari 安装过程中，确认主机步骤(Confirm Hosts) 遇到如下错误：ERROR 2018-08-02 11:25:09,300 NetUtil.py:96 - EOF occurred in violation of protocol (_ssl.c:579)ERROR 2018-08-02 11:25:09,300 NetUtil.py:97 - SSLError: Fai...
2018-08-02 12:26:32
9420
9
原创 Linux shell 脚本编程-基础篇 （六）
继 Linux shell 脚本编程-基础篇 （五） 6 控制脚本构建高级脚本时，如何在 Linux 系统上运行和控制它们。到目前为止，我们运行脚本的唯一方式就是以实时模式在命令行界面上直接运行。这并不是 Linux上运行脚本的唯一方式。有不少方法可以用来运行 shell 脚本。另外还有一些选项能够用于控制脚本。这些控制方法包括向脚本发送信号、修改脚本的优先级以及在脚本运行时切换...
2018-08-02 10:18:43
813
原创 Linux shell 脚本编程-基础篇 （五）
继 Linux shell 脚本编程-基础篇 （四） 5 呈现数据到目前为止。所演示的脚本都是通过将数据打印在屏幕上或将数据重定向到文件中来显示信息。本部分内容将展开这个主题，演示如何将脚本的输出重定向到 Linux 系统的不同位置。5.1 理解输入和输出---------------------------------------------------------------...
2018-08-01 11:34:37
503
原创 Linux shell 脚本编程-基础篇 （四）
继 Linux shell 脚本编程-基础篇 （三） 4. 处理用户输入脚本还得能够与使用者进行交互。bash shell 提供了一些不同的方法来从用户处获得数据，包括命令行参数（添加在命令后的数据）、命令行选项（可修改命令行为的单个字母）以及直接从键盘读取输入的能力。 4.1 命令行参数-----------------------------------------...
2018-07-31 13:56:42
669
原创 Linux shell 脚本编程-基础篇 （三）
继 Linux shell 脚本编程-基础篇 （二） 3. 更多的结构化命令 3.1 for 命令重复执行一系列命令在编程中很常见。通常需要重复一组命令直至达到某个特定条件，比如处理某个目录下的所有文件、系统上的所有用户或是某个文本文件中的所有行。bash shell 提供了 for 命令，允许创建一个遍历一系列值的循环。每次迭代都使用其中一个值来执行已定义好的一组命令。下面...
2018-07-28 09:38:10
1793
原创 Linux shell 脚本编程-基础篇 （二）
继 Linux shell 脚本编程-基础篇 （一）2. 使用结构化命令许多程序要求对 shell 脚本中的命令施加一些逻辑流程控制。有一类命令会根据条件使脚本跳过某些命令。这样的命令通常称为结构化命令（structured command）。结构化命令允许改变程序执行的顺序。 2.1 使用 if-then 语句---------------------------------...
2018-07-27 16:49:55
1209
原创 Linux shell 脚本编程-基础篇 （一）
1. 构建基本脚本1.1 使用多个命令shell 脚本的关键在于输入多个命令并处理每个命令的结果，甚至需要将一个命令的结果传给另一个命令。shell可以让将多个命令串起来，一次执行完成。如果要两个命令一起运行，可以把它们放在同一行中，彼此间用分号隔开。 [root@devalone testdir]# date; who 2018年 07月 04日 星期三 19:56...
2018-07-26 10:31:18
2762
原创 走进 Linux shell （三）
继 走进 Linux shell （二） 7. 理解 Linux 文件权限Linux 沿用了 Unix 文件权限的办法，即允许用户和组根据每个文件和目录的安全性设置来访问文件。 7.1 Linux 的安全性Linux 安全系统的核心是用户账户。每个能进入 Linux 系统的用户都会被分配唯一的用户账户。用户对系统中各种对象的访问权限取决于他们登录系统时用的账户。用户权限是通过...
2018-07-25 10:44:11
235
原创 走进 Linux shell （二）
继 走进 Linux shell （一）5. 理解 shell 5.1 shell 的类型系统启动什么样的shell程序取决于个人的用户 ID 配置。在 /etc/passwd 文件中，在用户 ID 记录的第 7 个字段中列出了默认的 shell 程序。只要用户登录到某个虚拟控制台终端或是在 GUI 中启动终端仿真器，默认的 shell 程序就会开始运行。 [devalon...
2018-07-24 10:20:38
1098
原创 HBase 客户端类型 （四）
继 HBase 客户端类型 （三）5.HBase Web-based UIHBase 提供了基于 web 的用户接口(UI), 利用此接口，可以观察集群的状态及其所存储的表。大多数功能时只读的，但也有几个选择性操作可以通过 web UI触发。另一方面，可以通过 metrics 可以获取非常详细的信息。可以在各种 UI 组件间导航，快速获取当前状态，包括内存使用，region 的数量，缓存效...
2018-07-23 09:21:55
2070
原创 HBase 客户端类型 （三）
继 HBase 客户端类型 （二） 4. HBase Shell 交互接口HBase shell 是 HBase 集群的命令行接口。可以使用它连接到本地或远程服务器并与之交互。shell 提供了客户端和系统管理操作。 4.1 基础 (Basics)-----------------------------------------------------------------...
2018-07-21 10:34:01
3292
原创 HBase 客户端类型 （二）
继 HBase 客户端类型 （一） 3. Framework Clients---在更直接的网关客户端之后，现在要讨论第二类客户端，将它们统称为框架(framework)。这类客户端提供了更高级的抽象，一般使用 domain specificlanguage (DSL) 的形式。包括，例如 SQL, 关系数据库系统与外部客户端的混合用语(lingua franca)，以及 MapRed...
2018-07-20 09:32:40
948
原创 HBase 客户端类型 （一）
HBase 自带了很多用于各种编程语言客户端。 1. 介绍 (Introduction)----------------------------从目前非常流行的语言和环境可以访问 HBase。可以直接使用客户端 API, 或者通过一些中间代理访问，将用户请求翻译成 API 调用。这些代理将原生的Java API 包装成其它协议的 API，这样客户端就可以使用这些对外提供的 API 以...
2018-07-19 11:10:33
3563
原创 走进 Linux shell （一）
1. GNU/Linux shellGNU/Linux shell是一种特殊的交互式工具。它为用户提供了启动程序，管理文件系统的文件，以及管理运行在 Linux 系统上的进程的途径。shell 的核心是命令行提示符。命令行提示符是 shell 负责交互的部分，它允许输入文本命令，然后解释命令，并在内核中执行。shell 包含了一组内部命令，用这些命令可以完成诸如复制文件，移动文件，重命...
2018-07-19 10:37:44
660
原创 HBase 管理 API: HBaseAdmin (HBase DDL)
类似于客户端 API, HBase 也有用于管理任务的 API。管理 API 与 RDBMS 的 Data Definition Language (DDL) 类似，而客户端 API 更类似于 Data Manipulation Language (DML).管理 API 提供了各种数据管理操作功能：通过列族创建表，检查表是否存在，修改表和列族定义，删除表等等。下面将其提供的功能按操作相关性分...
2018-07-18 14:33:10
5280
原创 HBase 模式定义 (Schema Definition)
在 HBase 中创建一个表包括表模式(table schema)的定义, 以及所包含的列族的模式(schemas for all contained column families). 它们定义了如何，以及何时存储表和列的数据。在更高级别上，每个表是一个名称空间(namespace)的一部分。1.1 名称空间 (Namespaces)--------------------------...
2018-07-17 15:21:22
6376
原创 HBase 协处理器 (二)
继 HBase 协处理器 (一) 3.7 The RegionObserver Class用于 region level, 注意，这个类的所有调用方法的第一个参数为 ObserverContext<RegionCoprocessorEnvironment> ctx8, 提供访问 context 实例。操作可以被划分为两组： region 生命周期变化和客户端 API...
2018-07-14 17:57:01
1163
原创 HBase 协处理器 (一)
之前讨论了如何利用过滤器来降低从服务器端到客户端发送的数据量。利用 HBase 的协处理器特性，用户甚至可以将一部分计算移到数据所在的机器上。3.1 协处理器简介 (Introduction to Coprocessors)利用客户端 API, 配合特定的选择器机制，如果过滤器，或列族作用域，可以限制传输到客户端的数据。如果可以更进一步优化会更好，例如，数据的处理直接放到服务器端执行，然...
2018-07-14 15:45:23
1920
原创 HBase 计数器 (Counters)
HBase 提供了一个高级特性：计数器(counter)。很多收集统计信息的应用，例如在线广告的单击或查看统计，将这些数据收集到日志文件中用于后期的分析。利用计数器提供的实时统计，从而放弃延时较高的批处理操作。2.1 计数器简介 (Introduction to Counters)--------------------------------------------------------...
2018-07-13 14:21:28
2340
原创 HBase 过滤器 （二）
继 HBase 过滤器 （一）1.3 专用过滤器 (Dedicated Filters)----HBase 提供的第二类过滤器直接基于 FilterBase 并实现了更特定的应用场景。其中的很多过滤器事实上只适用于执行扫描操作时，因为它们过滤整个行。对于 get() 调用，这些过滤器的限制过于苛刻：包括所有行，后者什么也不包括。 ■ 前缀过滤器 (PrefixFilter)...
2018-07-12 15:47:24
2839
1
原创 HBase 过滤器 （一）
HBase 过滤器(filters) 提供了非常强大的功能来帮助用户提高其处理表中数据的效率。用户不仅可以使用 HBase 中预定义好的过滤器，而且可以实现自定义的过滤器。1.1 过滤器介绍 (Introduction to Filters)HBase 中两种主要的读取功能是 Table.get() 和 Table.scan(), 这两种方法或者直接访问数据，或者使用起始和结束键。可以通过...
2018-07-11 10:07:03
1138
apache_hbase_reference_guide_1.1.2
2018-06-14
HBase 基本原理
2018-06-14
HBase in Action
2018-06-13
gnu parted 用户指南
2018-06-08
HBase 权威指南第二版预发布版
2018-06-08
Apache Ambari 2.6.1.5 安全性指南
2018-06-07
Apache Ambari 2.6.1.5 操作指南
2018-06-06
Apache Ambari 2.6.1.5 系统管理
2018-06-05
Hadoop 权威指南第3版中文版注解
2018-06-02
hadoop 2.9.0 mapred-default.xml 属性集
2018-06-02
hadoop 2.9.0 yarn-default.xml 属性集
2018-06-02
hadoop 2.9.0 hdfs-default.xml 属性集
2018-06-01
Hadoop 2.9.0 core-default.xml 属性集
2018-05-30
Decoda_自编译.zip
2020-05-21
lua-5.3.5.zip
2020-04-13
lua-5.1.5.zip
2020-04-13
elasticsearch-analysis-pinyin-7.3.1.zip
2019-08-26
elasticsearch-analysis-pinyin-7.3.0.zip
2019-08-26
elasticsearch-analysis-pinyin-7.2.1.zip
2019-08-26
elasticsearch-analysis-pinyin-7.2.0.zip
2019-08-26
elasticsearch-analysis-pinyin-7.1.0.zip
2019-08-22
elasticsearch-analysis-pinyin-7.1.1.zip
2019-08-22
elasticsearch-analysis-pinyin-7.0.1.zip
2019-08-22
ambri_hdp 完全卸载脚本
2018-08-01
sonar-ant-task-2.2.jar.zip
2018-07-20
sonar-ant-task-2.1.jar.zip
2018-07-20
Hadoop-构建集群.pdf
2018-06-19
Elasticsearch Server - Third Edition.pdf
2018-06-17
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人