戰士博客

原创 大型系统技术架构之服务架构（进阶版）

原版参照系统架构之服务器架构图

原创 人工智能理解与解析

中国GDP增速放缓，互联网进入中国下半场，40万亿5G新基建，AI是绝对的主角，它将彻底改变世界，改变生活。到底什么是AI呢？用一句话概括，统计学的机器延展。人工智能又称为机器智能，核心是机器，人发明的机器。让机器具备甚至超越人类的推理、认知、统筹规划、学习、交流、移动、实用工具、操作机器，甚至第六感的能力人工智能相关的伦理、哲学方面争议颇多，维度高的生物统治维度低的生物，人类大部分在第三维度，特斯拉CEO马斯克 认为，人工智能产生出来就会在第三维度空间，且最终会进化到第四、五、六维度空间...

原创 数据运营-数据管理平台

一、ID maping二、用户标签管理三、数据规范四、运营分析五、人群操作六、数据脱敏七、营销应用系统对接

原创 数据运营平台-基础架构

基础架构建设

原创 数据运营平台-数据采集

目录行为数据采集业务数据采集与转换第三方系统API对接用户数据关联人工数据采集数据输出行为数据采集1.埋点采集①跨平台打通确定性方法识别利用用户帐号体系中，可以是系统生成的 UserID，可以是手机号，也可以是邮箱，不同的产品情况略有差异，总之就是用户唯一的标识。 如果应用在 Android、iOS、Web、微信公众号四个平台上运营，各个平台用统一的帐号体系。假如小明有Android、iOS、PC三台设备，早上在Android 的微信公众号上看了一个推荐的，中午登

原创 各种缩写名词汇总，力求最全面最精确

汇总解释

原创 hadoop离线分析（简单版）-实现流程+数据分析

目录整体流程概述稳妥的采集数据方法FTP服务器上的Flume配置文件如下其它常见问题应用层代码部署到分布式mycluster1数据采集（Flume采集nginx日志）Visits数据分析大数据离线自动执行流程--基于jenkins整体流程概述首先声明，这个架构模型只能是离线分析技术的一个简单的入门级架构。整个离线分析的总体架构就是使用Flume...

原创 SSM+nginx+tomcat+maven+mysql+redis环境搭建及工程全套配置，实现前后端动静分离

目录前言服务器环境搭建windows开发环境SSM搭建加入redis(注解形式)nginx与tomcat关联配置，完成前后端连接前言本次采用前后端分离模式，前端以html、css、js为组成模式，后端以spring全家桶的"手动挡"模式SSM作为基础。nginx启动前端，并管理静态文件，tomcat启动后端，管理动态数据，mysql作为应用数据库。开发环境后端...

原创 系统架构之服务器架构图

前言服务器架构图多以物理视图呈现，物理视图用于描述系统软件到物理硬件的映射关系，反映出系统的组件是如何部署到一组可计算机器节点上，用于指导系统的部署实施过程。受众多为运维和实施人员。其实服务器架构如何架设完全根据业务场景，数据量或者用户量等因素进行衡量，并没有什么架设方案是一定的，遵循“两利相权取其重”，经过综合考量后，选择最优方案。以下根据不同场景进行服务器架构架设进行物理视图展示（...

原创 hadoop、spark各大数据组件介绍

hadoop相关组件hadoop体系结构，如图：hadoop核心设计，如图Hadoop CommonHadoop体系最底层的一个模块，为Hadoop各子项目提供各种工具，如：配置文件和日志操作等。HDFS是Hadoop应用程序中主要的分布式存储系统， HDFS集群包含了一个NameNode（主节点），这个节点负责管理所有文件系统的元数据及存储了真实数据的DataNo...

原创 编程优化(Java)

其实各种工作，各种行为有很多都是共通的，万变不离其中，如果想成为技术上真正的高手，修炼技术的"内功"是必不可少的，追溯本质。掌握如何实现一项开发任务，其实这只是"招式"，真正理解从硬件开始的每个阶段运行原理才是"内功"，也是编程的根基。编程中遇到的可追溯到代码级的错误，解决起来也相对简单(都知道哪的代码出错了，锁定目标了问题还不好解决吗？)，真正有难度的是对性能、稳定、安全的持续优化(空间、时间上...

原创 Hadoop3.0.1分布式集群搭建(HA)

了解hadoop生态基础概念可参照：https://blog.csdn.net/qq_36632174/article/details/102461023https://blog.csdn.net/qq_36632174/article/details/102461682一、hadoop概述：安装包：hadoop-3.0.1.tar.gzhadoop-3.0.1的改变：3.0.1...

原创 管理原则总结

制度管人、流程管事

转载 常见服务器性能指标：QPS、TPS、RT、Load、PV、UV、带宽

常见服务器性能指标：QPS、TPS、RT、Load、PV、UV、带宽

原创 TO G & TO B的IT类项目工作目录（中版）

模块 二级模块 内容 项目评估 初步业务分析 业务需求内容，是否立项等 初步资源分析 初步成本 & 利润分析 决策项目是否开展 可行性分析报告 成本 预估项目成本 采购、人员、其它 过程成本记录 成本管理明细清单 过程成本控制 成本复盘 售前 项目报价 工作量、报价、支付方式等 项目实施方案 样例方案 项目案例 案例PPT 商务 招投标

原创 ElasticSearch理解总结

草稿

原创 TO G & TO B的IT类项目工作目录（初版）

项目背景： 发起人意愿或战略目标 所处位置：乙方？EPC总包？ 真实项目验收标准 项目性质：落地项目、业绩项目 售前： 招投标、成本分析、报价分析、书面验收标准、合同签订 项目管理： 供应商管理、过程管理、评审机制及流程 项目人员组成、角色、权限/责任、绩效定义 里程碑计划、SOW、WBS、项目任务计划 风险评估->规避...

原创 交付型项目经理

交付型项目经理是因为公司的组织机构而产生的，也是因为工作的重心不同而产生的。 如果你在后台部门做项目经理，那么你就是研发项目经理； 如果你在中台部门做项目经理，那么你就是交付型项目经理； 如果你在前台部门，那么你就是售前项目经理 交付项目经理的工作内容定义： 当销售拿到一个项目的时候，就会去寻找一个可以帮他完成合同的人，这个人就是交付型项目经理。 交付型项目经理接到这个任务后需要仔细研读合同内容，然后列出完成合同内容需要哪些产品部门，以及哪类级别的人员才能在规定的时间内

原创 NIO总结（七）--zookeeper

zookeeper通常采用集群模式，由多台机器组成，保证zookeeper本身的高可用（死一部分还能继续干活）性，根据其采用的zab算法，集群中只要超过半数机器存活，集群即可继续工作。安装配置zookeeper(zookeeper由java编写) 前提条件： win，linux都可以，（虚拟机装linux）此处选linux（因为服务器都在linux下跑） ...

原创 NIO总结（六）--RPC与zookeeper

RPC包括了：序列化/反序列化，网络通信，反射等等技术。 序列化和反序列化： 对象本身是存在内存中的，而对象在内存中存货的状态是无法直接用来保存和传输的，将内存中的对象和从这种状态转换为可以用字节形式表示便于保存或传输的过程。称为将对象序列化。 将序列化后的对象恢复为内存中的对象的过程叫反序列化。 序列化：对象->字节 反序列化：字节->对象 ...

原创 NIO总结（五）

CountDownLatch：闭锁，线程闭检锁。 是一个并发构造，它允许一个或多个线程等待一系列制定操作的完成。 CountDownLatch 以一个给定的数量初始化。countDown()每被调用一次，这一数量就减一。 通过调用await()方法之一，线程可以阻塞等待这一数量到达零。 CountDownLatchDemo1 public class...

原创 NIO总结（四）

CountDownLatch：闭锁，线程闭检锁。 是一个并发构造，它允许一个或多个线程等待一系列制定操作的完成。 CountDownLatch 以一个给定的数量初始化。countDown()每被调用一次，这一数量就减一。通过调用await()方法之一，线程可以阻塞等待这一数量到达零。 CountDownLatchDemo1 public class...

原创 NIO总结（三）

开源NIO结构的服务器框架：MINA（仍然持续更新） ，NETTY（另一种设计）实现客户端服务器端双向通信，双向的发消息，客户端和服务器端都有可能主动发消息样例代码：NIOClientDemo2 NIOServerDemo2此时应该做处理：注册完之后，关注connect，read，write两边都需要同时关注这三点同时注册connect，read，write，accept等实践时候用的与或非的原理即可同时注册 interestOps() 获取此键的 interest 集合。interest...

原创 NIO总结（二）

先启服务器，后启动客户端，服务器从客户端读数据read，客户端向服务器端写数据writeChannel：通道，与stream不同，Channel双向数通信：java.nio.channels ServerSocketChannel SocketChannel,可实现TCP通信用，都可以开启非阻塞式的网络通信（FileChannel） TCP协议：可靠传输协议（流式的数据传输），UDP：效率高的传输，无可靠性消耗---TCP,UDP都在传输层有公共协议，HTTP,TCP,P...

原创 NIO总结（一）

NIO的背景：IO流->输入输出流->BIO->BlockingIO（阻塞式IO）：高并发场景下无法解决的问题NIO引出：new IO/NonBlockingIO(非阻塞式IO)，一种新的IO机制，在JDK1.4提出的一套新的IO机制，BIO有阻塞现象。服务器对多个客户端提供服务，开多个线程同时处理多个访问；线程是非常宝贵的资源，每开一个线程都耗费资源和CUP（一个普通电脑也就开100以内线程）。客户端访问多，当线程开多时候解决方法：很多时候开个QQ不聊天，这也是开个线程在占

原创 APP开发模式分析

目录理解APP相关概念关于混合开发(Hybrid App)几种APP开发方式对比混合开发框架/平台选择理解APP相关概念APP应用分为webAPP、混合APP、源生APP。而移动端能目前支持的应用，除了APP还有小程序。先看看webAPP、混合APP、源生APP、小程序的区别。 1、webAPP 只用web语言开发的，基于移动浏览器的应用。 webAPP优势： 跨平台兼容性很好，开发速度快...

原创 Canvas绘图实现方案（波线、折线）

目录canvas绘制矩形红色波线渐进式绿色折线绿色光柱(海底模拟)canvas绘制矩形<body> <canvasid="demoCanvas"width="500"height="500"> <p>请使用支持HTML5的浏览器查看本实例</p> </canvas> <!---下面将演示一种绘制矩形的demo---> <scripttype="text/ja...

原创 APP/网站性能优化方案汇总

1

原创 APP、小程序、PC WEB上线准备介绍

目录一、序言二、APP上线三、微信生态四、网站五、其它一、序言各平台上线所需的开发者账号Android: 腾讯开发者平台（腾讯应用宝）360移动开放平台 （360手机助手）百度开发者平台 （百度手机助手/91助手）阿里开发者平台 （UC浏览器，PP助手等）华为开发者平台 （手机独有平台:华为应用市场）小米开发者平台 （手机独有平台:小米应用商店）...ios : 苹果开发者平台 （APP Store）微信小程序： 微信公众平台注：除手机开发商会自带专门...

原创 H5+css3+js前端工程打包exe客户端

目录一、Window 上安装Node.js二、npm安装electron三、配置html工程四、开始打包一、Window 上安装Node.js1.nodejs官网下载最新版：https://nodejs.org/en/download/一路安装下一步即可，安装目录：D:\Program Files\nodejs2.配置环境变量： 在环境变量的Path中加入：D:\Program Files\nodejs 在cmd命令行查看版本：证明...

原创 一句话理解各通信协议

TCP/IP协议Http/Https协议TCP/UDP协议RPC协议SNMP协议ModBus协议MQTT协议Websocket协议CoAP协议

原创 IT系统对接方案汇总

目录概述技术方案接口消息服务传输文件共享socket传输数据库传输数据爬取概述IT系统对接是很多企业、项目必须面对的问题；通常，多个系统之间如果完全企业自主定制开发，且有源代码、服务器的所有权，可以选择数据库直传的方式，方便快捷。如果系统之间存在权限限制或技术限制，可采用接口以保证数据的安全和对接的规范性等等，不同的场景下有不同的对接方案，以下对常用的对接方案做出汇总。技术方案接口接口对接方式是比较常用，且安全规范的传输方式，一般需要根据详细需求开发定制接

原创 初识管理--多方合作

目录背景踩坑第一阶段踩坑第二阶段总结背景在"全面信息化建设"、"无纸化办公"、"校企结合"及"军企结合"等政策下，公司的软件开发部门成立。有幸在没有任何管理经验前提下，得公司BOSS认可，成为软件开发部门负责人，开始组建团队，开展部门工作。经过大约一年团队的基础构建，公司老大为团队带来第一个项目，TO G的内部管理系统。作为初创团队，未来目标：在行业内构建综合服务平台产品，似乎由一个内部管理系统作为第一个项目为以后平台打基础很正常，不过此项目一共有几处劣势：1.项目为三方合作项目

原创 初识管理

目录技术人员看管理团队背景对管理的认识结束语技术人员看管理作为一个标准的软件工程毕业的人，课本上从未学过管理方面的课程，也没看过管理相关的书。在没开始管理工作之前，对管理的理解只是停留在自己上级领导每天的工作日常，很彻底的诠释了"不在其位，不谋其职"，如果把IT管理者比作是带兵打仗的将军或者元帅，那技术人员就是士兵或者先锋官，而我当时就是不折不扣的士兵，偶尔充当先锋官。曾经根本没体会到管理工作的难度和玄妙，对管理者的印象：排计划、排座位图、约人聊天、组织开会、采集进度、汇报进度、整理

原创 中台的理解分析与建设

业务中台、数据中台、业务中台

原创 自动化、信息化、数字化、智能化，四化解析

自动化、信息化、数字化、智能化

原创 石墨烯革命

目录简述石墨烯特点石墨烯应用石墨烯展望简述石墨烯（Graphene）是碳原子紧密堆积成单层二维蜂窝状晶格结构的一种碳质新材料，厚度只有0.335纳米，仅为头发的20万分之一，是构建其它维数碳质材料（如零维富勒烯、一维纳米碳管、三维石墨）的基本单元，具有极好的结晶性、力学性能和电学质量。石墨烯的理论比表面积高达2 600m2Pg，具有突出的导热性能（3000W·m- 1·K- 1）和力学性能（1 060GPa），以及室温下较高的电子迁移率（15000cm2·V-1·s-1）。此外.

原创 大数据平台架构设计

目录大数据功能架构大数据技术架构大数据网络拓扑大数据整体物理拓扑数据中心拓扑大数据服务器拓扑实时数据采集大数据功能架构大数据技术架构大数据网络拓扑大数据整体物理拓扑数据中心拓扑大数据服务器拓扑实时数据采集...

原创 通信领域术语大全

ITU：International Telecommunication Union国际电信联盟，联合国的一个重要专门机构，也是联合国机构中历史最长的一个国际组织。简称“国际电联”、“电联”或“ITU”。IMT-2020：国际电联无线电通信部门(ITU-R)正式批准了三项有利于推进未来5G研究进程的决议，并正式确定了5G的法定名称是“IMT-2020”。IMT：国际移动通信(International Mobile Telecommunications)，智能多模式终端(Intelligent Mul

原创 虚拟现实技术架构设计