- 博客(335)
- 资源 (3)
- 收藏
- 关注
RSS订阅
原创 transformer读后感
9、解码后通过最后的线性层接上一个softmax，其中线性层是一个简单的全连接神经网络，它将解码器产生的向量投影到一个更高维度的向量（logits）上，假设我们模型的词汇表是10000个词，那么logits就有10000个维度，每个维度对应一个惟一的词的得分。之前用RNN可以解决该问题，但是RNN是一个全局序列表示，每一个都需要前一个T-1的输入，且RNN的序列参数是相等的不能合理表示每个单词对不同前序单词的关注差异。因为要生产的序列不是端对端对等的，有N：1，N：M等，通过编码解码器能够更好的模拟。
2025-05-05 19:45:23
468
原创 Mac下Homebrew的安装与使用
Mac下Homebrew的安装与使用一蓑烟羽关注2017.10.19 11:59*字数 515阅读 7684评论 0喜欢 3Homebrew简介，安装与使用简介Homebrew 官方网站Homebrew是一个包管理器，用于安装Apple没有预装但你需要的UNIX工具。（比如著名的wget）。Homebrew会将软件包安装到独立目录(/usr/local/Cellar)，并将其文件软链接至/usr/local。Homebrew不会将文件安装到它本身目录之外，所以您...
2025-04-07 11:01:20
823
原创 Hbase总结
@[TOC]Hbase总结Hbase总结Hbase使用过程关键知识点。rowkey的设计基础知识HBase 是 BigTable 的开源 java 版本。是建立在 HDFS 之上，提供高可靠性、高性能、列存储、 可伸缩、实时读写 NoSQL 的数据库系统。NoSQL = NO SQLNoSQL = Not Only SQL把 NoSQL 数据的原生查询语句 封装成 SQLHBas...
2025-04-07 10:58:49
894
原创 mac命令操作
mac命令操作快速删除一行： control + u剪切文件：步骤1、先进行Command + c 进行选择复制文件，2、进行command+option+v进行移动文件，如果command+v是进行复制文件。command+control+D 三个键即可屏幕取词进行翻译mac中可以使用快捷方式command+shift+.来查看隐藏的文件，再次按下恢复隐藏快捷键 Command+Q 退出当前窗口。Alt+Command+D，打开或者关闭隐藏...
2025-04-07 10:57:02
1750
原创 IDEA快速入门
IDEA快速入门https://www.atatech.org/articles/51645IntelliJ IDEA像Eclipse一样打开多个项目。https://blog.csdn.net/zht666/article/details/47831893ntelliJ IDEA在Mac下格式化代码快捷键: Command + Option + LOption + shift + c 打开最近修改的文件command+Y 删除行⌘⌫删除当前行或选定的块的行command..
2025-04-07 10:56:13
907
原创 MySQL分页查询优化
当需要从数据库查询的表有上万条记录的时候，一次性查询所有结果会变得很慢，特别是随着数据量的增加特别明显，这时需要使用分页查询。对于数据库分页查询，也有很多种方法和优化的点。下面简单说一下我知道的一些方法。准备工作为了对下面列举的一些优化进行测试，下面针对已有的一张表进行说明。表名：order_history 描述：某个业务的订单历史表 主要字段：unsigned int id，ti...
2025-04-07 10:55:32
527
原创 Flink对比Spark streaming、Storm
对比Spark streaming、Storm 产品 模型 语义 容错机制 状态管理 延时 吞吐量 Storm native at-least-once ack 无 low low Spark.
2025-04-07 10:46:48
246
原创 常用linux命令
cat filename | grep -C 5 '关键字'cat tms-route-network.log | grep -C 5 'computer find site FAILED' > newlog.log终端输入命令 export PATH=/usr/local/bin:$PATH安装nginxbrew install nginx# 启动nginxsudo nginx修改nginx配置项vim /usr/local/etc/nginx/ngin...
2025-04-07 10:32:38
608
原创 人工智能-推荐
比如小李对物品A、B、C给了十分好评，小王对物品A、C给了十分好评，从这些用户的喜好中分析出喜欢A的人都喜欢C，物品A、C是相似的，如果小张给了A好评，那么可以把C也推荐给小张，可简单理解为“物以群分”。：该算法的核心是分析用户的兴趣和行为，利用共同行为习惯的群体有相似喜好的原则，推荐用户感兴趣的信息。假如小李，小张对物品A、B都给了十分好评，那么可以认为小李、小张具有相似的兴趣爱好，如果小李给物品C十分好评，那么可以把C推荐给小张，可简单理解为“人以类聚”。但不同类型的原始特征应该如何变换？
2023-06-01 07:47:33
695
原创 数据准备
数据清洗1.缺失值的处理3种情况：删掉有缺失值的数据；补充缺失值；不做处理。异常值的处理数据本身的错误，需要对数据进行修正，或者直接丢弃；数据偏差的处理数据偏差可能导致后面训练的模型过拟合或者欠拟合，所以处理数据偏差问题也是你在数据清洗阶段需要考虑的。数据标准化在处理完数据的问题之后，你就该对数据的标准进行整理了，这可以防止某个维度的数据因为数值的差异，而对结果产生较大的影响。在有些算法中，每一个维度的数据标准都需要进行统一；而在另外一些算法中，则需要统一数据的类型。比如在预测一个地区的房价
2020-12-15 16:24:05
1280
转载 图解HBase读取流程
1.介绍HBase的两种读取模式：Get与Scan 如何发起一次Get请求，Get有哪些关键参数 如何发起一次Scan请求，Scan有哪些关键参数2.Client如何发送请求到对应的RegionServer3.RegionServer侧如何处理一次读取请求 关于Scan的命题定义 如何处理Get请求 合理组织所有的"KeyValue数据源" 读取KeyV...
2020-01-15 19:31:49
998
原创 mac 下golang 环境配置
1、export PATH=/usr/local/bin:$PATH2、brew install go3、vim .bash_profileexport GOPATH=/usr/local/Cellar/go/1.13.4export GOBIN=$GOPATH/binexport PATH=$PATH:$GOBIN输入source ~/.bash_pro...
2019-12-04 15:12:47
835
转载 快速的统计千万级别uv
转载：https://www.cnblogs.com/liliuguang/p/11112694.html菜菜，咱们网站现在有多少PV和UV了？Y总，咱们没有统计pv和uv的系统，预估大约有一千万uv吧写一个统计uv和pv的系统吧网上有现成的，直接接入一个不行吗？别人的不太放心，毕竟自己写的，自己拥有主动权。给你两天时间，系统性能不要太差呀好吧~~~...
2019-11-05 09:40:46
697
转载 理解zookeeper选举机制
原文转自：https://www.cnblogs.com/ASPNET2008/p/6421571.html https://blog.csdn.net/cnh294141800/article/details/52959028/ http://blog.itpub.net/30109892/viewspace-2089610...
2019-09-10 22:30:14
541
原创 Flink总结
1、有状态计算：处理和维护所有已处理记录的状态。2、无状态计算：每次转换一条输入记录，并且仅根据最新的输入记录输出结果。3、一致性：exactly-once 系统保证在发生故障后得到的计数结果与正确值一致。（Storm Trident 和 Spark Streaming）在性能和表现力这两个方面付出了很大的代价。为了保证exactly-once ,这些系统无法单独地对对每条记录进行运用逻...
2019-08-25 22:44:31
240
转载 Maven实战（三）——多模块项目的POM重构
在本专栏的上一篇文章POM重构之增还是删中，我们讨论了一些简单实用的POM重构技巧，包括重构的前提——持续集成，以及如何通过添加或者删除内容来提高POM的可读性和构建的稳定性。但在实际的项目中，这些技巧还是不够的，特别值得一提的是，实际的Maven项目基本都是多模块的，如果仅仅重构单个POM而不考虑模块之间的关系，那就会造成无谓的重复。本文就讨论一些基于多模块的POM重构技巧。重复，还是重复...
2018-11-05 10:24:28
941
转载 百亿级微信红包的高并发资金交易系统设计方案
2017年1月28日，正月初一，微信公布了用户在除夕当天收发微信红包的数量——142亿个，而其收发峰值也已达到76万每秒。百亿级别的红包，如何保障并发性能与资金安全？这给微信带来了超级挑战。面对挑战，微信红包在分析了业界“秒杀”系统解决方案的基础上，采用了SET化、请求排队串行化、双维度分库表等设计，形成了独特的高并发、资金安全系统解决方案。实践证明，该方案表现稳定，且实现了除夕夜系统零故障运行。...
2018-10-07 23:37:32
424
原创 缓存比较好的博客
redis:http://carlosfu.iteye.com/category/345837https://blog.csdn.net/zeb_perfect/article/details/54135506https://blog.csdn.net/zzh920625/article/details/78173099?foxhandler=RssReadRenderProcessH...
2018-10-07 18:32:13
229
转载 缓存系列文章--3.缓存常用更新策略对比(一致性)。
转载请注明出处哈:http://carlosfu.iteye.com/blog/2269678 一、缓存的几种更新策略 从下面的表格看，缓存的更新策略大致分为三种，本文将从一致性和维护成本两个方面对于三种缓存更新策略进行简要说明，因为这些东西比较理论和抽象，如哪里说得不对，欢迎拍砖。 注： (1) 一致性：缓存和真实数据源（例如mysql, hbase, el...
2018-10-07 18:25:48
462
转载 缓存穿透，缓存击穿，缓存雪崩解决方案分析
转载：https://blog.csdn.net/zeb_perfect/article/details/54135506前言设计一个缓存系统，不得不要考虑的问题就是：缓存穿透、缓存击穿与失效时的雪崩效应。缓存穿透缓存穿透是指查询一个一定不存在的数据，由于缓存是不命中时被动写的，并且出于容错考虑，如果从存储层查不到数据则不写入缓存，这将导致这个不存在的数据每次请求都要到存储层去查询...
2018-10-07 00:21:15
204
转载 【缓存】缓存中常见的4种问题分析以及解决方案
由于最近要准备换工作，同时最近在“Redis中国用户组”上关注了一系列Redis的活动，想要总结一下，Redis当做缓存使用过程中的一些常见问题。 一、前提 1.文中相关术语 （1）缓存命中： 终端用户访问加速节点时，如果该节点有缓存住了要被访问的数据时就叫做命中，如果没有的话需要回原服务器取，就是没有命中。（百科） （2）过期时间：...
2018-10-06 23:29:54
322
转载 布隆过滤器(Bloom Filter)详解
转载：https://www.cnblogs.com/liyulong1982/p/6013002.html直观的说，bloom算法类似一个hash set，用来判断某个元素（key）是否在某个集合中。和一般的hash set不同的是，这个算法无需存储key的值，对于每个key，只需要k个比特位，每个存储一个标志，用来判断key是否在集合中。算法：1. 首先需要k个hash函数，每个函...
2018-10-06 22:53:52
889
1
原创 解决MyEclipse开启后总是不停的在Update index
最近MyEclipse开启之后总是不停的在 update index，很是耗时间，查找资料发现Update index...是Maven在不断更新，解决办法如下：Window --> Preferences --> Myeclipse --> Maven4Myeclipse --> 去除Download repository index updates on s...
2018-09-12 11:22:31
422
原创 %与mod的区别
%与mod的区别：%出来的数有正有负，符号取决于左操作数。。。而mod只能是正（因为a = b * q + r (q > 0 and 0 <= r < q), then we have a mod q = r 中r要大于等于0小于q）。。。。。 所以要用%来计算mod的话就要用这样的公式：a mod b = (a % b + b) % b括号里的目的是把左操作数转成正...
2018-09-11 10:33:46
3146
转载 五大常见的MySQL高可用方案
本文来自：https://zhuanlan.zhihu.com/p/25960208UCloud云计算 1. 概述我们在考虑MySQL数据库的高可用的架构时，主要要考虑如下几方面：如果数据库发生了宕机或者意外中断等故障，能尽快恢复数据库的可用性，尽可能的减少停机时间，保证业务不会因为数据库的故障而中断。 用作备份、只读副本等功能的非主节点的数据应该和主节点的数据实时或者最终保持一...
2018-09-10 10:27:24
284
转载 Java死锁排查和Java CPU 100% 排查的步骤整理
简介本篇整理两个排查问题的简单技巧，一个是java死锁排查，这个一般在面试的时会问到，如果没有写多线程的话，实际中遇到的机会不多；第二个是java cpu 100%排查，这个实际的开发中，线的应用出现这个问题可能性比较大，所以这里简单总结介绍一下，对自己学习知识的一个整理，提高自己的解决问题能力。一、Java死锁排查通过标题我们就要思考三个问题：什么是死锁？ 为什么会出现死锁？...
2018-09-10 09:55:57
316
转载 mysql中间件研究（ Atlas，cobar，TDDL，mycat，heisenberg,Oceanus,vitess,OneProxy ）
mysql-proxy是官方提供的mysql中间件产品可以实现负载平衡，读写分离，failover等，但其不支持大数据量的分库分表且性能较差。下面介绍几款能代替其的mysql开源中间件产品，Atlas，cobar，tddl，让我们看看它们各自有些什么优点和新特性吧。AtlasAtlas是由 Qihoo 360, Web平台部基础架构团队开发维护的一个基于MySQL协议的数据中间层项目。它是...
2018-09-10 08:36:08
1623
转载 MySQL数据库的高可用方案总结
这篇文章主要针对MySQL数据库的高可用方案进行详细总结，高可用架构对于互联网服务基本是标，本文是对各种方案的总结，感兴趣的小伙伴们可以参考一下 可用架构对于互联网服务基本是标配，无论是应用服务还是数据库服务都需要做到高可用。虽然互联网服务号称7*24小时不间断服务，但多多少少有一些时候服务不可用，比如某些时候网页打不开，百度不能搜索或者无法发微博，发微信等。一般而言，衡量高可用做到什么程...
2018-09-09 20:37:29
5621
转载 Oracle的三种高可用集群方案
主要有三种：1. RACRAC, Real Application Clusters多个Oracle服务器组成一个共享的Cache，而这些Oracle服务器共享一个基于网络的存储。这个系统可以容忍单机/或是多机失败。不过系统内部的多个节点需要高速网络互连，基本上也就是要全部东西放在在一个机房内，或者说一个数据中心内。如果机房出故障，比如网络不通，那就坏了。所以仅仅用RAC还是...
2018-09-07 10:52:21
240
转载 Oracle-RAC原理
转载：https://blog.csdn.net/qq_34556414/article/details/79001267单点数据库VS RAC单节点数据库，如果实例宕机了，如果一个业务链接在实例上面，那么这个业务就中断了。这个时候系统就不具有可用性了，那么这个时候单节点的可用性是很差的。对于RAC来说，和单实例一样，还是一份数据文件，都是相同的存储上面放着oracle的文件，...
2018-09-07 10:37:05
643
转载 Java session共享的问题
Java session共享的问题分为主子域名相互共享、多个tomcat或项目共享(也可以理解成分布式部署后的多台服务器间session共享) 为什么我们处理共享session?对于一个项目有主子域名的情况，往往我们需要让主域名网站登录后，也要在子域名显示登录信息，而默认tomcat生成session时，是区别域名的，对于不同域名会生成不同的sessionid，所以我们需要处理让主子域...
2018-09-06 17:13:46
502
转载 聊聊QPS/TPS/并发量/系统吞吐量的概念
我们在日常工作中经常会听到QPS/TPS这些名词，也会经常被别人问起说你的系统吞吐量有多大。这个问题从业务上来讲，可以理解为应用系统每秒钟最大能接受的用户访问量。或者每秒钟最大能处理的请求数； QPS: 每秒钟处理完请求的次数；注意这里是处理完。具体是指发出请求到服务器处理完成功返回结果。可以理解在server中有个counter，每处理一个请求加1，1秒后counter=QPS。 T...
2018-09-06 10:18:23
652
转载 用java在redis中存储对象
最近需要封装一个操作redis的工具类，不知道怎么向redis中存储对象，想到过用java反射去做。在网上搜索了一下，发现可以用序列化对象的方式去存储。再此我整理了一下感谢，残剑_提供的方法：http://www.cnblogs.com/liuling/p/2014-4-19-04.html（redis基础操作）感谢，萧剑90提供的方法：http://blog.csdn.net/abc19...
2018-09-04 22:52:33
2040
转载 redis存储对象
redis主要存储类型最常用的五种数据类型：String Hash List Set Sorted setredis存储对象序列化和反序列化首先来了解一下为什么要实现序列化为什么要实现序列化接口 当一个类实现了Serializable接口(该接口仅为标记接口,不包含任何方法定义),表示该类可以序列化.序列化的目的是将一个实现了Serializable接口的对象转换成一...
2018-09-04 22:25:22
636
转载 redis使用watch秒杀抢购思路
1、使用watch，采用乐观锁 2、不使用悲观锁，因为等待时间非常长，响应慢 3、不使用队列，因为并发量会让队列内存瞬间升高import java.util.concurrent.ExecutorService;import java.util.concurrent.Executors;import redis.clients.jedis.Jedis;/** * redis测...
2018-09-04 17:08:10
171
转载 redis基础之安装和配置（一）
ubantu16.04环境下安装下载安装，依次执行命令;# 从官方网站下载安装包，注意，当前在哪个目录下执行命令，下载的包将在哪个目录下$ wget http://download.redis.io/releases/redis-4.0.6.tar.gz# 将下载包解压$ tar -zxvf redis-4.0.6.tar.gz# 进入解压后的文件夹$ cd redis-4.0....
2018-09-01 01:54:49
450
转载 VMware虚拟机Linux访问外网配置
验证操作真实有效。安装完成Linux后，配置网络，我使用的桥接的方式。1.打开VMware虚拟机的菜单， 虚拟机——设置。2.在打开的虚拟机设置窗口中，左侧选择网络适配器，右侧 网络连接，选中桥接模式。如果使用本机使用WiFi，下面的复制物理网络连接状态，不要勾选。3.查看本机的上网方式。方法一：通过Internet协议版本4属性，如果选中 自动获取IP地址，则是动态...
2018-08-31 19:36:52
3760
转载 cpu使用率低负载高
cpu低而负载高也就是说等待磁盘I/O完成的进程过多，就会导致队列长度过大，这样就体现到负载过大了，但实际是此时cpu被分配去执行别的任务或空闲，具体场景有如下几种。场景一：磁盘读写请求过多就会导致大量I/O等待上面说过，cpu的工作效率要高于磁盘，而进程在cpu上面运行需要访问磁盘文件，这个时候cpu会向内核发起调用文件的请求，让内核去磁盘取文件，这个时候会切换到其他进程或者空闲，这个任...
2018-08-28 11:45:55
795
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人