cloudvtech的博客

一、前言

content

一、前言在文章《将IPVS容器化并扩展为Openshift的服务》中设计的适用于Openshift/Kubernetes平台的大流量负载均衡器在实验室进行了性能测试，从而验证了基于这个负载均衡解决方案的部署，能够在现有的设备条件下(一个物理网卡，最多只能绑定8个CPU给8个队列，而有些物理网卡可以扩展更多的CPU给网卡队列)，具有接近裸机的单机能力和具有接近线性的横向扩展性的能力。转载自https...

一、前言在文章《容器云平台负载均衡解决方案的一些思考》中提到“基于kubernetes nodeport service的IPVS负载均衡”非常适合基于Openshift/kubernetes的容器云的数据层面的负载均衡解决方案。本文对将IPVS容器化以及将IPVS用于部署在Openshift平台的服务的负载均衡所要涉及的技术点进行简要分析。转载自https://blog.csdn.net/clo...

一、前言腾讯公有云承载了各种类型的网站，存在巨大的接入需求，根据文章《详解腾讯云负载均衡CLB高可靠高性能背后架构》的介绍，腾讯的CLB也是基于DPDK框架进行开发的。文章更多的从架构和客户需求的角度描述了CLB的技术信息。转载自https://blog.csdn.net/cloudvtech二、CLB技术要点2.1 多级灾备架构使用多数据中心、多路由器和交换机、CLB服务器集群等方式实现多级灾备...

一、前言

一、前言

一、前言

一、前言

一、前言和美团点评一样，唯品会也使用DPDK框架来开发自己的四层负载均衡器VGW。其基本技术和文章《企业级负载均衡解决方案之二：美团点评高性能四层负载均衡器MGW》里面提到的技术方案基本一致，本文补充一些技术的具体细节。二、VGW技术细节2.1 CPU affinity基于DPDK的VGW中的各个线程都运行在固定的CPU上面，收包和发包使用不同的NIC并且收发队列pin到不同的CPU core上面...

一、前言在互联网厂商业务不断扩展之后，多种服务的入口会导致接入流量的剧增，所以多数基于IPVS或者Nginx等初级负载均衡技术的早期方案都会面临故障或者失效，所以就像google开发meglev一样，许多互联网服务提供商也都纷纷开发自己的分布式软件负载均衡系统作为对外服务的接入口。美团点评在它的技术博客上表明它也面临这样的接入流量爆炸问题，并且基于继续对IPVS的性能瓶颈的分析，开发了它们自己的四...

content

一、前言IPVS的director上会绑定一个VIP，这个VIP是下游客户的唯一接入点，所以这个VIP需要满足高可用性的要求。另外，不同的VIP策略需要根据后端real server的部署状态进行更新。Keepalived是一个开源软件，主要提供loadbalancing（负载均衡）和 high-availability（高可用）功能，负载均衡实现需要依赖Linux的虚拟服务内核模块（IPVS），...

一、前言IPVS Direct Routing模式由于其机制的特殊性，需要在Director和real server上进行一些必要的内核参数配置来达到其特殊的VIP部署要求。在Director上需要配置的参数如下：net.ipv4.ip_forward = 1 net.ipv4.conf.all.send_redirects = 0 net.ipv4.conf.default.send_r...

一、前言在测试基于Openshift的负载均衡器的时候，需要进行性能测试，所要要对系统进行一些性能调优，保证每个工作节点能处理巨大的数据流量，其中最重要的调整是对NIC的调整。在对NIC进行调整的时候，发现RSS(receive side scaling)和RPS(Receive Packet Steering)是两个需要关注的点。RSS和RPS都是网卡为了在接受数据包的时候使用多核架构而进行的性...

一、前言在cloud环境中，不是所有的application都有使用80端口这种特权端口的权限；但是在IPVS direct routing模式下，VIP监听的端口必须要保持和后端real server上的application监听的端口一致，见文章http://www.austintek.com/LVS/LVS-HOWTO/HOWTO/LVS-HOWTO.rewrite_ports.html：本...

一、前言在《IPVS概览》一文中提到IPVS的Direct Routing模式是一个扩展性比较好的负载均衡方式。但是在默认的情况下，IPVS的Direct Routing模式需要指定一个Director，这个director负责绑定并对外暴露VIP，这个director所在的node上的进程是无法访问VIP获取后端real service的服务的。在一般系统中，这可能不是问题，因为IPVS dir...

一、前言在典型的网络服务模型中，请求流量/响应流量(Req/Res)比是很小的一个值；在直播、高清视频等视频多媒体服务中，请求响应流量比将更小(几十KB的请求V.S.几十MB的返回)。对于这样的应用场景，大量的请求可以通过负载均衡器进行接入，但是响应数据包是无法在某个中心节点进行汇聚在返回客户的。所以针对这种小请求响应比的服务，必须使用在响应返回路径没有汇聚点的负载均衡机制。根据响应数据包返回路径...

一、前言在文章《Kubernetes如何利用iptables对外暴露service》中提到了部署在Kubernetes上的服务对外暴露的方法，比如通过host port、cluster service、node external IP、external load balancer、node port等，这都是借助于iptables的功能在三层和四层进行的。在Openshift中，提供了另外一种基于...

一、前言IPVS是基于TCP四层(IP+端口)的负载均衡软件。IPVS会从TCP SYNC包开始为一个TCP连接所有的数据包建立状态跟踪机制，保证一个TCP连接中所有的数据包能到同一个后端。所以IPVS是基于TCP状态机进行控制管理，只感知TCP头而不对TCP的payload进行查看；因此，对IPVS后端服务器集群还有一个假定，那就是所有后端都具有同样的应用层的服务功能，但是由于IPVS可以给后端...

一、前言kubeadm是Kubernetes官方推出的快速部署Kubernetes集群工具，kubeadm通过将Kubernetes相关服务容器化以简化部署过程。在kubernetes 1.8以上的版本中，对于kube-proxy组件增加了除iptables模式和用户模式之外ipvs模式的支持。通过ipvs的NAT模式，对访问k8s service的请求进行虚IP到POD IP的转发。本文在kub...

一、前言在基于虚拟化的云系统中，网络虚拟化是不可或缺的关键部分。虚拟化的网络可以自由的在本地进行基于单机的网络配置或者借助一些互联技术(underlay、overlay或者点对点技术)在虚拟网络内部空间实现跨节点和数据中心的网络互联，但是如果虚拟网络内部的服务要对外进行暴露，就不得不借助地址转换或者端口转换等数据包修改技术。而在现有的container管理框架中，iptables更是承担了服务暴露...

一、前言Kubernetes利用iptables达成以下两个目的：对外暴露POD和服务(通过host port、cluster service、node external IP、external load balancer、node port)简单的负载均衡在Kubernetes worker node的iptables的NAT表的prerouting和output 链表会出现如下规则作为kube...