lldhsds的专栏

Velero是go语言开发的，用于提供备份和恢复 Kubernetes 集群资源和持久卷的开源工具，可在公有云平台或本地环境中运行 Velero。

参考自《harbor权威指南》。

参考《在 KubeVirt 中使用 GPU Operator》，记录gpu operator在KubeVirt下实践的过程，包括虚拟机配置GPU直通，容器挂载GPU设备等。KubeVirt 提供了一种将主机设备分配给虚拟机的机制。该机制具有通用性，支持分配各种类型的 PCI 设备，例如加速器（包括 GPU）或其他连接到 PCI 总线的设备。

在使用Helm chart时，可以通过以下选项自定义设置。这些选项可在安装时通过--set进行指定。下表列出了最常用的选项。如果您希望使用自定义的驱动容器镜像（例如版本 465.27），可以按照以下步骤构建自定义的驱动容器镜像：通过在构建 Docker 镜像时指定参数来重建驱动容器。有关参考信息，驱动容器的 Dockerfile 可在Git 仓库中找到。使用适当的 Dockerfile 构建容器。请确保驱动容器的标签符合的格式，例如。在 Helm 安装命令中通过覆盖默认值来指定新的驱动镜像和镜像库。

*Proxmox Virtual Environment（简称PVE）**是一款基于 QEMU/KVM 和 LXC 的开源服务器虚拟化管理解决方案。您可以通过集成的易用 Web 界面或 CLI（命令行界面）管理虚拟机、容器、高可用集群、存储和网络。Proxmox VE 的代码采用 GNU Affero 通用公共许可证第 3 版（GNU AGPLv3）许可。该项目由 Proxmox Server Solutions GmbH 开发和维护。有关 Proxmox VE 主要功能的概述，请参阅。

KubeVirt 是 Kubernetes 的一个虚拟机管理插件，允许您在 Kubernetes 集群中运行和管理虚拟机。它消除了为虚拟机和容器工作负载管理独立集群的需求，二者现在可以在单一 Kubernetes 集群中共存。在此之前，GPU Operator 仅支持为运行 GPU 加速的容器配置工作节点。现在，GPU Operator 也可以用于为运行 GPU 加速的虚拟机配置工作节点。运行带有 GPU 的容器和虚拟机所需的前提条件不同，主要区别在于所需的驱动程序。

KubeVirt 是 Kubernetes 的虚拟化插件，本指南假设已经安装了 Kubernetes 集群。

KubeVirt 技术满足了那些已经或希望采用 Kubernetes 的开发团队的需求，这些团队拥有现有的基于虚拟机的工作负载，但这些工作负载无法轻易地容器化。更具体地说，KubeVirt 提供了一个统一的开发平台，让开发人员可以在一个通用的共享环境中构建、修改和部署基于应用容器和虚拟机的应用程序。其优势广泛而显著。对于依赖现有虚拟机工作负载的团队，KubeVirt 使他们能够快速将应用程序容器化。

使用 Kubernetes 来部署单独的管理器、控制器和执行器容器，并确保所有新节点都部署了执行器。NeuVector 需要并支持 Kubernetes 网络插件，例如 flannel、weave 或 calico。示例文件将部署一个管理器和三个控制器。它将作为 DaemonSet 在每个节点上部署一个执行器。默认情况下，以下示例也会部署到 Master 节点。有关使用节点标签指定专用的管理器或控制器节点的信息，请参见底部部分。由于潜在的会话状态问题，不建议在负载均衡器后面部署（扩展）多个管理器。

构建可以通过ssh进行连接容器镜像，实现远程登录容器的目的。

kubernetes下三位一体的云原生分布式存储解决方案

harbor部署到docker环境中，安装时除了可以自带pg数据库和redis缓存之外，也可以对接外部的pg数据库和redis，在harbor部署到生产环境中和高可用落地方案中可以作为考虑的方案。本文部署Harbor v2.11.0版本，采用离线部署安装包。实际部署中尽可能满足上述配套版本，本文测试对接使用redis6.0 + pg 13.4。同时测试使用pg 11.6版本时，在部署harbor后数据库初始化时存在问题，可能是pg版本不兼容导致的。

对于扩展开发和生产环境，建议部署启用Erasure Coding的MinIO——特别是，每个MinIO服务器至少配备4个驱动器。RPM和DEB软件包会自动将MinIO安装到必要的系统路径，并创建一个适用于 systemctl 的 minio 服务。本文实践单节点部署 MinIO服务器在 Linux 上，主要用于早期快速开发和评估MinIO存储服务器在S3存储层API的兼容性。MinIO是一个对象存储解决方案，它提供了与Amazon Web Services S3兼容的API，并支持所有核心S3功能。

记录linux下NTP服务器搭建及相关管理操作，使用chrony软件包安装部署。相比ntp服务，Chrony服务适用于更高精度、更高稳定性、自动化等场景。

dnsperf和resperf是由Nominum/Akamai（2006-2018年）和DNS-OARC（自2019年起）开发的免费工具，这些工具可以简化获取域名服务（DNS）精确延迟和吞吐量指标的过程。这些工具易于使用，能够模拟典型的互联网场景，因此网络运营商可以基准测试他们的命名和寻址基础设施，并为升级做好规划。最新版本的dnsperf和resperf支持包含IPv6查询的测试文件。dnsperf会自行调整DNS查询负载以模拟网络条件。

记录linux下NTP服务器搭建及相关管理操作，使用ntp软件包安装部署。

网络时间协议NTP（Network Time Protocol）是TCP/IP协议族里面的一个应用层协议，用来使客户端和服务器之间进行时钟同步，提供高精准度的时间校正。NTP服务器从权威时钟源（例如原子钟、GPS）接收精确的协调世界时UTC，客户端再从服务器请求和接收时间。NTP基于UDP报文进行传输，使用的UDP端口号为123。“网络时间协议 (NTP) 能够精确显示时间和日期信息，以确保联网计算机系统的时钟与网络或互联网上的常用时间源保持同步。全球许多标准机构都配备了原子钟，它们可作为时间参考。

制品签名和签名验证是关键的安全功能，它们允许你验证制品的完整性。Harbor 通过与 Cosign 或 Notation 的集成来支持内容信任。项目管理员可以配置项目以强制执行内容信任，要求所有制品在从 Harbor 注册表中拉取之前必须进行签名。

Harbor 是一个开源的云原生容器镜像仓库项目，旨在为企业级用户提供安全、可扩展、灵活的容器镜像管理解决方案。Harbor 提供了对镜像的管理、访问控制、镜像签名、安全扫描等功能，并且支持多种身份验证方式，可以与企业的 LDAP/AD 集成。

场景calio网络模式带宽（Gbits/sec）不同node之间不涉及2.85不同node的pod之间Native Routing (BGP) 模式2.75node与不同node的pod之间Native Routing (BGP) 模式2.78不同node的pod之间VXLAN0.98node与不同node的pod之间VXLAN2.67不同node的pod之间IP-IP1.23node与不同node的pod之间IP-IP2.77。

jenkins支持war包、docker镜像、系统安装包、helm安装等。在Kubernetes上使用Helm安装Jenkins可以简化安装和管理Jenkins的过程。同时借助Kubernetes，jenkins可以实现工作节点的动态调用伸缩，更好的提高资源利用率。通过Jenkins的kubernetes-plugin来实现将Jenkins运行在Kubernetes上的功能。

gitlab支持多种安装方式，有二进制安装、helm cahrt安装、operator安装、docker安装以及基于源码构建等。本文主要介绍在k8s环境下基于helm包进行安装。gitlab包括通用版本和中文版本（极狐），极狐为中外合资公司发布的版本。

构建一个完全定制的基础镜像意味着您需要从一个非常小的镜像（例如scratch镜像）开始，然后逐步添加您需要的所有内容。scratch镜像是一个空白的基础镜像，可以用来创建高度定制的容器环境。

通过以上步骤，您已经成功构建了一个应用容器镜像，并可以根据需要定制和扩展这个镜像。

地址分配：当创建Service 时，MetalLB 会为其分配 IP 地址。这个 IP 地址是从预先配置的 IP 地址库获取的。当 Service 删除后，已分配的 IP 地址会重新回到地址库。使用Controller实现地址分配，以 Deployment方式运行，用于监听 Service 的变更，分配/回收 IP 地址。对外广播：分配了 IP 地址之后，需要让集群外的网络知道这个地址的存在。由Speaker实现地址对外广播，以DaemonSet方式运行，对外广播 Service 的 IP 地址。

之前harbor的安装都是借助docker完成一键安装部署，安装完成之后harbor组件均运行到一台机器上面，本文实践harbor在k8s环境中的部署。

记录在k8s 1.19.0集群环境下安装openebs 3.10.0。

Harbor 是一个开源的云原生镜像仓库，用于存储和分发容器镜像的企业级Registry服务器，通过添加一些企业必需的功能特性，例如安全、标识和管理等，扩展了开源 Docker Distribution。作为一个企业级私有 Registry 服务器，Harbor 提供了更好的性能和安全。

python3-libvirt：libvirt库的Python 绑定，在Python中使用 libvirt 的功能，包括对虚拟机、存储池、网络等资源的管理，以及对虚拟化宿主机的监控和控制。libguestfs-tools：虚拟机镜像管理工具，包括virt-cat、virt-edit、virt-ls、virt-rescue。qemu-kvm：即qemu+kvm，kvm负责cpu和内存的虚拟化，而qemu负责IO设备，如网卡和磁盘等的虚拟化。可以使用virt-manager,命令行，xml文件等方法创建。

libvirt-python：libvirt库的Python 绑定，在Python中使用 libvirt 的功能，包括对虚拟机、存储池、网络等资源的管理，以及对虚拟化宿主机的监控和控制。libguestfs-tools：虚拟机镜像管理工具，包括virt-cat、virt-edit、virt-ls、virt-rescue。qemu-kvm：即qemu+kvm，kvm负责cpu和内存的虚拟化，而qemu负责IO设备，如网卡和磁盘等的虚拟化。libvirt：KVM管理工具，为不同的虚拟机监视器提供了统一的接口。

在这里，我们将主机的 80 端口映射到容器内的 80 端口，这样主机上的流量可以转发到容器。镜像启动 Nginx 服务，并将主机上的 80 端口与容器内的 80 端口绑定。如果你想要自定义 Nginx 配置，例如，添加静态网站的配置或设置反向代理，可以创建自定义的。在这个文件中，你可以定义 Nginx 服务以及如何启动它。文件来定义 Nginx 服务，并为其配置端口映射和其他必要的设置。文件和前端代码文件，然后映射到 Nginx 容器对应路径。，Nginx 应用会启动并使用你的自定义配置。

这意味着，当您访问主机的 5000 端口时，实际上是访问容器中的 5000 端口。用flask框架写一个web服务器应用，使用Dockerfile构建镜像，然后用docker-compose编排启动应用。最终目录结构如下,同一目录中创建了app.py, Dockerfile 和 docker-compose.yml 文件。context: 表示构建的上下文，即 Docker 将从哪个目录开始读取构建所需的文件。ports: 这是端口映射配置，用于将 Docker 容器内部的端口与主机上的端口连接。