【Flink on k8s】- 14 - Flink kubernetes operator 使用经验分享

最新推荐文章于 2025-02-20 12:54:51 发布
最新推荐文章于 2025-02-20 12:54:51 发布
阅读量854 收藏 1
点赞数 5
CC 4.0 BY-SA版权
分类专栏： Flink kubernetes operator Apache Flink 文章标签： flink kubernetes 大数据
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/high2011/article/details/134998099
本文分享了如何在kubernetes上使用flink-k8s-operator部署Flink Maven项目，包括环境准备、Maven项目的创建与配置、Dockerfile编写、Wordcount作业实现、镜像构建与推送以及作业提交。还提到了项目中遇到的挑战与经验教训。

目录

一、集成 flink maven 项目发布到私有库

1、环境准备

2、使用 maven 创建 java 项目

2.1 进入本地磁盘目录

2.2 执行命令创建项目

2.3 编辑 pom.xml文件

3、编写 Dockerfile

4、新增 Wordcount.java 文件

5、执行 docker build 构建镜像

二、项目踩坑经验

一、集成 flink maven 项目发布到私有库

1、环境准备

  • 容器环境：kubernetes  on docker desktop

  • 版本管理

    • git 2.18.0

  • 开发环境：

    • mac os 10.15.6

    • apache maven 3

了解本专栏 订阅专栏 解锁全文 超级会员免费看
flink实战--flink on k8s (Kubernetes)
阿华田的博客
10-19 5070
Flink on Kubernetes 的发展历史 在 Flink 的早期发行版 1.2 中，已经引入了 Flink Session 集群模式，用户得以将 Flink 集群部署在 Kubernetes 集群之上。随着 Flink 的逐渐普及，越来越多的 Flink 任务被提交在用户的集群中，用户发现在 session 模式下，任务之间会互相影响，隔离性比较差，因此在 Flink 1.6 版本中，推出了 Per Job 模式，单个任务独占一个 Flink 集群，很大的程度上...
【Flink on k8s】- 9 - 本地部署 Flink kubernetes operator
欢迎来到我的博客，一起探索代码里的世界！
08-11 1236
flink kubernetes operator 版本： 1.4.0helm 版本： 3.1.0flink kubernetes operator 支持的 Flink 版本：v1.13, v1.14, v1.15, v1.16。
Flink on-k8s operator application 模式
刘涛的博客
12-26 1909
flink on k8s operator
flinkk8soperator:提供用于管理Apache Flink应用程序的控制平面的Kubernetes运算符
05-12
Flinkk8soperator FlinkK8sOperator是，用于管理Kubernetes上的应用程序。 操作员充当控制平面来管理应用程序的完整部署生命周期。 项目状态 贝塔 Lyft的一些不太重要的工作正在使用该操作员。 在这一点上，重点是测试和稳定性。 在Beta版中，我们将尝试限制向后不兼容的更改的数量，但是仍然可以根据需要进行更改。 先决条件 Kubernetes的版本> = 1.10（版本<1 u9700要--feature-gates=CustomResourceSubresources> = 1.7。 概述 在Kubernetes上运行Flink的目标是在无需管理基础架构的情况下实现更灵活，更轻量级的流式应用程序部署。 Flink运营商旨在从应用程序开发人员中抽象出托管，配置，管理和操作Flink集群的复杂性。 它通过使
使用Flink Operator部署Flink on k8s方案
最新发布
qq_41067796的博客
02-20 1943
通过 Flink Operator 在 Kubernetes 上部署 Flink，可以显著简化 Flink 的运维工作，并充分利用 Kubernetes 的弹性伸缩和高可用性特性。
flink-on-k8s-operator部署安装及alink集成
u010318804的博客
06-28 1988
flink-on-k8s-operator、Alink集成部署安装 [[Google官方参考文档]]: (Google_README.md) 1. 获取源码 ## 下载源码 git clone https://github.com/leihongyang/flink-on-k8s-operator.git git checkout pinnet 2. 准备镜像 从海外构建的镜像有： FROM gcr.io/flink-operator/flink-operator:latest ## 和 FROM gcr
精选资源
flink-on-k8s-operator:Kubernetes运算符，用于管理Apache Flink和Beam应用程序的生命周期
04-29
用于Apache Flink的Kubernetes Operator是用于在上运行的控制平面。 社区 提出问题，报告错误或提出功能或加入我们的频道。 查看 。 项目状态 贝塔 操作员正在积极开发中，对于Beta版本，不能保证API的向后兼容性...
【Flink on k8s】- 1 - Flink Kubernetes Operator 简介 2023
欢迎来到我的博客，一起探索代码里的世界！
03-22 1106
Flink Kubernetes Operator 可以与 Kubernetes 的其他功能和工具集成，可以帮助用户快速定位和解决问题。Flink Kubernetes Operator可以在Kubernetes上实现高可用性，以确保 Flink 集群的稳定性和可靠性。Flink Kubernetes Operator 可以快速地部署 Flink 集群，而无需手动配置和管理集群。Flink Kubernetes Operator可以将Flink集群与其他应用程序隔离，以避免资源争用和干扰。
flink on k8s部署--kubernetes operator方式&Application Mode方式(附构建flink镜像Dockerfile)
Sword_Zhao的博客
04-17 2132
本次部署方案采用flink on k8s，部署方式是flink-kubernetes-operator，部署flink-kubernetes-operator需要helm。我这里使用的是jdk1.8和flink1.13，或者用docker镜像执行flink命令。我使用的是flink1.13，其他版本类似，在docker hub中查询自己所使用版本的基础镜像即可。需要kubernetes version>=1.6，flink version>=1.13。登陆数据库检查产出情况。
【梳理】k8s使用Operator搭建Flink集群（高可用可选）
haerxiong的专栏
03-08 5119
本文内容来源于Flink官网，进行翻译、简化、整理，供大家参考~
【flink on k8s】部署flink-operator
echo245的博客
07-22 2462
1.准备各个配置文件 crd.yaml apiVersion: apiextensions.k8s.io/v1beta1 kind: CustomResourceDefinition metadata: name: flinkapplications.flink.k8s.io spec: group: flink.k8s.io names: kind: FlinkApplication listKind: FlinkApplicationList plural: flin
K8s flink-operator 例子
hunheidaode的博客
09-25 849
在 Kubernetes 集群上安装证书管理器以添加 Webhook 组件（每个 Kubernetes 集群只需要一次）现在可以通过 192.168.56.211:8081 访问 Flink 仪表板。如果您遇到连接问题或者更喜欢使用 Dockerhub，则可以。要公开 Flink 仪表板，您可以添加端口转发规则或查看。我的环境 k8s 1.30 最新版本了。5.提交 Flink 作业。要查找稳定版本列表，请访问。Helm 图表默认指向。
Flink On K8s实践4:Session部署模式实践
homeofcm的专栏
04-11 1251
Apache Flink是当下主流了流式计算引擎，在企业的实时数仓、实时BI、数据湖、智能推荐和风险风控等场景中有广泛的应用。Apache Flink支持多种Resource Providers，也就是可以在多种资源平台上运行，本系列文章以当前热门的容器平台Kubernetes作为Flink的Resource Proivder，全面讲解如何在Kubernetes平台上以Flink Kubernetes Operator的方式运行Flink作业应用。
【K8S】【flink on k8s】 之flinkcdc
qq_31286957的博客
03-14 1670
1）新建一个nodeport类型的service ，选择器和application-deployment-rest 保持一致，映射8081端口。1)k8s上能执行kubectl 命令的节点上创建自定义工作负载配置任务文件 flink-cdc-demo.yaml。2） 访问flink-web-ui service 对应的端口即可出现flink-web-ui界面。1、在k8s 上部署 flink-kubernetes-operator。1、在k8s 上部署 flink-kubernetes-operator。
一次在K8s上运行Flink的实录
小凯的博客
01-10 2129
本文先介绍一下K8s的ConfigMap资源和Ingress的基本概念,然后讲一下如何在K8s上部署Flink,最后看一下Flink的Operator又是怎么编写的 ConfigMap 问题背景: 生产环境可能需要多个Config文件,命令行参数和环境变量进行配置组合,因此容器部署的时候,应该把配置从应用程序的镜像中解耦出来,以保证镜像的可移植性. ConfigMap是用来存储通用的配置变量的,类...
Flink on k8s 环境搭建(一)
wangqiaowq的博客
07-19 3219
Flink on Yarn的环境搭建过程中，需要进行配置较多，且需要搭建zookeeper Hadoop Yarn 等相关组件，安装流程比较复杂，集群出现问题重新安装的流程也比较复杂，且Yarn的3个节点中 只能起了 3个resourceManager和1个NodeManager，Flink 作业申请资源时只能 向NodeManager的节点申请资源，整体有资源瓶颈的隐患（后继flink作业会越来越多），现在尝试进行Flink on k8s 的环境搭建。
【kubernetes】使用flink-kubernetes-operator、使用java代码提交任务到远程k8s服务器
九师兄
04-30 842
然后我们在文章中学会了怎么提交任务到自己本地的k8s环境中。现在我们要把任务提交到远程服务器，对方的是k8s环境，但是对方的环境使用的是contains，不是docker容器。我们本次是从本地的docker环境放到k8s环境上。先根据文章打包到本地镜像。然后我们在文章中导入本地镜像到远程。
flink-kubernetes-operator api使用（支持 jdk 1.8）
阿甘兄
02-16 1907
flink-kubernetes-operator api使用
Flink kubernetes operator 部署prometheus监控
wu892355227的博客
03-06 1700
使用prometheus operator监控flink kubernets operator 部署作业
YuniKorn优化Flink-on-K8s调度：现状、挑战与未来
为了简化作业管理，社区提出了使用Helm Chart或K8s-flink-operator等工具。 YuniKorn对Flink-on-K8s的调度优化： YuniKorn作为一个资源调度器，可以有效地解决Flink在K8s上的资源管理问题。通过与K8s的原生集成，...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

oo寻梦in记

你的鼓励将是我创作的最大动力!

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值