华为云DLI Flink作业生产环境推荐配置指导

本文介绍了华为云DLI Flink作业在生产环境中的推荐配置,包括创建SMN主题、配置作业参数(如CU数量、管理单元、最大并行数)、保存作业日志、设置告警和Checkpoint,以及监控服务的使用。强调了配置Checkpoint的重要性,提供了Exactly Once和At Least Once模式的选择建议,并提示如何通过云监控服务CES创建告警规则,确保作业的稳定性和可靠性。

摘要生成于 C知道 ,由 DeepSeek-R1 满血版支持, 前往体验 >

1. 首先客户需要在消息通知服务(SMN)中提前创建一个【主题】,并将客户指定的邮箱或者手机号添加到主题订阅中。这时候指定的邮箱或者手机会收到请求订阅的通知,点击链接确认订阅即可。

2. 创建Flink SQL作业,编写作业SQL完成后,配置【运行参数】。

2.1 配置作业的【CU数量】、【管理单元】与【最大并行数】,依据如下公式:

CU数量 = 管理单元 + (算子总并行数 / 单TM Slot数) * 单TM所占CU数

例如:CU数量为9CU,管理单元为1CU,最大并行数为16,则计算单元为8CU。

如果不手动配置TaskManager资源,则单TM所占CU数默认为1,单TM slot数显示值为0,实际值依据上述公式计算结果为 16÷(9-1)=2。

2.2 勾选【保存作业日志】按钮,选择一个OBS桶。如该桶未授权,需点击【立即授权】。此项配置可以在作业异常失败后将作业日志保存到客户的OBS桶下,方便客户定位故障原因。

2.3 勾选【作业异常告警】选项,选择前

评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值