本文详细解读了 Flink 1.11 版本的重要更新，包括集群和部署的改进，如支持 Hadoop 3.0 及以上版本，移除 LegacyScheduler；内存管理的变更，如 JobManager 的新内存模型；Table API/SQL 的改进，如 Blink planner 成为默认 planner；配置、状态、PyFlink、监控、Connectors 及 Runtime 的多项改动。这些变更影响了 Flink 的部署、内存配置、API 使用等多个方面，建议开发者查阅官方文档以适应新版本。
集群和部署
-
支持 Hadoop 3.0 及更高的版本：Flink 不再提供任何
flink-shaded-hadoop-依赖。用户可以通过配置 HADOOP_CLASSPATH 环境变量(推荐)或在 lib 文件夹下放入 Hadoop 依赖项。另外include-hadoopMaven profile 也已经被移除了。 -
移除了 LegacyScheduler：Flink 不再支持 legacy scheduler，如果你设置了
jobmanager.scheduler: legacy将不再起作用并且会抛出 IllegalArgumentException 异常，该参数的默认值并且是唯一选项为 ng。 -
将用户代码的类加载器和 slot 的生命周期进行绑定：只要为单个作业分配了至少一个 slot，TaskManager 就会重新使用用户代码的类加载器。这会稍微改变 Flink 的恢复行为，从而不会重新加载静态字段。这样做的好处是，可以大大减轻对 JVM metaspace 的压力。
-
slave 文件重命名为 workers：对于 Standalone 模式安装，worker 节点文件不再是 slaves 而是 workers，以前使用
start-clu
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
