- 博客(102)
- 收藏
- 关注
RSS订阅
2原创 Unrecognized Hadoop major version number: 3.0.0-cdh6.3.2
spark提交job到yarn报错，业务代码比较简单，通过接口调用获取数据，将数据通过sparksql将数据写入hive中，尝试各种替换hadoop版本，最后拿下。2.项目 pom.xml。将相关依赖不打进包中。1.hadoop环境。3.项目集群提交报错。
2023-08-18 10:24:58
1214
原创 Flink-Window详细讲解-countWindow
当每个窗口中的元素数量达到 5 时，将触发计算。这意味着窗口 1 中的计算会在处理 5 个元素后触发，窗口 2 中的计算会在处理 10 个元素后触发。是持续监视整个数据流的元素数量，只有在数据流中的元素数量从不小于 5 变为不小于 10 时，才会再次触发计算。会持续监视整个数据流的元素数量，只有当元素数量达到阈值并且之前没有达到过，才会触发计算。不仅触发一次计算，而是每次在元素数量达到阈值时都会触发计算。：现在，数据流中的元素数量已经超过 5 了，但由于。：当数据流中的元素数量达到 5 时，即。
2023-08-09 13:10:48
1684
原创 Flink-Window详细讲解
Flink 窗口是实时数据处理中的关键概念，它允许您将数据流划分为有限的数据集，然后在这些数据集上执行各种计算和分析操作。不同类型的窗口适用于不同的实时数据处理需求，包括时间窗口、计数窗口和会话窗口等。通过合理地应用窗口操作符和聚合函数，您可以轻松实现实时分析、监控、异常检测等功能，为您的业务提供有价值的见解。无论您是处理大规模实时数据还是简单的数据流，Flink 窗口都是一个强大的工具，可以助您轻松应对各种数据处理挑战。
2023-08-08 14:19:07
1022
原创 检查 CPU 的上下文切换
CPU 上下文切换是操作系统在多任务环境下管理进程的一项关键任务。在现代计算机系统中，有多个进程同时运行，每个进程都需要一定的 CPU 时间来执行其任务。由于 CPU 在某一时刻只能执行一个进程的指令，因此操作系统需要及时切换 CPU 的上下文，将当前运行进程的状态保存下来，并加载下一个要执行的进程的状态，从而实现进程之间的快速切换。
2023-08-01 16:54:02
821
原创 Flink 广播-broadcast
在Apache Flink中，"广播"是一种特殊的数据分发模式，用于将数据从一个并行操作传播到整个作业的所有并行任务中。广播操作对于将少量数据有效地分发给并行任务，以便它们能够共享这些数据而不必进行昂贵的网络通信，是非常有用的。它通常用于将配置信息、静态数据集或参考数据传播给Flink作业中的所有并行任务。广播的主要优势在于，它避免了将数据通过网络发送到所有并行任务的开销，而是直接将数据复制到每个任务的本地内存中。这样，任务可以直接从本地内存访问数据，无需进行远程通信。
2023-07-28 10:33:52
1912
原创 ecs快照恢复
下载的镜像文件为tar包，需要先解压成raw格式使用qemu-img工具将解压后的raw格式镜像转换成vmdk格式，此过程耗时较长qemu-img convert -f 源类型 -O 目标类型 源磁盘映像路径 输出磁盘映像路径 .\qemu-img-win-x64-2_3_0\qemu-img.exe convert -f raw D:\vmdk\121_m-2zegvd8n8uctbren6cq9_system.raw -O vmdk D:\vmdk\centos121.vmdk创建新的虚拟机。
2023-07-24 15:49:04
902
原创 部署 StarRocks Operator
starRocks Operator 会部署至 Namespace starrocks，并且管理所有 Namespace 下的 StarRocks 集群。3.部署 StarRocks 集群它会先创建启动fe，然后再启动be；此处使用官方提供的 starrocks-fe-and-be.yaml配置文件，部署一个 StarRocks 集群，包含三个 FE 和三个 BE 节点。
2023-07-24 15:26:52
175
原创 streamx平台部署
StreamPark 总体组件栈架构如下， 由 streampark-core 和 streampark-console 两个大的部分组成 , streampark-console 是一个非常重要的模块, 定位是一个综合实时数据平台，流式数仓平台, 低代码 ( Low Code ), Flink & Spark 任务托管平台，可以较好的管理 Flink 任务，集成了项目编译、发布、参数配置、启动、savepoint，火焰图 ( flame graph )，Flink SQL
2023-04-25 14:40:29
1003
原创 编译后的hue 替换cdh默认版本hue步骤
基于hue源码编译的hue 进行替换cdh6.x.x默认带的hue版本，主要解决hue滚动条 拉的时候，一下就到末尾的bug，通过源码编译githu上的hue解决问题。
2023-04-19 13:42:15
498
原创 hue源码编译，替换cloudera manage hue，解决hue滚动条bug问题
hue源码编译，替换cloudera manage hue，解决hue滚动条bug问题
2023-04-19 13:32:39
401
StateBackend performance improvement with TerarkDB-final.pdf
2023-03-21
Single Task Recovery and Regional Checkpoin.pdf
2023-03-21
Flink Unaligned Checkpoint 在 Shopee 的优化和实践.pdf
2023-03-21
Flink Shuffle 3.0 Vision, Roadmap and Progress.pdf
2023-03-21
Flink OLAP Improvement of Resource Management and Runtime.pdf
2023-03-21
空空如也
TA创建的收藏夹 TA关注的收藏夹
TA关注的人