学习记录_springboot_flink

Anla Likes Sunshine

已于 2022-02-17 18:58:11 修改

阅读量962

点赞数

分类专栏：大数据文章标签：学习 spring boot flink

于 2022-02-16 17:36:41 首次发布

本文链接：https://blog.csdn.net/AnlaGodness/article/details/122877308

版权

大数据专栏收录该内容

48 篇文章

订阅专栏

本文介绍了如何在Maven中跳过测试用例执行，使用Linux命令全局搜索内容，以及在Impala上查询表分区的方法。此外，还展示了FlinkSQL的一个示例，并讨论了Flink任务中数据丢失的恢复策略，包括设置时间戳恢复参数。

摘要生成于 C知道，由 DeepSeek-R1 满血版支持，前往体验 >

1、maven-surefire-plugin是maven里执行测试用例的插件，不显示配置就会用默认配置。maven打包如何跳过test用例，mvn clean package -Dmaven.test.skip=true ，或者在这里插入图片描述

详细说明链接：学习Maven之Maven Surefire Plugin(JUnit篇)

2、Linux 如何在某路径下全局查找某内容，如 zouwh：grep "zouwh" ./* -rwnH

3、impala上查询表分区，可看到存储路径： show partitions table_nale; 注意，外部表&分区表如果各个分区的数据来源不一样，show create table 得到的 hdfs路径是空的，可通过该命令得到各分区实际数据路径。

4、比较有意思的flink sql:

SELECT order_id, price FROM (VALUES (1, 2.0), (2, 3.1))  AS t (order_id, price)

5、Flink任务，同一维度粒度，sink到holo的数据量和kafka source数据量不一致，即发生数据丢失，如何处理？这次发生丢失应该是由于 holo热升级导致的，是同一时间段发生的。
查询出什么时间的数据发生丢失，从最早丢失的时间开始重新消费，具体配置调整为：

  ,'scan.startup.mode' = 'timestamp'
  ,'scan.startup.timestamp-millis'= '1644991200000' --2022-02-16 14:00:00 用于数据恢复,重新启动需要重新修改参数
  --,'scan.startup.mode' = 'group-offsets' --生产

时间戳可从链接获取：时间戳获取