六(2)、sparkstreaming代码出现的一些情况分析
作业流程:
mysql binlog——(steamsets)——>kafka——(sparkstreaming、sparksql)——>redis
除了把结果数据放redis以外,还有把验证数据放redis
如果kafka中堆积很多数据,sparkstreaming一批次消费,导致验证redis里面的数据不准确,导致结果数据错误
运行sparkstreaming的机子获取当前时间A...
原创
2019-08-17 16:57:11 ·
244 阅读 ·
0 评论