本文详细介绍了物流项目中数据服务接口的开发，包括实时ETL存储ClickHouse表，实现结构化流应用程序，从Kafka消费数据进行转换并存储。同时，讲解了实时大屏系统的开发，涉及SpringCloud服务接口的构建，用于前端调用展示实时数据。内容涵盖数据源、实时ETL流程、数据服务接口开发和面试中涉及的技术点。
文章目录
- Logistics_Day18：数据服务接口开发
-
- 01-[复习]-上次课程内容回顾
- 02-[了解]-第18天：课程内容提纲
- 03-[掌握]-ClickHouse 分析之实时ETL开发【结构】
- 04-[掌握]-ClickHouse 分析之实时ETL开发【存储】
- 05-[掌握]-ClickHouse 分析之实时ETL开发【测试】
- 06-[掌握]-面试题之结构化流知识点核心概念
- 07-[掌握]-实时大屏系统之大屏指标开发
- 08-[掌握]-实时大屏系统之数据服务接口
- 09-[理解]-实时大屏系统之SpringCloud 服务
- 10-[理解]-实时大屏系统之前端服务启动
- 11-[复习]-物流项目回顾之项目整体概述
- 12-[复习]-物流项目回顾之业务模块【数据源】
- 13-[复习]-物流项目回顾之业务模块【实时ETL存储】
- 14-[复习]-物流项目回顾之业务模块【离线报表及即席查询】
- 15-[复习]-物流项目回顾之业务模块【快递物流查询】
- 16-[复习]-物流项目回顾之业务模块【实时OLAP 分析】
- 17-[复习]-物流项目回顾之核心业务技术点
- 18-[复习]-物流项目回顾之技术面试题
- 19-[复习]-物流项目回顾之项目面试九点准备
- 19-[复习]-物流项目回顾之项目面试九点准备
Logistics_Day18：数据服务接口开发
网址：https://smart.jdwl.com/jh_demo.html
01-[复习]-上次课程内容回顾
主要实现自定义外部数据源：按照SparkSQL提供DataSource API V2实现ClickHouse数据源，可以批量从ClickHouse数据库加载load和保存save数据，以及流式数据保存。
在SparkSQL中，从2.3版本开始，提供DataSource API V2（使用
Java语言开发接口）版本，继承结构示意图如下所示：
- 批量加载数据：
spark.read.format.option.load()- 批量保存数据：
dataframe.write.format.option.save()- 流式数据加载：
spark.readSt
订阅专栏 解锁全文
扫一扫
被折叠的 条评论
为什么被折叠?
到【灌水乐园】发言
