（五）Flink Sink 数据输出

已于 2024-08-20 11:24:04 修改
阅读量392 收藏
点赞数
分类专栏： Flink全景解析 文章标签： flink 大数据 实时数据 开发语言
于 2024-08-19 15:37:48 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/springk/article/details/141326035
版权

经过上面的 Transformation 操作之后，最终形成用户所需要的结果数据集。通常情况下，用户希望将结果数据输出到外部存储介质或者传输到下游的消息中间件中，在 Flink 中，将 DataStream 数据输出到外部系统的过程被定义为 Sink 操作。

目录

（一）基本数据输出

（二）第三方数据输出

（三）自定义输出

（一）基本数据输出

  • writeAsText( ) ：将元素转为 String 类型按行写入外部输出。
  • writeAsSocket( ) ：将元素写入 Socket
  • writeAsCsv( ) ：将元素写入文本

了解本专栏 订阅专栏 解锁全文
flink重温笔记（六）：Flink 流批一体 API 开发—— 数据输出 sink
m0_60732994的博客
02-17 1604
今天是学习 flink 的第七天啦！学习了 flink 中 sink（数据槽） 部分知识点，这一部分只要是解决数据处理之后，数据到哪里去的问题，我觉得 flink 知识点虽然比较难理解，但是代码跑通后，逻辑还是比较有趣的！Tips：毛爷爷说过：“宜将剩勇追穷寇，不可沽名学霸王！”明天周日除了复习前面知识点之外，也要继续努力学习接下来的知识点，继续加油！
Flink常见输出（sink）算子使用教程（DataStream API）
最新发布
SunnyRivers
08-22 183
一个 Flink 程序，其实就是对 DataStream 的各种转换。具体来说，代码基本上都由以下几部分构成，获取执行环境（execution environment）读取数据源（source）定义基于数据的转换操作（transformations）定义计算结果的输出位置（sink）触发程序执行（execute）Flink 作为数据处理框架，最终还是要把计算处理的结果写入外部存储，为外部应用提供支持，如上图所示。
Flink-- 数据输出Data Sinks
05-20 214
flink在批处理中常见的sink 1.基于本地集合的sink（Collection-based-sink） 2.基于文件的sink（File-based-sink） 基于本地集合的sink（Collection-based-sink） //1.定义环境 val env = ExecutionEnvironment.getExecutionEnvironme...
Flink--6、输出算子（连接到外部系统、文件、kafka、MySQL、自定义Sink）
星光不问赶路人，岁月不负有心人
09-26 1265
输出算子（连接到外部系统、文件、kafka、MySQL、自定义Sink）
Flink教程4_Sink输出
959
03-18 2539
文章目录1.输出到File文件2.输出到Kafka中3.输出到Mysql中 1.输出到File文件 public class SinkTest01 { public static void main(String[] args) throws Exception { StreamExecutionEnvironment environment = StreamExecutionEnvironment.getExecutionEnvironment(); environ
Flink（七）【输出算子（Sink）】
功不唐捐，玉汝于成
11-18 2500
Flink Sink输出算子
flink Sink kafka，flink 写入数据到 kafka 后，数据过一段时间自动删除
xhaoDream的博客
09-08 914
kafka 中的数据写入后消失问题排查、解决
Flink多sink输出
热门推荐
zxczb的博客
06-01 1万+
Flink多sink Flink单一流多sink 通过OutputTag侧输出多个计算结果(同一结果对象需要进行copy再设置至侧输出流, 暂不支持同对象多次输出)进行sink Flink多阶段sink 通过OutputTag侧输出第一次计算结果进行sink 主流继续计算, 最后再sink package com.gin.demo; import lombok.*; import org.apache.flink.api.common.functions.MapFunction; import org.a
Flink输出算子Sink
Hardhen的博客
02-07 1528
滚动”的概念在日志文件的写入中经常遇到：因为文件会有内容持续不断地写入，所以我们应该给一个标准，到什么时候就开启新的文件，将之前的内容归档保存。StreamingFileSink 支持行编码（Row-encoded）和批量编码（Bulk-encoded，比如Parquet）格式。（basePath）和数据的编码逻辑（rowEncoder 或 bulkWriterFactory）。在创建行或批量编码Sink 时，我们需要传入两个参数，用来指定存储桶的基本路径。文件大小已达到1 GB。
Flink 1.17教程：输出算子之自定义Sink输出
学亮编程手记
09-07 562
如果我们想将数据存储到我们自己的存储设备中，而Flink并没有提供可以直接使用的连接器，就只能自定义Sink进行输出了。与Source类似，Flink为我们提供了通用的SinkFunction接口和对应的RichSinkDunction抽象类，只要实现它，通过简单地调用DataStream的.addSink()方法就可以自定义写入任何外部存储。在实现SinkFunction的时候，需要重写的一个关键方法invoke()，在这个方法中我们就可以实现将流里的数据发送出去的逻辑。
Flink之输出算子 （Sink）
四维大脑的博客
04-24 5299
Flink 作为数据处理框架，最终还是要把计算处理的结果写入外部存储，为外部应用提供支持。我们已经了解了 Flink 程序如何对数据进行读取、转换等操作，最后一步当然就应该将结果数据保存或输出到外部系统了。
Flink之输出算子Data Sink
积跬步，至千里。
10-20 753
在Apache Flink中，输出算子Data Sink用于将数据流发送到外部系统或存储介质中，如数据库、消息队列、文件系统等。输出算子是数据流处理的最后一步，它决定了数据的最终去向。
Flink---各种输出（Sink）
shall潇の菜园
06-28 1277
文章目录一、kafka二、MySQL 一、kafka import Flink.beans.SensorReading; import org.apache.flink.api.common.serialization.SimpleStringSchema; import org.apache.flink.streaming.api.datastream.DataStreamSink; import org.apache.flink.streaming.api.datastream.DataStreamSo
flink 各种输出sink
jokertiger的博客
06-29 208
文章目录pom.xml1. kafak2.Mysql3.RedisCollection pom.xml <dependency> <groupId>org.apache.flink</groupId> <artifactId>flink-java</artifactId> <version>1.10.1</version> </dependency> <
数聚力 | 带你走进Flink流计算的世界
JDDTechTalk的博客
08-02 196
点击「京东金融技术说」可快速关注「摘要」随着互联网企业从粗放式运营向精细化运营过渡，随时随地的查看业务数据，灵活指导运营决策，成为业务人员的高频需求。数聚力定位于数据化运营工具，满足了数...
【Flink】DataStream API使用之输出算子（Sink）
菜鸟sdut的博客
06-06 1171
如果Flink提供的Sink不满足自己的要求，也可以通过自定义Sink来满足自己的要求，通过Flink提供的接口和对应的抽象类重写invoke()就可以自定义Sink。这里以Hbase为例，使用，创建Hbase的连接以及关闭Hbase的连接分别放到open和close方法中。
Flink- 物理分区、Sink输出
dafsq的博客
03-22 871
Flink- 物理分区、Sink输出
[flink 实时流基础] 输出算子（Sink）
程序员三木的博客
03-31 2304
如果我们想将数据存储到我们自己的存储设备中，而Flink并没有提供可以直接使用的连接器，就只能自定义Sink进行输出了。与Source类似，Flink为我们提供了通用的SinkFunction接口和对应的RichSinkDunction抽象类，只要实现它，通过简单地调用DataStream的.addSink()方法就可以自定义写入任何外部存储。在实现SinkFunction的时候，需要重写的一个关键方法invoke()，在这个方法中我们就可以实现将流里的数据发送出去的逻辑。
Flink流处理APi(sink端输出操作)
徐磊的博客
02-07 1048
一、Flink输出到Kafka kafkaUtill连接kafka工具类 package com.sinkkafka import org.apache.flink.api.common.serialization.SimpleStringSchema import org.apache.flink.streaming.connectors.kafka.FlinkKafkaProducer011...
Flink连接Redis Sink支持数据过期时间增强版
这个软件包的目的是允许Apache Flink应用与Redis数据库进行集成，充当数据输出的接收器（sink）。其特别之处在于支持了带有过期时间的数据项的处理，这在旧版本Flink中是无法做到的。这样，当数据项被存储到Redis时...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包

打赏作者

springk

你的鼓励将是我创作的最大动力

¥1 ¥2 ¥4 ¥6 ¥10 ¥20
扫码支付：¥1
获取中
扫码支付

您的余额不足，请更换扫码支付或充值

打赏作者

实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值