错误信息：ERROR StreamMetadata：Error writing stream metadata StreamMetadata...

最新推荐文章于 2024-04-26 09:51:23 发布
最新推荐文章于 2024-04-26 09:51:23 发布
阅读量862 收藏
点赞数 1
分类专栏： hadoop spark 文章标签： hadoop
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/godlovedaniel/article/details/114374954
版权

错误信息：ERROR StreamMetadata：Error writing stream metadata StreamMetadata...

2021-03-04 12:44:36 ERROR StreamMetadata:91 - Error writing stream metadata StreamMetadata(560a0eee-4f40-4754-ae1b-30f3763e8214) to C:/Users/Dandan/AppData/Local/Temp/temporary-e651f61c-b624-4106-9603-d1cee00858cd/metadata
java.lang.NullPointerException
	at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012)
	at org.apache.hadoop.util.Shell.runCommand(Shell.java:404)
	at org.apache.hadoop.util.Shell.run(Shell.java:379)
	at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589)
	at org.apache.hadoop.util.Shell.execCommand(Shell.java:678)
	at org.apache.hadoop.util.Shell.execCommand(Shell.java:661)
	at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:639)
	at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:468)
	at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:456)
	at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:424)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:905)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:886)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:783)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:772)
	at org.apache.spark.sql.execution.streaming.StreamMetadata$.write(StreamMetadata.scala:76)
	at org.apache.spark.sql.execution.streaming.StreamExecution$$anonfun$6.apply(StreamExecution.scala:107)
	at org.apache.spark.sql.execution.streaming.StreamExecution$$anonfun$6.apply(StreamExecution.scala:105)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.sql.execution.streaming.StreamExecution.<init>(StreamExecution.scala:105)
	at org.apache.spark.sql.streaming.StreamingQueryManager.createQuery(StreamingQueryManager.scala:242)
	at org.apache.spark.sql.streaming.StreamingQueryManager.startQuery(StreamingQueryManager.scala:280)
	at org.apache.spark.sql.streaming.DataStreamWriter.start(DataStreamWriter.scala:268)
	at com.jiaxun.iot.phm.app.sparkstreaming.processor.PHMIoTEventMainStreamController.processEvent(PHMIoTEventMainStreamController.java:323)
	at com.jiaxun.iot.phm.app.sparkstreaming.processor.PHMIoTEventMainStreamController.main(PHMIoTEventMainStreamController.java:61)
Exception in thread "main" java.lang.NullPointerException
	at java.lang.ProcessBuilder.start(ProcessBuilder.java:1012)
	at org.apache.hadoop.util.Shell.runCommand(Shell.java:404)
	at org.apache.hadoop.util.Shell.run(Shell.java:379)
	at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:589)
	at org.apache.hadoop.util.Shell.execCommand(Shell.java:678)
	at org.apache.hadoop.util.Shell.execCommand(Shell.java:661)
	at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:639)
	at org.apache.hadoop.fs.FilterFileSystem.setPermission(FilterFileSystem.java:468)
	at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:456)
	at org.apache.hadoop.fs.ChecksumFileSystem.create(ChecksumFileSystem.java:424)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:905)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:886)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:783)
	at org.apache.hadoop.fs.FileSystem.create(FileSystem.java:772)
	at org.apache.spark.sql.execution.streaming.StreamMetadata$.write(StreamMetadata.scala:76)
	at org.apache.spark.sql.execution.streaming.StreamExecution$$anonfun$6.apply(StreamExecution.scala:107)
	at org.apache.spark.sql.execution.streaming.StreamExecution$$anonfun$6.apply(StreamExecution.scala:105)
	at scala.Option.getOrElse(Option.scala:121)
	at org.apache.spark.sql.execution.streaming.StreamExecution.<init>(StreamExecution.scala:105)
	at org.apache.spark.sql.streaming.StreamingQueryManager.createQuery(StreamingQueryManager.scala:242)
	at org.apache.spark.sql.streaming.StreamingQueryManager.startQuery(StreamingQueryManager.scala:280)
	at org.apache.spark.sql.streaming.DataStreamWriter.start(DataStreamWriter.scala:268)
	at com.jiaxun.iot.phm.app.sparkstreaming.processor.PHMIoTEventMainStreamController.processEvent(PHMIoTEventMainStreamController.java:323)
	at com.jiaxun.iot.phm.app.sparkstreaming.processor.PHMIoTEventMainStreamController.main(PHMIoTEventMainStreamController.java:61)
2021-03-04 12:44:36 ERROR ShutdownHookManager:91 - Exception while deleting Spark temp dir: C:\Users\Dandan\AppData\Local\Temp\temporary-e651f61c-b624-4106-9603-d1cee00858cd
java.io.IOException: Failed to delete: C:\Users\Dandan\AppData\Local\Temp\temporary-e651f61c-b624-4106-9603-d1cee00858cd
	at org.apache.spark.util.Utils$.deleteRecursively(Utils.scala:1010)
	at org.apache.spark.util.ShutdownHookManager$$anonfun$1$$anonfun$apply$mcV$sp$3.apply(ShutdownHookManager.scala:65)
	at org.apache.spark.util.ShutdownHookManager$$anonfun$1$$anonfun$apply$mcV$sp$3.apply(ShutdownHookManager.scala:62)
	at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:33)
	at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:186)
	at org.apache.spark.util.ShutdownHookManager$$anonfun$1.apply$mcV$sp(ShutdownHookManager.scala:62)
	at org.apache.spark.util.SparkShutdownHook.run(ShutdownHookManager.scala:216)
	at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1$$anonfun$apply$mcV$sp$1.apply$mcV$sp(ShutdownHookManager.scala:188)
	at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1$$anonfun$apply$mcV$sp$1.apply(ShutdownHookManager.scala:188)
	at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1$$anonfun$apply$mcV$sp$1.apply(ShutdownHookManager.scala:188)
	at org.apache.spark.util.Utils$.logUncaughtExceptions(Utils.scala:1951)
	at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1.apply$mcV$sp(ShutdownHookManager.scala:188)
	at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1.apply(ShutdownHookManager.scala:188)
	at org.apache.spark.util.SparkShutdownHookManager$$anonfun$runAll$1.apply(ShutdownHookManager.scala:188)
	at scala.util.Try$.apply(Try.scala:192)
	at org.apache.spark.util.SparkShutdownHookManager.runAll(ShutdownHookManager.scala:188)
	at org.apache.spark.util.SparkShutdownHookManager$$anon$2.run(ShutdownHookManager.scala:178)
	at org.apache.hadoop.util.ShutdownHookManager$1.run(ShutdownHookManager.java:54)

Process finished with exit code 1

主要原因电脑配置环境缺hadoop.ddl文件

下载一个 hadoop.dll 放到   C:\Windows\System32 这里就行了

链接：https://pan.baidu.com/s/15hn3VYMLVPcGlinGfLq4nA 
提取码：786k

重新执行后运行成功

 

 

【Spark】Spark 报错 error writing stream metadata exitcode=1073741515
九师兄
04-21 629
1.场景1 根据博客： https://blog.csdn.net/psp0001060/article/details/83057663 https://blog.csdn.net/lxpqxl/article/details/105553803 两个博客都为解决
Flink 写入记录到 StreamLoad 失败的报错
ByteHackerX的博客
09-02 677
当尝试使用 StreamLoad 将记录写入外部系统时，如果出现错误，则会抛出 “Writing records to streamload failed” 的异常。通过以上步骤，您可以检查外部系统的状态，验证记录的格式，并根据需要调整写入速率，以解决 “Writing records to streamload failed” 错误。3.2 检查记录格式：检查要写入外部系统的记录的格式，确保其与外部系统的要求相匹配。根据外部系统的文档或要求，验证记录中的字段是否正确，并处理任何格式错误。
错误信息：ERROR StreamMetadata：Error writing stream metadata StreamMetadata...
lxpqxl的博客
04-16 2527
错误信息：ERRORStreamMetadata：ErrorwritingstreammetadataStreamMetadata... 原因（很多种，我的是这样）：电脑配置环境缺东西 下载一个hadoop.dll放到 C:\Windows\System32这里就行了 链接：https://pan.baidu.com/s/15hn3VYMLVPcGlinGf...
error while writing to output stream
weixin_46587777的博客
12-20 757
cairo error 'error while writing to output stream'，unable to start device 'cairo_pdf'
java呈现pdf时出错,java 导出pdf wkhtmltopdf 载入PDF时发生错误 stream must have data
weixin_39609503的博客
03-15 9357
原理是把需要填充打印的内容填充到freemarker模板文件ftl，然后生成html文件，然后java调用cmd命令行把html生成pdf。总结起来就是一次填充两次写文件流一次读文件。// 创建配置Configuration cfg = new Configuration(new Version(2, 3, 0));Process p = null;try {// 指定模板存放的路径cfg.set...
Structured Streaming
leezsj的博客
08-24 351
Structured Streaming Structured Streaming 是 Spark Streaming 的进化版, 如果了解了 Spark 的各⽅⾯的进化过程, 有助于理 解 Structured Streaming 的使命和作⽤ \1. Spark 的 API 进化过程 \2. Spark 的序列化进化过程 \3. Spark Streaming 和 Structured Streaming Spark 编程模型的进化过程 ⽬标 Spark 的进化过程中, ⼀个⾮常重要的组
hadoop本地模式运行报错解决(Exception in thread main ExitCodeException exitCode=-1073741701)
qew110123的专栏
05-19 1734
如标题 Error writing stream metadata StreamMetadata(1b80132f-e576-4cbc-be60-e48a1e3fa96b) to file:/C:/Users/admin/AppData/Local/Temp/temporary-8687c9c8-5662-49ae-af09-edf8e828c18b/metadata ExitCodeException exitCode=-1073741701: Error writing stream metad
ffprobe version 7.0.2-essentials_build-www.gyan.dev Copyright (c) 2007-2024 the FFmpeg developers built with gcc 13.2.0 (Rev5, Built by MSYS2 project) configuration: --enable-gpl --enable-version3 --enable-static --disable-w32threads --disable-autodetect --enable-fontconfig --enable-iconv --enable-gnutls --enable-libxml2 --enable-gmp --enable-bzlib --enable-lzma --enable-zlib --enable-libsrt --enable-libssh --enable-libzmq --enable-avisynth --enable-sdl2 --enable-libwebp --enable-libx264 --enable-libx265 --enable-libxvid --enable-libaom --enable-libopenjpeg --enable-libvpx --enable-mediafoundation --enable-libass --enable-libfreetype --enable-libfribidi --enable-libharfbuzz --enable-libvidstab --enable-libvmaf --enable-libzimg --enable-amf --enable-cuda-llvm --enable-cuvid --enable-dxva2 --enable-d3d11va --enable-d3d12va --enable-ffnvcodec --enable-libvpl --enable-nvdec --enable-nvenc --enable-vaapi --enable-libgme --enable-libopenmpt --enable-libopencore-amrwb --enable-libmp3lame --enable-libtheora --enable-libvo-amrwbenc --enable-libgsm --enable-libopencore-amrnb --enable-libopus --enable-libspeex --enable-libvorbis --enable-librubberband libavutil 59. 8.100 / 59. 8.100 libavcodec 61. 3.100 / 61. 3.100 libavformat 61. 1.100 / 61. 1.100 libavdevice 61. 1.100 / 61. 1.100 libavfilter 10. 1.100 / 10. 1.100 libswscale 8. 1.100 / 8. 1.100 libswresample 5. 1.100 / 5. 1.100 libpostproc 58. 1.100 / 58. 1.100 Input #0, matroska,webm, from 'fina1.mkv': Metadata: ENCODER : Lavf61.1.100 Duration: 01:54:49.84, start: 0.000000, bitrate: 2475 kb/s Stream #0:0: Video: hevc (Main 10), yuv420p10le(tv, bt709/unknown/unknown), 1920x1080, SAR 1:1 DAR 16:9, 23.98 fps, 23.98 tbr, 1k tbn (default) Metadata: BPS-eng : 2377641 DURATION-eng : 01:54:49.800000000 NUMBER_OF_FRAMES-eng: 165190 NUMBER_OF_BYTES-eng: 2047684608 _STATISTICS_WRITING_APP-eng: mkvmerge v26.0.0 ('In The Game') 64-bit _STATISTICS_WRITING_DATE_UTC-eng: 2020-09-24 03:36:23 _STATISTICS_TAGS-eng: BPS DURATION NUMBER_OF_FRAMES NUMBER_OF_BYTES DURATION : 01:54:49.802000000 Stream #0:1: Audio: vorbis, 48000 Hz, stereo, fltp Metadata: ENCODER : Lavc61.3.100 libvorbis DURATION : 01:54:49.838000000出现上述后如何处理
最新发布
03-19
ffprobe -v error -show_streams -select_streams a input.aac ``` - 若输出 `codec_name=aac`，说明原始音频确实是 AAC； - 若输出 `codec_name=vorbis`，则原始音频本身是 Vorbis（需修正输入文件）。 --- #### ...
spark错误集锦
chanyue123的博客
04-26 1283
spark遇到的错误 持续更新
php使用weiboad/kafka-php推送错误Could not write xxx bytes to stream解决
jeevi的博客
05-28 1472
线上使用php的客户端是 https://github.com/weiboad/kafka-php 版本:dev-master 线上经常报错误: Could not write 1422 bytes to stream 追查源码后发现在CommonSocket.php 文件中 writeBlocking方法 public function writeBlocking(string $buffer...
PostgreSQL 异常排查：流读取时出现异常
XwlyVue的博客
09-14 1885
当在 .NET Core 中使用 PostgreSQL 数据库读取流时遇到异常时，需要检查与数据库的连接是否正常、是否存在读取超时、是否有足够的权限、数据类型是否匹配以及查询语句是否正确。在使用 .NET Core 与 PostgreSQL 数据库进行开发时，有时候可能会遇到在读取流时出现异常的情况。另一个可能的原因是数据库用户没有足够的权限来执行所需的操作。确保数据库用户具有正确的权限，可以尝试使用具有更高权限的用户来进行测试。如果在读取流时遇到异常，可能是因为流中的数据类型与代码中期望的类型不匹配。
apktool打包遇到org.jf.util.ExceptionWithContext: Error while writing instruction at code offset 0x13
Sim的博客
12-01 1958
apktool 回编译时出现如下错误： D:\qytx_pack\FusionPack>apktool b -f game -o 1.apk I: Using Apktool 2.3.4 I: Smaling smali folder into classes.dex... Exception in thread "main" org.jf.util.ExceptionWithContext: Exception occurred while writing code_item for method
[pravega-015] pravega源码分析--Controller子项目--ControllerServiceStarter启动的服务--StreamMetadataStore
大数据和机器学习研究
02-25 620
1. starter启动的第三个服务 StreamMetadataStore。变量对象是 streamStore。 2. StreamMetadataStore是接口，提供对scope和stream的meta数据进行操作的函数，比如创建scope、创建stream、查询stream和scope的创建信息、删除scope和stream等等。 3. StreamMetadataStore是接口有两...
StreamingResponseBody-处理Servlet异步I/O请求
芥末鱿鱼~的博客
07-05 3989
StreamingResponseBody-处理Servlet异步请求 StreamingResponseBody是Spring 4.2版本添加的一个新的接口，在Controller里处理输出流时非常有用。 我们在java中创建I/O输入输出流时，一般用完流后都要关闭流，但是在Controller里面，处理Http request是异步的，这个时候如果往request里写入流的时候，我们无法确...
关于TypeError: write() argument must be str, not bytes报错的解决办法
Cr_NanMao的博客
08-07 1257
关于TypeError: write() argument must be str, not bytes报错的解决办法
structed streaming基础---跳过的坑
weixin_30797027的博客
09-20 1106
1.spark structed streaming 报如图下面的错误 在pom.xml加这个配置即可 <spark.version>2.3.0</spark.version> <scala.version>2.11</scala.version> <dependency> <groupId&gt...
StructuredStreaming -- 01 【概述，编程模型，source，sink】
xiaoxiao______的博客
12-09 1064
文章目录Structured Streaming1、 回顾1.1、Spark 编程模型的进化过程总结1.2、Spark 的 序列化 的进化过程1.2.1、 什么是序列化和序列化?1.2.2、 在 `Spark` 中的序列化和反序列化的应用场景1.2.3、 RDD 的序列化1.2.4、 DataFrame 和 Dataset 中的序列化总结1.3、Spark Streaming 和 Structured Streaming2、 Structured Streaming 入门案例2.1、需求梳理2.2、 代码实
#define 应用 解决error: #28: expression must have a constant value
热门推荐
轻草的博客
11-02 1万+
错误代码如下： 提示这两个要是常数，但是我下面的程序写的都是这两个变量； 然后我尝试： USART2_MAX_RECV_LEN = 64； 直接给他赋值，这里的两个变量好像是直接读数值，而不是读地址里的数值，所以你只能重新定义这两个变量，让这两个变量直接变成值。 在上面语句前添加这两句就解决了，下面的代码也不用改了！！ ...
评论 1
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值