Error:spark streaming 的textFileStream读取不了数据 ,即:在目录中创建文件,但是在streaming程序中是没有读取对应数据

  • Post author:
  • Post category:其他


1.现象

SparkStreaming从本地文件夹”..\WorkspaceforMyeclipse\scalaProjectMaven\datas”中读取数据,并进行DStream/RDD处理,但是,在datas中创建文件并且写入文字,程序都无法读取。

2.原因:

SparkStreaming需要读取流式的数据,而不能直接从datas文件夹中创建。

3.解决:

创建文件 test.log并写入测试数据,然后在cmd窗口,使用cp命令将文件复制到datas文件夹中,然后SparkStreaming即可读取其中的数据。

cp .\test.log .\datas\



版权声明:本文为u010886217原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。