big data tools 远程连接hdfs的步骤及问题总结

  • Post author:
  • Post category:其他




big data tools 远程连接hdfs的步骤及问题总结



1. 连接步骤

参考文章:https://blog.csdn.net/qq_44930688/article/details/105758757



问题一 Hdfs Unable to load native-hadoop library


说明:

这个问题就是表示我们本地系统没有hadoop环境,缺少winutils.exe程序,我们需要在自己的电脑上安装一下这个插件,并且配置好hadoop的环境变量


注意

:winutils.exe的版本号一定要和使用的hadoop版本号保持一致!!!有两种解决方式:

  1. 下载地址1:https://github.com/steveloughran/winutils
  2. 下载地址2:https://gitee.com/sujemson/winutils


参考文章:

https://blog.csdn.net/luomo0203/article/details/122116326



问题二 Home info is not found


说明:

这个问题可以说是big data tools 的一个小bug,它需要远程连接的hdfs节点的内容不能为空,所以在远程的hdfs创建一个文件夹就好了

image-20220609151733535



版权声明:本文为weixin_49639753原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。