博客

yarn 错误总结

  • Post author:
  • Post category:其他


  • resourceManager HA配置，界面YARN NodeManager 8042 yarn.nodemanager.webapp.address http服务端口为localhost

解决：yarn-site.xml中 

<property>
      <name>yarn.nodemanager.webapp.address</name>
       <value>henghe-053:8042</value>
</property>

注：集群中的主机名不同

  • 无法输入主机:8088,并且从备机跳转不到主resourceManager

解决：yarn-site.xml中 

 <property>
    <name>yarn.resourcemanager.webapp.address.rm1</name>
    <value>henghe-051:8088</value>
</property>

<property>
    <name>yarn.resourcemanager.webapp.address.rm2</name>
    <value>henghe-052:8088</value>
</property>

  • container 被kill掉了

解决：yarn-sit.xml中增大 yarn.scheduler.maximum-allocation-mb

<property>

<name>yarn.scheduler.maximum-allocation-mb</name>

<value>8192</value>

</property>

  • yarn中单个任务的大小配置
  • mapreduce中
mapreduce.map.memory.mb 置的是 Container 的内存上限，这个参数由 NodeManager 读取并进行控制
mapreduce.map.java.opts 启动 JVM 虚拟机时，传递给虚拟机的启动参数
mapreduce.reduce.memory.mb 置的是 Container 的内存上限，这个参数由 NodeManager 读取并进行控制
mapreduce.reduce.java.opts 启动 JVM 虚拟机时，传递给虚拟机的启动参数

mapreduce.map.java.opts一定要小于mapreduce.map.memory.mb

mapreduce.map.memory.mb不要超过yarn.scheduler.maximum-allocation-mb大小


版权声明：本文为qq_24186017原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。