【spark报错】 java.util.concurrent.TimeoutException: Futures timed out after [300]

  • Post author:
  • Post category:java


问题:spark Exception in thread "main" java.util.concurrent.TimeoutException: Futures timed out after [300]

在运行spark任务时,如果提示上述错误,可以分三步逐步排错:

1)首先check你提交任务时的参数,一般情况下

提高excutor的个数

就可以避免这种错误;

2)若1不行,就得改配置了。可以改下defalut conf,将超时改长;在spark-summit 提交命令时加上–conf spark.network.timeout=1800(当然可以根据你的需要给相应的值)

3)  若2不行,可以考虑是否是时间不一致的问题。需要同步时钟,并且设置一个crontab 每分钟同步一次时间;



版权声明:本文为xlh198803原创文章,遵循 CC 4.0 BY-SA 版权协议,转载请附上原文出处链接和本声明。