今天补数据的时候，发现突然任务运行时间比以往过长。
查看运行状态，发现有一个task运行过长。
解决方法，开启spark.speculation，配置如下：
spark.speculation true
spark.speculation.interval 100：检测周期，单位毫秒；
spark.speculation.quantile 0.75：完成task的百分比时启动推测；
spark.speculation.multiplier 1.5：比其他的慢多少倍时启动推测。
具体参数根据时间测试情况，一般不建议设置，会影响性能。
但是如果是写数据，不要使用推测机制，会出现重复写机制。
版权声明：本文为baifanwudi原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。