flume采集数据到kafka单条数据过大时报错
flume采集数据到kafka单条数据过大时报错：
*
*
java.util.concurrent.ExecutionException:org.apache.kafka.common.errors.RecordTooLargeException:The request included a message larger than the max message size the server will accept
错误，及如下图错误；
解决办法：
说明：当出现以上问题flume会向kakfa不停的发一条重复数据。
1：使用kafka命令
bin/kafka-configs.sh –zookeeper localhost:2181 –alter –topic topicName –config max.message.bytes=10000555【根据实际数据增大这个参数】**，当执行不成功时可以删除当前使用的topic重新创建这个topic或者创建一个新的topic；
2：由于生产环境不能随便删除topic，因为里面有历史数据，博主强力建议创建新的topic来替换历史的topic接收数据；
相关创建命令：
bin/kafka-topic.sh –zookeeper ip:端口… –replication 2 –partition 3 –topic topicName –config max.message.bytes=10000555
【根据实际数据增大这个参数,实在不知道怎么填你就填博主这个。嘿嘿】，核心参数
max.message.bytes
；
3：当然可以在kafka的配置文件增加这个参数，不过在使用的topic是不生效的只有新的topic才生效，博主不建议在配置文件中设置这个参数过大不然会导致整个kafka集群压力过大，具体大家可以看看kafka的相关介绍及源码。
***
希望对你有帮助，如有问题可以联系博主及留言。