【kafka处理超大消息的配置 org.apache.kafka.common.errors.RecordTooLargeException】在使用 canal 和kafka处理数据同步时canal日志提示如下异常:
java.lang.RuntimeException: java.util.concurrent.ExecutionException: org.apache.kafka.common.errors.RecordTooLargeException: The request included a message larger than the max message size the server will accept
原因是消息过大无法处理
第一步:修改 canal/conf/canal.properties配置(我在原有基础上加了一个0,可能需要更合适的数量级)
canal.mq.maxRequestSize = 10485760
第二步:修改kafka/config/producer.properties
max.request.size=12695150
修改kafka/config/server.properties
message.max.bytes=12695150
文章图片
第三步:重启服务
推荐阅读
- 异常处理
- Tomcat启动不了的原因(本地计算机上的Apache Tomcat 服务启动后又停止了)
- 项目中 Integer.valueOf("")抛出了异常,所联想到的
- 微信开发 发送模板消息异常-------{"errcode":40103,"errmsg":"invalid industry index"}