千家信息网

kafka Failed to send producer

发表于:2026-10-31 作者:千家信息网编辑
千家信息网最后更新 2026年10月31日,线上环境出现的问题版本:kafka-0.10.2.1现象:2017-11-29/14:45:02.937/CST WARN [kafka.utils.Logging$class.warn(Loggin
千家信息网最后更新 2026年10月31日kafka Failed to send producer

线上环境出现的问题
版本:kafka-0.10.2.1
现象:
2017-11-29/14:45:02.937/CST WARN [kafka.utils.Logging$class.warn(Logging.scala:89)]:Failed to send producer request with correlation id 5 to broker 5 with data for partitions [mm-recommend-dev,2]
java.io.IOException: 断开的管道
at
sun.nio.ch.FileDispatcherImpl.writev0(Native Method)
at
sun.nio.ch.SocketDispatcher.writev(SocketDispatcher.java:51)
at
sun.nio.ch.IOUtil.write(IOUtil.java:148)
at
sun.nio.ch.SocketChannelImpl.write(SocketChannelImpl.java:524)
at java.nio.channels.SocketChannel.write(SocketChannel.java:493)
at kafka.network.BoundedByteBufferSend.writeTo(BoundedByteBufferSend.scala:56)
at kafka.network.Send$class.writeCompletely(Transmission.scala:75)
at kafka.network.BoundedByteBufferSend.writeCompletely(BoundedByteBufferSend.scala:26)
at kafka.network.BlockingChannel.send(BlockingChannel.scala:92)
at kafka.producer.SyncProducer.liftedTree1$1(SyncProducer.scala:72)
at kafka.producer.SyncProducer.kafka$producer$SyncProducer$$doSend(SyncProducer.scala:71)
at kafka.producer.SyncProducer$$anonfun$send$1$$anonfun$apply$mcV$sp$1.apply$mcV$sp(SyncProducer.scala:102)
at kafka.producer.SyncProducer$$anonfun$send$1$$anonfun$apply$mcV$sp$1.apply(SyncProducer.scala:102)
at kafka.producer.SyncProducer$$anonfun$send$1$$anonfun$apply$mcV$sp$1.apply(SyncProducer.scala:102)
at kafka.metrics.KafkaTimer.time(KafkaTimer.scala:33)
at kafka.producer.SyncProducer$$anonfun$send$1.apply$mcV$sp(SyncProducer.scala:101)

解决方法:
修改kafka broker的server.property的配置文件如下:
#加大每一条message的最大值
message.max.bytes 默认为1000000 byte
调整后:
message.max.bytes=5252880
replica.fetch.max.bytes=6252880
request.timeout.ms=600000

[@zw ~]# kafka-topics.sh --alter --topic mm-recommend-dev --config max.message.bytes=5252880 --zookeeper ip:2181/kafka-0.10.2.1-test
WARNING: Altering topic configuration from this script has been deprecated and may be removed in future releases.
Going forward, please use kafka-configs.sh for this functionality
Updated config for topic "mm-recommend-dev".

新的方式
bin/kafka-configs.sh --zookeeper localhost:2181 --entity-type --alter --topic mm-recommend-dev --config max.message.bytes=5252880

最大 文件 方式 方法 最大值 版本 环境 现象 管道 问题 调整 配置 数据库的安全要保护哪些东西 数据库安全各自的含义是什么 生产安全数据库录入 数据库的安全性及管理 数据库安全策略包含哪些 海淀数据库安全审计系统 建立农村房屋安全信息数据库 易用的数据库客户端支持安全管理 连接数据库失败ssl安全错误 数据库的锁怎样保障安全 花魁咖啡 中智农互联网科技 哈尔滨大商圈互联网科技有限公司 互联网科技工作委员会 互联网科技工作委员会毛军 西安互联网科技 西安互联网科技公司 米客互联网科技 长亮科技互联网金融 玖二柒互联网科技公司待遇 青岛中康互联网医疗科技有限公司 厦门比较好的科技互联网公司 语蝶互联网科技有限公司 链环科技传统企业怎么转型互联网 互联网科技扶贫时间 工业互联网等科技实现智能化赋能 无锡工业互联网科技有限公司 工业互联网科技成果转化 平安好医生打造互联网科技医疗 银川新华互联网科技学校招聘 互联网科技有限公司 深圳天众互联网科技公司 互联网科技股有哪些 盛创互联网科技有限公司 荆州市昕露互联网络科技有限公司 未来五年的互联网科技 洛阳共同富裕互联网科技有限公司 福建互联网展示科技馆设计 兰石爱特工业互联网科技分公司 现代科技的标志之一的互联网
0