flink sink到mqtt经常反压

EMQX 版本

EMQX 5.0.7

具体问题

flink作业最后一步在把数据sink到mqtt时经常出现反压,导致服务宕机。去掉sink这一步程序能正常运行。请问这个和emq配置有关系吗

麻烦提供一下 EMQ 的具体版本号和报错日志

EMQ是开源版本5.0.7
EMQ不报错,就是数据发不出去了,sink算子的buffer写满之后压力一步步向上游传到source数据源处,直到source算子的buffer也写满之后,整个服务就宕机了。去掉sink这一步之后这个服务能够一直正常运行。

没有任何日志 和 部署的架构图,分析不了… 有没有更多的信息,对sink不是很了解!

emq是k8s部署。

附件是docker日志
emq.zip (46.4 KB)

这应该是你的订阅客户端被反压了,一条tcp连接处理不过来,可以试试emqx的共享订阅,多建几条连接。