5.0.24搭建两节点集群转发kafka 2.5

环境:pc机I5 三台内存8G做了一个集群测试,两个emqx组建集群(前面有一个nginx做负载均衡)将消息转发到kafka,中间有一个java开发的kafka生产者,启动一个grpc服务接入emqx的exhook来接收消息之后将消息写入kafka,kafka主题分三个区分别放在三台pc上,其余服务开始消费这个kafka主题进行业务处理。

通过上述环境搭建用mqtt-bench工具进行压力测试结果为:2500个连接 30000/秒 消息,在这个基础上请问如何提高qps,从哪入手?


增加生产者

还能再打得更高么? CPU 占用是什么情况?

这是当时kafk性能监控截图,CPU占用很低,网络idel没什么波动,感觉这种方式向kakfa写入没起到什么大的动静,我试过用emqx-banch打得更高后从emqx监控指标来看就稳不起了,我也想找到打得更高的方法。

补充一点,emqx2kafka采用的是异步写入大缓存配置,这是nacos里的配置参数截图,请指正不足之处

EMQX 节点的 CPU 占用情况呢?我一般的推测是 Exhook 可能存在性能瓶颈导致消息吞吐上不去