环境:pc机I5 三台内存8G做了一个集群测试,两个emqx组建集群(前面有一个nginx做负载均衡)将消息转发到kafka,中间有一个java开发的kafka生产者,启动一个grpc服务接入emqx的exhook来接收消息之后将消息写入kafka,kafka主题分三个区分别放在三台pc上,其余服务开始消费这个kafka主题进行业务处理。
通过上述环境搭建用mqtt-bench工具进行压力测试结果为:2500个连接 30000/秒 消息,在这个基础上请问如何提高qps,从哪入手?
环境:pc机I5 三台内存8G做了一个集群测试,两个emqx组建集群(前面有一个nginx做负载均衡)将消息转发到kafka,中间有一个java开发的kafka生产者,启动一个grpc服务接入emqx的exhook来接收消息之后将消息写入kafka,kafka主题分三个区分别放在三台pc上,其余服务开始消费这个kafka主题进行业务处理。
通过上述环境搭建用mqtt-bench工具进行压力测试结果为:2500个连接 30000/秒 消息,在这个基础上请问如何提高qps,从哪入手?
增加生产者
还能再打得更高么? CPU 占用是什么情况?
这是当时kafk性能监控截图,CPU占用很低,网络idel没什么波动,感觉这种方式向kakfa写入没起到什么大的动静,我试过用emqx-banch打得更高后从emqx监控指标来看就稳不起了,我也想找到打得更高的方法。
EMQX 节点的 CPU 占用情况呢?我一般的推测是 Exhook 可能存在性能瓶颈导致消息吞吐上不去