exhook+grpc不稳定,大量报错

环境信息

  • EMQX 版本:5.0.8
  • 操作系统及版本:
  • 其他

问题描述
在message.publish挂载了钩子,当grpc请求qps到达1k左右时,会出现钩子大量失败的情况,想问下这个报错是啥意思呢?

注意里面的堆栈有个:stacktrace: [{erlang, send, [false, { "$gen_call"]},...],看着像是一个 BUG

你的 grpc server 什么的是不是挂了?有什么能重现的手段么?

  1. grpc server没有挂,当我grpc请求qps很小时,比如100以内,就不会有这个报错,钩子正常通过;但当我qps到达1k左右,钩子失败率就会飙高,报这个错误;
  2. 之前用5.0.7版本压测时,同样的压测环境和条件,5k qps下,钩子失败率大概13%,而且报的错误是grpc等待响应timeout,而不是现在这种错误;
  3. 重现就是:在message.publish挂载grpc钩子,按照我这边监控来看,grpc服务端处理时延在20ms以内,我在emqx设置的grpc客户端pool size=512,超时时间5s,grpc请求qps在1k左右,想问一下官方有对钩子性能的压测数据嘛?或者有没有啥调优的建议和方向?求指导,感谢!

我们之前大概16C测到了50k的样子。

有单次测试的全量日志么?我们这边分析下先