使用场景为标准场景:大量设备高低频数据上报到emqx集群,再由业务侧统一ETL处理。
因为要求用开源版,所以业务侧是准备自行实现消息到Kafka的桥接(非直接使用桥接功能)。
计划高频上报数据(每分钟)用qos0级别,低频qos1。期望目标是只要成功到达emqx的数据一定能进kafka。
我看论坛中接收消息有用exhook的,有共享订阅的,从数据不丢失的角度(业务侧自行去重),哪种更新靠谱些(考虑网络抖动/业务服务不稳定/运维更新等)?或者有没更优的方案?
另外高频qos0的数据,订阅侧看文档貌似可以升级到qos1进行接收,保障接收传输过程可靠,这会对整体性能造成多大影响?