Releases: sohutv/mqcloud
MQCloud RELEASE 5.1.1
一、新功能和优化：
-
演示模式新增构建好的docker镜像，直接运行：
docker run -p 18080:8080 -p 1022:22 -t -i registry.cn-hangzhou.aliyuncs.com/sohutv_mqcloud/mqcloud:5.1.1 /bin/bash -
支持Broker备代理主模式。
-
支持消费者在线按照实例级别暂停、恢复消费或者下线/恢复。
-
支持全局顺序Topic。
- 支持新建顺序Topic时写入NameServer 顺序Topic路由。
- 支持NameServer启动时，顺序Topic不存在，从MQCloud拉取。
- 支持新部署NameServer时配置顺序Topic。
-
启停Broker增加load和等待，保障成功。
-
支持接入Flink。
-
支持生产者启动时提前建连，防止消息首发失败。
-
支持Python以HTTP协议接入。
-
Broker部署：一个Master支持部署多个Slave，增加BrokerId作为后缀。
-
SpringBoot升级至2.6.15。
-
H2升级至2.2.220，DDL语句自动执行。
-
依赖cve升级修复，包括但不限于logback、jackson、guava、netty等。
-
消费者防止重复启动。
-
所有工单申请成功后跳转至
我的工单页面。 -
MQClient启动拉取配置信息不再无限重试，支持客户端配置。
-
支持忽略生产失败异常预警。
-
消费限速强制开启。
-
非MQCloud客户端禁止某些功能，包括但不限于线程诊断、异常诊断、精准消费等。
-
Slave展示延迟队列数据。
-
新集群初始化Topic&Consumer时，支持选择Broker。
-
支持集群容量日报。
-
支持服务器部署组件所在的挂载容量。
-
支持按照前1,2,3,5,7天生产大小查询Topic。
-
新建集群初始化消费者兼容消费者离线的情况。
-
消费在线暂停日志优化。
二、重要bug修复：
- 修复定时消息发送丢失问题。
- 修复定时消息发送时选择故障节点问题。
- 修复新建生产者重复问题。
- 修复死信消息查询异常问题。
- 修复freemarker BeansWrapper.incompatibleImprovements警告。
- 修复消费者非法数据无限重试保存问题。
- 修复logback.xml下载失败问题。
- 修复消息导出路径失效问题。
- 修复MQProxy无Server时NPE问题。
- 修复Broker关闭超时问题。
- 修复删除用户导致Topic拓扑页面空白问题。
- 修复Broker停写状态更新错误问题。
- 修复消费页面加载过慢导致空指针问题。
- 修复登录后未重定向到原链接的问题。
- 修复部署挂载容量获取为空的问题。
- 修复freemarker由于SpringBoot类加载器变更导致的偶发加载失败问题。
- 修复消息追踪无数据时空白页面问题。
三、升级说明：
MQCloud RELEASE 5.1.0
一、新功能和优化：
-
MQCloud依赖的RocketMQ升级至5.x。
-
Springboot升级至2.x。
-
SSH客户端升级，支持open-ssh-8.7协议。
-
支持ubuntu22及以下版本部署。
-
Nmon依赖升级，初始化优化。
-
通信协议支持proxy-remoting，proxy组件支持如下功能：
- 支持proxy-acl。
- 支持proxy负载均衡。
- 支持定时监控和消息轨迹
- 支持自动路由
- 支持消息重发
- 支持偏移量重置
- 支持精确消息消费
- 支持获取运行时消费信息
-
UI全新升级，全面支持移动端，更加个性化：
- PC主页
- 移动端主页
-
Broker配置增加时间轮阈值校验。
-
非MQCloud客户端禁用某些功能。
-
RocketMQ某些API兼容4.9.x和5.x。
-
RocketMQ日志使用方式修改。
-
MQCloud后台通用配置支持json格式。
-
服务器预警指标增加默认值。
-
RocketMQ各组件启停增加等待机制，保障启停成功。
-
消费者增加客户端状况指标。
-
RocketMQ多实例使用唯一ClientID。
-
Broker队列过多时，消息搜索过慢优化。
-
支持普通消息和死信消息导出：
- 支持异步导出
- 进度实时查看
- 支持重新导出
- 导出失败检测
-
客户端消费状况数据上报。
-
MQCloud后台增加任务管理模块，执行机器展示IP。
-
消费堆积增加消费完成预估计算。
-
获取消费者运行时信息兼容C++客户端。
-
Topic授权开放所有用户。
-
MQCloud后台管理页面所有topic和消费者统一增加跳链，行为统一。
-
支持时间轮消息查询，生命周期追踪，手动取消和API取消，详细参见。
-
监控任务支持动态执行，及时感知集群变化。
二、重要bug修复：
- 修复rocketmq指标未重置的bug。
- 修复死信消息在跳过重试无法重新消费bug。
- 修复服务器更新空指针异常。
- 修复图表提示框被遮挡的bug。
- 修复图表数据展示不完整的bug。
- 修复流量监控无数据错误提醒。
- 修复版本号解析异常。
- 修复空数据问题。
- 修复某些情况下shell执行失败的问题。
- 修复DeliverTimeMs反序列化空指针异常。
- 修复服务器配置项修改失败的问题。
- 修复延迟字段溢出问题。
- 修复slave的broker-id冲突的问题。
三、升级说明：
MQCloud RELEASE 4.9.4
一、新功能和优化：
-
支持RocketMQ 5.x部署和监控报警，包括Proxy、Controller、Broker内嵌Proxy模式，支持任意组件配置jvm内存等参数。
一、新建Proxy。
二、新建Controller。
三、Broker内嵌Proxy。
四、机器管理支持展示多种组件部署。
-
支持RocketMQ 5.x的定时消息（基于时间轮实现），客户端发送仍采用4.x客户端，不用升级即享受任意维度定时消息红利。
一、定时消息查询。
二、原始消息查询。
三、定时消息追踪。
四、定时消息追踪(开启追踪功能)。
四、定时消息指标。
-
主题管理支持多维度排序、筛选等。
-
请求码冲突兼容。
-
新建生产者及批量关联支持协议选择。
-
消息搜索模块增加消息大小展示。
-
消费监控数据分页展示，防止数据太多卡死页面。
-
消费客户端异常时优先打印offsetMsgId。
-
支持业务端自己设置消费类型。
-
支持topic路由动态修改，支持topic在线跨集群迁移。
-
消息查询时间范围采用broker存储数据时间。
-
broker支持添加多个slave。
-
漏洞CVE-2023-33246修复，增加UPDATE_BROKER_CONFIG鉴权。
-
消费者TPS、消费量格式化展示。
-
消费者删除时校验链接。
-
异常栈折叠显示优化。
-
Topic各种申请操作体验优化。
-
消费落后预警优化：消息量过少不预警。
-
停写后的broker支持在线恢复。
-
客户端生产消费支持多区域亲和。
-
暂停消费时支持下线实例，进行队列重新分配。
二、重要bug修复：
- 下线后的broker状态错误问题修复。
- 修复重启broker按钮id获取错误问题。
- 修复消费者删除后导致页面空白的问题。
- 修复版本比较bug。
- 主题管理修复topic查询不准问题。
- 主题管理修复空串问题。
- 主题管理修复人员查询不准问题。
- 修复因为nmon仓库失效导致docker image构建失败。
- 机器页面ip无法定位bug修复。
- 重发消息审核无法拒绝bug修复
三、升级说明：
MQCloud RELEASE 4.9.3
一、新功能和优化：
-
新项目发布MQ-Proxy，支持HTTP协议生产和消费，彻底解决非java语言客户端接入问题。
-
依赖的RocketMQ升级至4.9.3-sohu，支持如下特性：
-
broker支持topic级别限流，防止个别topic流量过大影响集群的整体稳定性。
-
客户端不再显式依赖fastjson，采用shade模式打包到内部使用。
-
部署时支持内存配置，便于一机部署多个broker或在docker部署。
-
netty支持socks代理配置。
-
-
MQCloud依赖的fastjson升级为jackson，并采用shade打包，内部使用，不污染业务端。
-
从节点宕机后不检测落后情况，防止误报。
-
增加客户端语言及版本管理功能：
-
顺序消息消费增加客户端统计。
-
jdbc连接串增加useSSL=false。
-
actuator默认开启安全机制。
-
部分依赖版本升级。
二、重要bug修复：
- topic详情页客户端连接信息修复。
- fix收集统计时间戳未更新的bug。
- 部分UI展示问题修复。
三、升级说明：
4.9.2.RELEASE
一、新功能和优化：
-
topic支持足迹和收藏
-
支持采用搜狐版本RocketMQ，默认支持死消息，同步落后，存储性能统计。
-
服务器指标过多优化，并增加部署展示。
-
消费者删除增加多用户关联校验和存活链接校验
-
消费者提示增加clientId，单机多部署时便于识别
-
运行监控支持c++客户端
-
支持按照时间段精准回放流量
-
不再使用github作为maven仓库
-
修改topic流量预警增加权限校验
-
按时间搜索消息区分重试和正常topic
-
审核列表增加分页
-
死消息任务降低执行阈值
-
支持管理员切换角色
-
优化用户体验：操作，通知，消息等
-
支持用户分组
-
支持h2database,使用方式详见本地模式
-
审核支持分页&优化
-
规范UserWarnCount路径
-
增加php接入wiki，详见用户指南
-
优化定时采集任务执行策略
-
增加一体化docker支持
二、重要bug修复：
- 重试队列搜索无数据时分页不更新bug修复。
- {Error when measuring disk space usage,file doesn't exist on this path} 报警修复
- fix c++等客户端没有用户组属性时空指针异常问题修复
- 修复集群拓扑中name重复造成显示异常问题
三、升级说明：
MQCloud RELEASE 4.9.1
一、新功能和优化：
- 支持RocketMQ4.9.1。
- 生产消息支持异步重试。
- 支持幂等消费。
实现原理参见。 - 重试消息跳过时支持指定key，即具有某个key的重试消息都跳过。
- 支持用户告警记录功能。
- 同时支持freemarker和json后缀视图，便于将MQCloud数据暴露给外部系统。
- 邮件发送支持ssl
- 预警支持模板配置。
- 网络统计支持ens网卡。
- 消费异常堆栈实时查看转义html。
- 安全关闭优化。
- 支持手机预警。
- 部分代码重构。
- 部分wiki完善。
二、重要bug修复：
- fix修改用户依然缓存的问题。
- 生产异常呼吸点修复。
三、升级说明：
感谢社区同学 @AochongZhang 的PR。
Contributors
Assets 3
MQCloud RELEASE 4.7.2
一、新功能和优化：
- broker支持部署到不同的目录。
- 支持消费失败异常栈实时查看。
- 支持消费堆积线程堆栈实时查看。
- 批量消费支持限速。
- 消费失败预警邮件支持一键定位消息列表。
- 消息查询增加trace定位。
- 重试消息增加trace定位。
- 消息查询根据是否开启trace展示不同的特性。
- 消费失败缩短检测时间。
- ajax请求捕获网络异常并提示。
- 可操作性UI统一展示。
二、重要bug修复：
三、升级说明：
感谢社区同学 @ziyunmuxu @jackytsu 反馈的问题。
MQCloud RELEASE 4.7.1
新功能和优化：
-
支持rocketmq 4.7.1。
-
broker数据统计支持addr(一台机器可以部署多个broker)。
-
客户端启动抓取配置报错日志完善。
-
增加生产消费micrometer统计。
# HELP rocketmq_total_time # TYPE rocketmq_total_time gauge rocketmq_total_time{group="api-ugc-cacheclean-consumer",role="consumer",} 344.0 rocketmq_total_time{group="api-flush-cache-consumer",role="consumer",} 0.0 rocketmq_total_time{group="core-missed-id-topic-producer",role="producer",} 0.0 rocketmq_total_time{group="api-web-consumer",role="consumer",} 286.0 # HELP rocketmq_excption_count # TYPE rocketmq_excption_count gauge rocketmq_excption_count{group="api-ugc-cacheclean-consumer",role="consumer",} 0.0 rocketmq_excption_count{group="api-flush-cache-consumer",role="consumer",} 0.0 rocketmq_excption_count{group="core-missed-id-topic-producer",role="producer",} 0.0 rocketmq_excption_count{group="api-web-consumer",role="consumer",} 0.0 # HELP rocketmq_total_count # TYPE rocketmq_total_count gauge rocketmq_total_count{group="api-ugc-cacheclean-consumer",role="consumer",} 1772.0 rocketmq_total_count{group="api-flush-cache-consumer",role="consumer",} 0.0 rocketmq_total_count{group="core-missed-id-topic-producer",role="producer",} 11.0 rocketmq_total_count{group="api-web-consumer",role="consumer",} 1793.0 # HELP rocketmq_max_time # TYPE rocketmq_max_time gauge rocketmq_max_time{group="api-ugc-cacheclean-consumer",role="consumer",} 3.0 rocketmq_max_time{group="api-flush-cache-consumer",role="consumer",} 0.0 rocketmq_max_time{group="core-missed-id-topic-producer",role="producer",} 0.0 rocketmq_max_time{group="api-web-consumer",role="consumer",} 1.0对应的mbean监控数据如下：
-
支持broker主从同步数据监控预警。
集群同步展示：
-
服务器链接支持链接池。
-
消费失败的消息，邮件提醒支持一键跳过。
-
审核列表支持分页展示。
-
topic名等支持点击复制。
-
bootstrap升级为3.4.1。
-
增加纯go客户端接入wiki。
重要bug修复：
- fix统计获取生产者组为空的bug。
- fix收集任务异常终止的bug。
- fix广播消费者重复监控的bug(#14)。
- fix本地更新broker的bug。
- fix趋势图时间展示不全的bug。
- fix消费者创建失败导致数据不完全的bug。
- fix broker监控未按时执行的bug。
- fix趋势图单位显示bug。
- fix消息过长撑爆td的bug。
- fix broke安装路径为空的bug(#13)。
升级说明：
感谢社区同学反馈的建议、问题及PR。@jackytsu @ziyunmuxu 等。
MQCloud RELEASE 4.6.5
新功能和优化：
-
生产流量支持预警功能
-
broker关闭后支持启动和升级
-
增加管理员指南wiki
-
申请单支持撤销。
-
审核状态正确提醒。
-
限速器支持漏桶和令牌桶，默认采用令牌桶，支持动态修改限速。
-
客户端支持消息序列化类型动态切换。
-
控制消费者关闭组件的顺序和状态，保障安全关闭。
-
消息支持从slave查询，减轻master压力。
-
消息反序列化自定义class支持远程动态更新。
-
多生产者区分流量来源。
-
兼容go客户端获取消费者状态。
-
支持广播模式支持消息重发。
-
支持广播模式消费者堆积预警。
-
新建消费者增加限速选项。
-
客户端连接增加语言字段。
-
消费者列表，消费者流量图，topic拓扑支持分页。
-
消费者流量图支持消费者筛选。
重要bug修复：
- 重发消息不自动审核修复。
- 重试topic跳链错误修复。
- 流量图时间展示不全修复。
- 限速逻辑bug修复。
升级说明：
MQCloud RELEASE 4.6.4
新功能和优化：
-
消费者支持在线暂停和限流功能。
-
增加broker配置模板概念：
2.1 支持broker在线动态修改配置。
2.2 支持部署broker参数灵活配置。
2.3 支持新部署broker采用集群配置模板。 -
客户端资源安全关闭。
-
重试消息跳过功能重构。
-
服务器公钥登录支持降级为用户密码登录。
-
部分UI调整。
重要bug修复：
- 订阅错误丢失报警频率限制修复。
- 生产流量小于消费流量时，消费流量展示不全修复。
- 生产和消费者重名拓扑空白修复。