Redis连接超时导致的AppPush延迟问题排查 - UAT环境性能优化案例
问题描述
- UAT环境发送AppPush延迟严重
- 从接收到消息到发送给用户大约需要8秒
- 客户对UAT环境性能要求较高,因为线上环境推送速度很快
排查过程
1. 日志分析
- 通过消息ID
[MASKED_MSG_ID]追踪消息流转 - 发现收到2条MQ消息:
- 第一条:2025-05-19 10:40:29.469 (xx=1)
- 第二条:2025-05-19 10:40:45.502 (xx=8)
- 最终在 2025-05-19 10:40:53.590 调用个推成功
- 第一条消息因不满足要求被过滤
2. 性能分析
使用Arthas trace命令分析耗时:
trace [MASKED_PACKAGE].NotificationMessageHandler onMessage -n 5 --skipJDKMethod false -E 'params[0].getMessage().contains("[MASKED_CONTENT]")'
发现 validateDuplicateMsg 方法耗时约8秒
3. 问题定位
- 发现Redis连接异常日志:
[ERROR] redis操作发生异常
redis.clients.jedis.exceptions.JedisConnectionException: Could not get a resource from the pool
4. 根本原因
-
UAT环境Redis配置未更新:
- 公司进行了Redis配置规范化改造
- UAT环境仍使用旧的配置
[MASKED_CONFIG_KEY] - 旧配置对应的Redis地址已不可用
-
异常处理机制:
- Redis操作异常被吞没(在finally块中)
- 异常仅记录日志,不影响业务继续执行
- 导致Redis连接超时,但消息仍能发送
解决方案
- 在数据库平台重新申请Redis
- 更新Redis配置到发布平台
- 使用新的Redis地址
经验教训
1. 环境管理
- 对所有环境(包括UAT)都要保持敬畏之心
- 配置变更需要同步到所有环境
- 不要因为是非生产环境就降低要求
2. 问题排查
- 使用Arthas等工具进行性能分析
- 关注异常日志,即使看起来不影响业务
- 建立完整的日志追踪机制
3. 代码质量
- 异常处理要谨慎,避免吞没关键异常
- 关键操作要有超时机制
- 配置变更要有完整的同步机制
4. 运维意识
- 定期检查各环境配置一致性
- 建立环境配置变更清单
- 保持对非生产环境的重视程度
工具使用
- Arthas trace命令:用于分析接口耗时
- 日志分析:通过消息ID追踪消息流转
- Redis连接池:用于消息去重
后续建议
- 建立环境配置变更检查机制
- 完善异常处理机制
- 增加关键操作的监控告警
- 定期进行环境配置一致性检查
附录:排查工具使用指南
Arthas使用
# 安装Arthas
curl -O https://arthas.aliyun.com/arthas-boot.jar
# 启动Arthas
java -jar arthas-boot.jar
# 常用命令
trace [MASKED_PACKAGE].NotificationMessageHandler onMessage -n 5 --skipJDKMethod false
日志分析命令
# 查看MQ接收日志
grep '接收到消息 msgId' [MASKED_LOG_FILE]
# 查看推送日志
grep '消息推送成功。appkey' [MASKED_LOG_FILE]
FEATURED TAGS
Cursor
AI
蝇量模式
责任链模式
工厂设计模式
观察者设计模式
每日一个设计模式
Spring中的设计模式
策略设计模式
设计模式原则
设计模式分类
Redis数据类型及应用
分布式锁
spring循环依赖
SpringAop
工一影单
书单
AQS
LockSupport
两数之和
字节跳动
leetcode
58同城
经典书籍
深入理解Java虚拟机
OpenJDK
Java基础
GitHub的骚操作
彩蛋
JDK
JVM性能分析工具
JVM监控
CPU占用过高解决思路
Linux常用命令
线上故障分析
G1垃圾收集器
垃圾收集器生产配置
默认的垃圾收集器
垃圾收集器
GC垃圾回收算法
OOM
虚引用
弱引用
软引用
强引用
Java的四大引用
jvm常用基本配置参数
JVM参数配置
JVM系统默认值
JVM调优
GC Roots
JVM垃圾回收
常见的垃圾回收算法
GC的作用域
JVM内存结构
ThreadPoolExecutor
线程池
阻塞队列
Semaphore
CyclicBarrier
CountDownLatch
自旋锁
Java锁
线程安全
ArrayList
原子更新
原子引用
ABA
AtomicInteger
CAS
高并发
多线程
juc
数据库连接工具
程序员简历
activeMQ
异步
消息队列
购物车
京东
分布式系统
单点登陆
集群
zookeeper
搜素引擎
solr
es
IO
数据结构
Redis
算法
GC
JVM
索引
MySQL
Redis持久化
git
Centos
服务类命令
Linux
字段不一致
MyBatis
工作流程
原理
post请求乱码
SpringMVC
传播属性
隔离级别
数据库事务
笔记
大数据
前端
Java
Bean作用域
Spring
JavaEE
Java变量
循环迭代
递归
循环与迭代
方法参数传递
类的实例化
类的初始化
设计模式
自增变量
面试题
JavaSE
安装教程
教程