天辰娱乐平台公司运营系统长运日志监控体系搭建方案

先把话撂这儿：日志不监控，出事只能干瞪眼呗。

天辰娱乐平台的运营系统，一天跑下来，日志能堆成山。这玩意儿看着不起眼，真出了岔子，翻半天找不着一行有用信息，急得人跳脚。所以，搭建一套长运日志监控体系，不是给领导看的PPT，是给自己留的救命绳。

本文只讲怎么落地，不扯虚的。

第一步，想清楚到底要管什么。

日志不是全收就有用。天辰娱乐平台的系统里，有用户登录日志、交易流水日志、风控拦截日志、服务器运行日志。全收，存储费扛不住；不收，出事抓瞎。我的原则就一条：跟钱、跟账号安全、跟系统崩没崩强相关的，必须收；剩下的，按级别挑着收。比如用户点了哪个按钮，这种破事就别记了，浪费磁盘。

第二步，定格式，统一规矩。

最烦那种每个模块自己玩自己的日志格式。A组写时间戳用“2024-01-01”，B组用“01012024”，出了事，光对齐时间就得花半小时。所以，强制统一格式：时间、模块、级别、请求ID、用户ID（能带就带）、事件描述、结果码。每行一条，机器能读，人也看得懂。别搞嵌套JSON，看着高级，真到查问题的时候，眼睛能看花。

第三步，分级告警，别天天狼来了。

天辰娱乐平台最怕的就是告警轰炸。半夜三更，邮箱叮叮当当响五十封，一看全是无关紧要的缓存清理通知。次日早上，真正重要的交易失败告警被淹没了。这不行。分三级：

• 预警：系统资源超过70%，只记台帐，不打扰人。
• 警告：单笔交易失败，重试成功；某个接口响应慢了，超2秒。这种发到值班群，但不用立刻爬起来。
• 致命：数据库连不上、支付网关超时超5分钟、大规模用户登录报错。这种必须打电话，打不通一直打。

告警别贪多。宁可漏掉一次小毛病，也别天天让人精神衰弱。

第四步，日志怎么存，多久删。

热数据存一周，放SSD，查起来快。冷数据存一个月，放普通硬盘。超过一个月的，压缩进对象存储，备查就行，别占着高性能存储浪费钱。注意一个坑——日志时间要用服务器统一时间，别各写各的，否则到时候排查前后因果关系，全乱套。

第五步，没监控的日志等于白写。

光存下来不分析，那叫垃圾场。需要做一个简单的关键词实时统计面板：比如“支付失败”“登录异常”“库存超卖”这些词，一旦每分钟出现次数超过某个阈值，立刻触发告警。用不着上什么机器学习，那玩意前期调参能烦死人。先跑规则，跑熟了再考虑要不要加智能分析。

第六步，权责分明，谁的系统谁看。

天辰娱乐平台的运营系统不是一个人写的，也不是一个人运维的。账单模块归财务组管，用户模块归会员组管。日志监控也一样，每块界面只管自己那一亩三分地，但全局告警必须有一个总值班人。出了问题，先看是不是自己地盘，不是就立刻转给对应组，别踢皮球。

下面说操作细节，这些都是花真金白银买来的教训。

第一，日志必须带请求ID。

用户说他操作到第三步卡了。你要是没请求ID，只能把所有日志从头翻到尾，跟大海捞针一样。只要带上ID，一搜，他这一步连到哪个服务、哪条SQL、哪个外部接口，全部串起来。这事一开始就得定死，不然后面补，代价高到你想骂人。

第二，时间别用本地时间，统一用UTC+8。

服务器可能分布在好几个机房，时区不统一，光换算就累死人。干脆全压成固定时区，写入时就是标准时间。显示的时候再转成用户看的格式。

第三，日志别打在代码的犄角旮旯里。

有些同事图方便，在循环里打日志，一秒钟打几万行，直接拖慢服务。这不是监控，这是自杀。要求：每条日志必须能解释“当前在做什么、关键参数是什么、结果是成功还是失败”。打日志的位置选在服务入口、出口、外部调用前后，以及异常捕获的地方。

第四，告警之后一定要有处理流程。

捅了篓子，不是群里喊一声“谁看看”就完事。需要一张处理表，写清楚：告警名称、触发条件、影响范围、紧急联系人、第一步检查什么、第二步怎么恢复。打印出来贴在工位边上，比啥培训都管用。天辰娱乐平台的运营组，这个表必须每季度更新一次，因为系统一直在变。

第五，每个月拉一次日志监控的“体检报告”。

看哪些告警天天响但没人处理，就得调阈值或者优化代码。看哪些日志存了九十天从没被查过，就缩短保留期。别让监控体系自己变成一座没人维护的坟。

天辰娱乐平台这个项目实测过一套笨办法，跟各位交个底。

最初直接买商业监控工具，看着屏幕上花花绿绿的曲线，心里踏实。真正出事那天，数据库连接池耗尽，整个系统卡死。工具面板上写了“连接数飙升至80%”，但告警规则没设对，一直没人响应。那次宕了四十多分钟，损失六位数起步。后来痛定思痛，自己写规则，只留二十条最关键的。把“连接池使用率超过70%持续1分钟”设为致命级，半夜三点也给我打过来。之后又碰上两次，都做到了提前干预。

所以说，花哨的界面不如一个及时的电话。

运营系统; 告警分级; 请求ID; 日志清理; 天辰娱乐平台;