【摘要】天辰娱乐平台的运营系统又卡了

天辰娱乐平台晚上八点一到，后台报警就响。CPU飙到95%，数据库连接池见底。用户点个直播间，加载得转三秒。这不是第一次了。上次扩容是去年三月，加了二十台服务器，顶了四个月。现在又不够用了。

运营系统这东西就是喂不饱的狼。用户量涨，数据量涨，活动促销一开，流量翻倍涨。光加服务器是偷懒，得想清楚钱花在哪。

先说怎么判断真要扩容了。别听厂商忽悠，也别看运维脸色。看三个数：CPU平均负载持续超过70%超过一周，磁盘IO等待时间超过20毫秒，网络入口带宽利用率在高峰时段超过85%。三个占两个，就是真扛不住了。占一个，还能再挤挤。

但挤之前，你得知道瓶颈在哪。常见误区是一卡就加CPU。其实很多系统卡在数据库读取上，加一百台应用服务器也是白搭。天辰娱乐平台的运营系统就吃过这亏。去年双十一前，技术总监觉得并发高，一口气加了三十台web服务器。结果流量一上来，数据库先崩了。三十台服务器在那闲着，数据库那边排队排到超时。这就跟高速路堵车，你在入口多开几个收费亭，但前面大桥只有两车道，照样堵死。

所以扩容第一步，不是买机器，是找瓶颈。用监控工具把整个请求链路捋一遍。用户点按钮，请求先到负载均衡，再到应用服务器，然后查缓存，缓存没有去查数据库，末了说数据返回。每一跳都记录耗时。花三天时间，把高峰时段的链路数据拉出来看。哪个环节耗时最长，哪个环节报错最多，那就是软肋。

以天辰娱乐平台实际运营情况举例，去年高峰期做过一次压测。结果显示，下单接口平均响应时间1.8秒，其中数据库查询占了1.2秒。应用服务器只花了0.3秒，网络传输0.2秒，其他0.1秒。数据摆在这，扩容方向就明确了——优先搞数据库。

数据库扩容有两条路。一条是升级单机配置，简单粗暴，但只要数据量继续涨，迟早又不够。另一条是分库分表，把数据拆开放在多台机器上，听着高级，但改动业务代码，工作量大，得评估团队能不能接得住。如果数据量还在可控范围，先升级配置，把内存加大，固态硬盘换上去，这钱花得值。如果数据量都过亿了，就别犹豫，直接分库分表，早动手早省心。

搞完数据库，再处理网络带宽。很多时候不是机器不够，是管道太细。天辰娱乐平台的视频流和直播是吃带宽的大户。用户同时在线看高清流，一万人就能吃掉十个G的带宽。你跟运营商买的带宽是不是够，峰值预留了多少，这些都得翻合同查。不够就升级带宽，别委屈流量。

末了说才是应用服务器。加这台机器之前，先看看负载均衡那层是不是策略不对。有些请求是长连接，一直占着连接不释放，导致后续请求排队。这个时候调一下会话保持时间，比加服务器管用。确认是纯算力不够，再横向扩。运维那边把镜像做好，新服务器从启动到接入集群，控制在十分钟内，能扛住突发流量。

扩容不是一次性买卖。买完机器，调完参数，得观察两周。这两周内，每天记录高峰时段的CPU、内存、磁盘、网络指标。跟扩容前对比，看是不是真的解决了问题。别只看平均负载降下来了，要看不排队了，响应时间下来了，用户投诉少了。如果指标还挺好，但用户体验还是卡，那问题可能不在硬件，在代码逻辑。比如有个接口用了同步调用，一个慢查询把整个线程池堵住了。这种情况你扩容也没用，得改代码。

还有一点容易被忽略：旧服务器怎么处理。别一笔勾销，也别拿来当摆设。天辰娱乐平台之前淘汰下来的机器，挑几台配置还行的，装成监控节点和日志收集器。实在跑不动的，拆零件当配件库。一台服务器好几万，三年折旧，能省一分是一分。

再说到预算。扩容计划得提前一个季度做，因为采购流程、机房上架、网络调试，加起来少说要一个月。别等系统卡到不能用了才提申请，那时候加急采购，价格贵，工期还紧。平时就跟运维商量好，哪些机器是热备，哪些是冷备。热备天天开着，随时顶上去。冷备关机放着，用的时候再开机，省电还安全。

天辰娱乐平台这套运营系统，未来半年还要接新的活动玩法。估计用户量还得再涨三成。所以这次扩容，不光解决眼下问题，得留出富余量。我的想法是，数据库做读写分离，写库一台，读库三台。缓存层用Redis集群，撑住热点数据访问。应用服务器按预估峰值的1.5倍去配，比如预计高峰是一万并发，那就准备一万五千的容量。带宽按视频码率乘同时在线数估算，再额外留出20%的冗余。

至于具体买什么配置，我不在这里列型号，容易被当成广告。就一句话：内存给足，硬盘用固态，网卡选万兆。这三样别省，省了就是给自己挖坑。

扩容结束后，还要留个后手。每月做一次压测，模拟高峰流量打进去，看系统反应。压测不是走过场，是让问题提前暴露。别等到真出了事，那时候满世界找原因，耽误的是用户和钱。

末了说说个实在话。硬件扩容这事，技术含量不在买机器，在于判断什么时候该买，买来放哪，买了之后怎么验证。手上有数据，心里就不慌。没数据，只能赌。天辰娱乐平台吃过拍脑袋的亏，这次不想再吃。