创业老炮儿不讲方法论，只晒17个技术运维踩坑实录

　　我原以为那个 Redis 主从切换脚本能撑过双十一——结果凌晨三点十七分，它在主库 OOM 后自己删了 sentinel.conf 里最后一行配置，然后安静地去睡了。监控告警没响，因为健康检查端口还在返回 200，就吐着空 JSON，像个人类。老张蹲在机柜前拿手机 flashlight 照着网线标签看，嘴里叼着半截冷掉的韭菜盒子，我说“别看了，光模块早烧了”，他摇摇头，把盒子塞回外卖袋，袋子上印着“满三十减五，已用券”。

文章配图，仅供参考

　　第4坑：MySQL从库复制延迟跳到三小时十五分，查出来是上游应用发了个没WHERE的UPDATE，全表锁住，而DBA同学正在飞往贵阳的飞机上，起飞前最后一条钉钉消息是“我把binlog解析脚本发你邮箱了”——他发错了邮箱，发到了他媳妇订酒店的携程账号里。这事我敢打包票。我们最后靠grep /var/log/mysql/error.log里那段“Waiting for table metadata lock”的重复次数估算出锁持续时间，误差不超过十八秒。桌上那杯美式早凉透了，杯底一圈褐色印子，跟服务器机箱盖上的指纹油渍一模一样。

　　第7坑：K8s集群证书过期。没人设提醒，因为cert-manager装在test命名空间，但prod的apiserver证书是手动签的，压根没进它的管理范围。那天值班的是小陈，她发现kubectl get node全挂，第一反应是删掉.kube/config重配，配完还是挂，又删掉~/.kube/cache重试，再挂。第三轮她才想起来看/apiserver的/var/log/audit.log——日志开头第一行写着“x509: certificate has expired or is not yet valid”，而她手机屏保正是一张Excel截图，标题叫《2025年Q4运维SOP修订初稿》。这稿子她写了七版，每版都加粗标红“证书有效期监控需覆盖全集群”，但没一行真落地。

　　第12坑：ES集群莫名丢shard，不是硬件坏，不是OOM，是某天凌晨四点，运维同事跑了个脚本，想批量给index加alias，脚本里写的是curl -XPOST "http://es-master:9200/_aliases" -d '{"actions":[{"add":{"index":"","alias":"live_all"}}]}' ——那个星号，通配符，吃掉了所有system index，包括.kibana和.security，顺手把整个RBAC干没了。他跑完还截图发群：“已加固别名体系”。我没说话。窗外雨还没停，只是声音小了，像谁把音量调低了两格。隔壁工位老李打了个哈欠，伸懒腰时碰倒了桌上半瓶风油精，液体流到键盘缝隙里，滴答，滴答。

　　说到风油精……上个月新来的实习生，戴蓝框眼镜那个，在配Ansible playbook时把become_user: root写成become_user: roo（少个t），执行了三十七次，每次都在生产中间件节点上新建一个叫“roo”的用户，权限为002。系统没崩，就是/usr/local/bin底下堆了三十七个同名空目录，chown都没法chown，rm -rf报“device busy”。我们最后用find /usr/local/bin -name 'roo' -delete收尾，删除中途，Nginx进程突然狂刷access_log，每秒三百七十二条，全是499。没人知道为什么。可能跟风油精挥发有关，也可能无关。这个我说不准。

　　第15坑最绝：灰度发布时，新版本镜像tag打成了latest，但CI流水线没做tag校验，Docker daemon缓存本地镜像比远端registry快0.3秒，于是线上一半节点拉的是三天前的老镜像，一半拉的是新的。流量进去之后，老节点返回502，新节点返回200，而SLB健康检查只认状态码，不认body。它觉得都活得好好的。我们就看着Dashboard里那条蓝色成功率曲线，锯齿状上下蹦跶，像心电图进了ICU。当时空调坏了，机房噪音忽然大了三倍，嗡——嗡——嗡——，听得人耳膜胀。我盯着屏幕左下角时间：2025年11月14日02:46:11。这个我敢打包票。

　　其实还有俩没列进17条里：一个是某次紧急扩容，硬盘RAID卡固件版本不一致，热备盘同步时把主盘逻辑块全覆写了；另一个是GitLab Runner的runner_token被硬编码在helm values.yaml里，提交时忘了.gitignore，两天后就被爬虫扫走，自动触发了一百多次./build.sh。这两个我懒得记——反正下次还犯。优胜劣汰不是靠记性，是靠痛感够深。痛到你在会议室拆快递盒，闻到胶带味就想开tcpdump抓包。

　　现在我改用一个更蠢但更疼的办法：所有自动化脚本，第一行必须是echo “⚠️ THIS IS PRODUCTION —— HIT CTRL+C IN 5 SECONDS TO ABORT”; sleep 5。昨天小陈试运行时，手滑按了回车，脚本继续跑，结果那五秒里她盯着自己指甲盖看了很久，说“原来我的右手小指有裂纹”。

　　所以接下来这周，我不打算补文档，也不搞复盘会。我要去楼下打印店，让老板把17个坑印成A4纸，贴在每台服务器机箱正面，用透明胶带粘死。胶带得斜着贴，歪一点，要留点气泡。这样别人路过伸手摸，指尖能蹭到气泡边缘的凸起——比任何告警都快。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!