数据科学家建站真不用懂运维？11年站长揭秘

　　上个月，我蹲在IDC机房里听空调外机哼第三遍《茉莉花》的时候，看见一个穿灰卫衣的数据科学家蹲在机柜前面，用Type-C线直连服务器——他以为那是管理口，其实那是iDRAC的USB虚拟串口。机柜顶灯忽明忽暗，滴答滴答像在倒计时。我刚想伸手拦，他手机响了，接起来说“模型收敛了”，然后顺手把那根线拔了。

　　我原以为他是来搭个Flask demo跑跑特征工程的。结果人家第二天上线了个带AB测试+实时特征仓库+模型版本回滚的推荐页，域名备案、WAF规则、日志轮转、HTTPS自动续期全链路跑通，连CDN缓存策略都写了三套JSON配置——就用GitHub Actions加一个yaml文件。我盯着屏幕看五分钟没看出破绽，最后是运维老张路过，顺手敲了句df -h，发现/var/log/journal占了93%，才意识到他把systemd-journald的压缩开关关了。但那个推荐页，真没崩过一次。

　　这事儿不能说“不用懂”，得说“不必先懂”。就像当年我们非得背熟iptables五条链才能开nginx，现在？人家拿Terraform apply完，kubectl get pod全是Running，你问他cgroup v2怎么调，他眨眨眼说“这个我说不准”，转头去改Loss函数权重去了。行，你loss调对了，GPU利用率从41%拉到87%，监控图上那根绿线直挺挺往上蹿——这时候你真好意思问“你知不知道nvidia-smi -r重置驱动要先停pod？”

　　上周三，我帮隔壁团队查502。查到一半外卖到了，黄焖鸡盖饭，酱汁浸透了纸袋底。我一边撕筷子一边看他们k8s ingress controller的日志：cert-manager轮换失败，Let’s Encrypt的HTTP-01挑战被自己写的rewrite规则吃了。写这规则的人此刻正在会议室里讲LSTM门控机制。我没戳破。我直接把ingress-nginx的annotations改成tls-acme: "true"，删掉那行rewrite，重新apply。十秒后HTTPS亮了绿锁。他出来看见我桌上饭盒开着，汤汁流到键盘缝隙里，说了句“谢了啊”，端起咖啡杯晃了晃，转身又进去了——袖口蹭到门框上一小片灰，没擦。

　　有个事特别冷眼。前年双11前夜，我守着一台裸金属跑PyTorch训练，OOM Killer突然干掉进程。查了一小时cgroups limit和ulimit -v，最后发现是他自己写的Dockerfile里RUN pip install那行触发了pip cache目录权限污染，容器启动时自动创建了root属主的~/.cache/pip——而宿主机那个目录挂载进来了。整台机器内存回收策略瞬间失灵。我就站在机柜前，听着旁边制冷机组的嗡鸣声，忽然想起九年前我为同一个问题重装过三次系统。可现在？他只改了两行Dockerfile：USER 1001 和 RUN mkdir -p /home/app/.cache && chown app:app /home/app/.cache。完事。没问原理，也没查文档，就试出来。我敢打包票：那两行他是在Stack Overflow第三个答案里Ctrl+C/V的，带了个半截没删干净的注释——# see also #3427（这个issue早就关了）。

　　所以“真不用懂运维”这话糙，但内核没歪。不是说能绕开所有坑，是现在的工具链，已经能把95%的运维动作压成原子操作，错即毁，毁即报，报即修。它不像从前那样容错——它优胜劣汰。你漏掉swapiness=10，没问题；但你忘掉给K8s Pod配resources.requests.memory，集群直接拒收。它不给你“慢慢学”的时间，也不许你“先上线再优化”。要么一次性写对，要么连build都过不去。这反而比当年我们手动调sysctl更干净利落。

文章配图，仅供参考

　　有次凌晨两点，告警平台弹窗炸屏，ELB返回大量504。我冲进机房，发现他正蹲在UPS旁边看电池状态LED灯，手指沾着灰，指甲缝里有点黑。我喊他名字，他抬头，耳机线垂在胸前，另一头插在笔记本里，正播着某AI论文精读视频。他指了指自己屏幕：Prometheus告警面板底下飘着一行红字，“model-inference-latency-99th > 2.4s”，后面跟着一个小叉。他说：“我刚让API加了request ID埋点，日志流今晚就能进ClickHouse。”说完就把耳机塞回去，继续听那人讲attention mask的梯度裁剪边界……那会儿窗外在下雨，雨刮器在远处车窗上刮出节奏：哒、哒、哒、停顿、哒哒哒。我没说话，扭头去查ALB target group健康检查超时阈值——它果然被谁改成15秒了。谁改的？我不知道。也不打算查。

　　所以说，数据科学家建站真不用懂运维？不，是他们现在踩坑的方式变了。从前我们被disk full绊倒，他们被Helm chart依赖冲突绊倒；从前我们困在SSH里改nginx.conf，他们被困在CI pipeline卡在pyproject.toml的poetry.lock生成阶段。痛感不同，但疼是真的。只是现在疼完，系统自动给你修好了，或者自动帮你换条路走了。你不教它，它也学会绕着你的盲区长。

　　我今早拆开新到的A100，插卡时听见主板发出一声轻响，类似玻璃珠滚进铁盒。这声音我听过十七次。下周一我要跟采购一起核对GPU显存类型，因为上批货发错了，标签印的是HBM2e，实测是HBM2。这事不急，等我把手上这份SLO报表填完——里面有个指标写着“P99延迟达标率”，后面打了三个星号，备注栏空着，没写。我打算空着。反正他们明天上午就要开例会，会上有人会补。我信。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!