云端部署深度学习模型：网络延迟直降67%实战

　　去年九月，我蹲在西区IDC三楼B12机柜前，听见冷却塔在屋顶哐当哐当撞了十七下，像有人拿扳手松了两圈又拧不紧。李工蹲在我左边啃包子，韭菜馅儿漏在工牌绳上，右手还在敲kubectl get po -n prod-ml | grep infer。我盯着那个pending状态的pod——不是拉镜像慢，是initContainer里那个cert-manager hook卡在CA握手那步，卡得连超时重试都懒得打日志。

　　我原以为是etcd集群抖动，结果翻到凌晨两点，发现是Service Mesh的mTLS链路上，Istio的SidecarInjector默认给所有namespace注入了strict模式，可训练环境那个老版本PyTorch Serving容器根本不认SPIFFE ID格式的证书扩展字段。它就站在那儿，不报错，不退出，不打印任何trace——就像你妈喊你吃饭，你答应了，人却没动，筷子都没抬。

　　当时窗外在下雨。不是毛毛雨，是那种能把UPS外机散热口糊成泥巴饼的斜风急雨。监控大屏右下角弹出Alert：istio-proxy memory RSS > 1.2GB（on pod infer-v3-79d8c56fb-s9kfq）。我没点开，直接切到Wireshark抓包窗口，看见TCP重传窗口在三百七十二字节和四百零九十六字节之间来回跳，像心跳骤停又突然续上。这玩意儿根本不是“模型推理慢”，是网络层在替业务逻辑演默剧。

　　后来把IngressGateway后面那层自建的Nginx全拆了，让Envoy直接扛HTTP/2流式响应，再关掉Sidecar里冗余的telemetry filter（对，就是那个每秒往Mixer发三千条metric、自己还卡住的filter），延迟从原来平均四百一十八毫秒干到一百三十九毫秒。六十七。我敢打包票这个数字——因为王璐用她笔记本上的curl -w “%{time_starttransfer}\
”连测了五十七次，第三次起就稳在138–141区间，中间穿插一次她接了个电话：“喂？啊……还没修好？我们这儿infer pod刚起来……挂了。”电话那头声音断掉，她转头问我：“你猜运维那边是不是又把CoreDNS缓存清了？”我没回，只盯着屏幕上Prometheus里那个绿色的latency_p99曲线，直得像拿尺子量过。

文章配图，仅供参考

　　优胜劣汰。就这四个字。不是技术先进，是活下来的全是能忍延迟抖动、吃掉乱序包、咽下半截gRPC响应的硬茬子。那个被干掉的TensorRT-serving wrapper？它连HTTP header里的Content-Encoding: identity都解析错了，硬把gzip标记当identity返回空body——客户前端JS fetch().then里直接undefined.undefined报错。没人给它发patch，只在Jenkins pipeline里加了一行rm -rf ./legacy-inference-wrapper && make clean all。挺公平的。

　　昨天我在地铁里刷Slack，看见devops组发了个新通知：“Prod集群将升级Istio 1.22，启用新的workload entry健康检查机制”。我划过去没点开，耳机里是陈绮贞唱“我是不是你最疼爱的人”，副歌第二遍，手机震了一下，是张锐发来的截图：一个404页面，路径是https://api.infer.company/v2/predict，Status Code下面写着“upstream connect error or disconnect/reset before headers. reset reason: overflow”。他配字：“刚上线五分钟”。我回复了个OK，顺手把凉皮盒子扔进站台垃圾桶，盖子扣歪了，油渍蹭到垃圾桶蓝色塑料外壳上，像一小片不规则的云。

　　现在我正用手机热点连公司跳板机，写这条消息的时候，屏幕右上角显示信号格只有两格。等会儿还得去把B12机柜最底下的那个PDU插座重新拔插一次——上周五暴雨后它就开始间歇性掉电，每次断的是A相，B、C相照常供电，所以Kubernetes的node status还是Ready，只是上面跑的pod全变成NotReady，直到你手动kubectl drain再uncordon。这事跟深度学习部署没半毛钱关系。但你得干。我刚刚瞥见王璐在Slack里说她点了黄焖鸡，米饭多加一份。我现在肚子也饿了。先去食堂。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!