大数据架构师必懂的5大实时计算技术要点

　　去年十一月，我蹲在西溪园区B3栋机房里看Flink checkpoint失败——空调外机哐哐砸墙，像有人拿扳手敲铸铁管。监控屏右下角时间跳到03:17:22，小陈蹲在地上拧紧一个松动的NIC卡扣，他左手腕上那块表带早裂了，露出底下灰白的胶垫。

　　实时计算这摊子，现在还敢吹“流批一体”？真一体了，你让我看那个Kafka Consumer Group Offset漂移三万条的job，它倒是统一流式处理啊，结果下游Spark SQL查出来全是NULL。我原以为是水印设得太激进，结果扒开TaskManager日志发现——它连WatermarkGenerator都压根没加载，配置文件里写的是watermark-strategy，实际跑的是flink-table-common-1.15.4.jar里的默认空实现。这个我敢打包票，我亲手cat过jar包MANIFEST.MF。

　　赵工昨天在钉钉群里甩出一张图：Flink on YARN的container复用率98.6%，底下标着“资源利用率优化达成”。他喝了一口桌上的冰美式，杯底还粘着半片柠檬皮。我没回。去年七月我们为这事吵过——他们把slot数硬塞到8核16G，结果反压一来，GC停顿直接拉到两百一十八秒，而TaskManager内存里存着七千三百二十个StateBackend句柄，全指向同一个RocksDB实例。谁干的？李工改的配置模板，他改完顺手关掉了state.backend.rocksdb.predefined-options那一行注释——但根本没配predefined-options的值。没人补，没人测，就上线了。

　　机房顶灯滋啦闪了一下。我听见隔壁柜子传来“啪”的轻响，像谁把U盘拔掉了。然后王工接了个电话：“喂？嗯……对，那个CDC链路，再拖两天吧。”他讲话时右手无意识地搓着工牌绳，把蓝色挂绳搓得发毛，最后绕成一个死结。

　　五大要点？哈。第一个就是别信Schema Evolution能自己长脑子。Debezium推过来的avro schema变了字段顺序，Flink SQL一读就崩——不是因为没开changelog-mode，是AvroDeserializer在反序列化时把union类型当成了固定位置索引。我们盯了六小时，最后发现bug在org.apache.flink.formats.avro.AvroRowDeserializationSchema#deserialize()里第214行，它调用了getGenericRecord().get(i)，而不是getGenericRecord().get(schema.getFieldNames().get(i))。官方修是修了，但只打了1.18.1的patch，我们用的1.17.2——这版本号我记得特别清，因为我上周刚骂完运维不肯升级。

　　我桌上那份盒饭凉透了，红油浮在表面，凝成薄薄一层蜡似的膜。葱花蔫在最上面，像几根断掉的天线。

　　第二个要点是反压检测永远比反压本身慢半拍。你去看NetworkBufferPool，buffer数量跌到阈值以下的时候，TaskManager早就开始OOM Kill了。我见过最邪门的一次：反压信号从Source传到Sink花了十四轮心跳周期，中间有三轮被YARN RM的RPC重试吃掉了。这不是设计问题，是Flink心跳超时配置跟YARN客户端超时配置冲突导致的。但没人愿承认——毕竟两个超时参数一个叫heartbeat.interval，一个叫yarn.client.failover-retry，名字差这么远，谁会想到它们得保持2:1关系？

　　第三个要点……算了，说个别的。前天路过测试楼，看见新来的实习生在往Kafka Topic里灌JSON字符串，手动拼key，键名用的是“user_id_”加时间戳再MD5——结果发现他MD5用的是Python hashlib.md5(b’user_id_’ + str(ts).encode()).hexdigest()，而线上服务用的是Java的MessageDigest.getInstance(“MD5”)，输入字节序不同，key分片彻底错乱。他盯着Kibana里跳动的lag指标，眨了三次眼，都没敢按F5刷新。这事儿跟我无关，但我记住了——他左手小指缺了半截甲盖。

　　第四个要点是Exactly-Once靠不住，除非你敢把所有StateBackend全换成EmbeddedRocksDB+本地磁盘，还关掉所有异步snapshot。但谁敢？上周生产环境用RocksDBStateBackend跑checkpoint，一次成功，两次成功，第三次……磁盘IO堵死，Write Stall触发，整个job卡在barrier对齐阶段不动。而HDFS上的completed checkpoint目录里，只有meta文件，没有state文件。运维说“HDFS namenode GC停了八分钟”，我问他：“namenode GC停了，为啥TaskManager不报错？”他挠头笑，手机微信弹出一条：“娃发烧39.2℃，妈刚打来。”

　　第五个？我其实没想好第五个。今天早上在电梯里遇见张总监，他说“实时计算要往AI推理那边靠”。我说：“那你先把UDF的classloader隔离做明白再说。”他嗯了一声，按了23楼，电梯门合上之前，我看见他工牌背面贴着一张便签，上面写着“2023Q4 OKR-1.2：推动Flink与Triton集成POC”。便签右下角画了只歪嘴猫，用圆珠笔涂黑了眼睛。

文章配图，仅供参考

　　优胜劣汰？对。淘汰那些还在用LocalDateTime.parse()解析ISO8601字符串的UDF；淘汰那些把eventTime和processingTime混在同一个窗口里调度的作业；淘汰那些相信“Kafka保证Exactly-Once所以下游随便写”的架构师。可淘汰不了需求方下周就要的报表，淘汰不了PM指着Dashboard问“为什么这张图延迟两小时”，也淘汰不了我昨天改完的那行代码——把env.enableCheckpointing(60_000)改成env.enableCheckpointing(30_000)，结果下游消费方还没适配，我就先被叫去解释为什么checkpoint失败率涨了十七倍。

　　我现在在等运维把B3栋空调外机的减震垫换掉。他们说今晚十点后进场，但我刚收到消息，物业临时通知——今晚停水，施工延期。我看了眼窗外，雨还没停。雨水顺着玻璃往下淌，在窗框积成一小洼，倒映着对面楼里三盏没关的灯。

（编辑：站长网）

【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容!