后记:状态住在哪里
这本书开头说过一件事:云网络资料里缺的是中间那一层,这个产品为什么存在、它解决什么、代价是什么。写到最后一章,回头问一句,这层补上了多少。
补上的部分,在于每一章都能追到一个具体的约束。VLAN 只有 4094 个编号,租户一多就不够,于是有了 VxLAN,有了 VTEP 落在哪里的争论,有了 VPC 这个产品。ARP 不能广播,跨子网不能走集中网关,访问控制不能事后补,这些“不能”一个个逼出了机制。公网、互联、混合云、全球加速、安全防护、可观测与流量治理,每一卷都在回答上一卷留下的问题,同时留下新的问题给下一卷。如果读到现在,面对一个没见过的云网络产品,你习惯先问“它在躲哪个约束”,那么前言里想做的事情,算是做到了一部分。
没补上的部分,也该说清楚。这本书讲的是云网络的主干,没有讲 IPv6 如何在云上铺开,只在 NAT 一章里提到它没有消灭 NAT;也没有讲零信任,没有讲存储网络,没有讲网络配置如何用代码管理。这些都不是小话题。书里选的是一条能连成因果链的主线,链外的东西,宁可不写,也不拿一句话打发。
一条贯穿的线
写完再读,发现有一条线,我在写每一章的时候并没有刻意去连,它却一直在。
第 13 章讲 NAT 网关,有一段话当时只是顺带提醒:多台承载节点分担流量时,同一条连接的所有包必须走同一台,因为连接追踪表是本地状态。“这是有状态网络设备的通病:状态越多,扩展越难。”
第 15 章的负载均衡又碰到它。ECMP 把连接哈希到不同的 LB 节点,节点数一变,哈希结果就变,原来的连接落到一台没有它记录的节点上,包被丢掉。一致性哈希能少挪一些,节点之间同步连接表能彻底解决,代价是同步的开销。第 16 章把这件事推到七层:会话保持靠 Cookie,让用户一直落在同一台后端,换来的是负载均衡不再简单,得替后端记着“谁在哪里”。
第 30 章回头把它算了一遍:ECMP 重新哈希,对没有状态的新连接无感,对已有连接则是部分有损,真正的风险在路径上那些有状态的设备。
把这几处并排放:NAT 的连接表,LB 的连接表,Cookie 里的会话,路径上有状态设备的记录。它们是同一个结构:状态一旦住进某台设备,路由就得跟着状态走,扩缩容和故障都会让状态丢失。所有的补救,一致性哈希、节点间同步状态、把状态外置,说到底是在三种代价里选一种:让路由更复杂,让设备之间更啰嗦,或者把状态搬到别处去。
这条线我不想夸大。它不是全书唯一的主线,也解释不了多租户隔离或者全球加速。但它有一个好处:可以回头验证,每一处都在具体的章节里,有具体的机制。
回到开头
前言里说,这条因果链散落在 RFC、邮件列表、会议幻灯片和少数工程师的博客里,没有人串起来。三十一章写下来,这条链是串起来了,但不是串完了。云网络的很多细节随厂商和版本在变,同一个产品在不同云上的做法也不尽相同,书里讲的是共通的设计动机,落到某一家的具体参数和行为,请以对应的官方文档为准。这也是这本书的一部分:写它的人也在不确定里。
下一次遇到一个陌生的云网络产品,也许可以先问两个问题:它在躲哪个约束,它把状态放在了哪里。
参考资料
- Maglev: A Fast and Reliable Software Network Load Balancer (NSDI 2016)。负载均衡器用一致性哈希与连接跟踪,把“状态住在哪里”的问题交给算法。
- RFC 3022: Traditional IP Network Address Translator (Traditional NAT)。NAT 把连接状态放在网关里,是这条主线的起点之一。
- Addressing Cascading Failures (Google SRE Book, Chapter 22)。故障发生后,重试、过载与状态恢复如何互相放大。