quicX 简史
距离 quicX 写下第一行代码,已经过去了很多年,久到有些模块重构了多次,最初的想法都已漫漶不清了。
大概是2017年,我写过 cppnet,一个 TCP 网络库。写 cppnet 的那段时间,是我对网络最懵懂也最兴致勃勃的时期:照着经典书籍和成熟开源库,把 epoll、线程模型、缓冲区管理一样样搭建拼接起来,one loop per thread,内存池,惊群处理,每弄明白一个问题,都觉得自己又往网络的深处走了一步。前后历时半载,库写完了,能跑能用,性能不差,颇有几分成就感。然而很多年后回头看,那时引以为豪的这些东西,都是站在 TCP 的肩膀上搭积木。可靠性是内核给的,丢包重传、拥塞控制、流量控制、按序交付,都在看不见的地方被打理得井井有条,我调用的每一个 send 和 recv 背后是一整套运转了几十年的可靠机制。为了学习这套机制,我读了不少网络协议的经典书籍,自以为已经了然于胸。
于是摩拳擦掌,准备写一个可靠 UDP 传输的网络库,这就是 hudp 仓库的由来。最初的想法有些想当然:TCP 的可靠性,无非重传和超时,把这两样搬到 UDP 上,不就是一套自己的可靠传输?还顺手甩掉了 TCP 的历史包袱,轻装上阵。结果测试发包的时候传输效果一直不如意,时快时慢,丢包一多就雪崩,和 TCP 一比就原形毕露。起初只当是哪里写错了,翻来覆去查了几遍,才发现代码没写错,是把可靠想简单了。包会丢、会乱序、会重复,往返时延要测量,重传超时要评估,发包速率要节制,公网要避免拥塞,带宽要探测。把每个机制的原理说清都要耗费不少口舌,况且要全部可靠的编码落地。
就是在找资料的过程中,我偶然发现了 QUIC。翻开 RFC 的那一刻突然眼前一亮:原来早有人在这片水里把航道都标了出来。QUIC 把 TCP 在内核里做的一切搬到了用户态,在 UDP 之上重建可靠性,还把队头阻塞、握手慢、连接迁移这些 TCP 的老毛病一并处理了。读得越多越觉得:此我所欲也,于是一头扎了进去。这是 quicX 的开始,那时我完全不知道,这个选择将耗费多少时间。
动手之前也掂量过 QUIC 的复杂度,自认为写过两个网络库,不算两眼一抹黑。但真做起来才发现,难度差别是数量级的。要实现的远不止一个协议,而是一整个协议族:传输层本体之外,要把 TLS 1.3 结合进握手流程,把 HTTP/3 和 QPACK 套在上面,加密密钥的层级随连接阶段一路演进,每一层都有自己的状态机,全部协议像是一个精密啮合的机械,每个齿轮的位置和转速都不能有丝毫偏差。早期资料寥寥,能翻的只有几份 RFC;工业级实现倒是有几个,读起来却晦涩难解。而比读不懂代码更艰难的是调试,在 UDP 上做比特级的包传输和序列化,往往失之毫厘,谬以千里:一个 bit 的错位,一次内存的拷贝失误,传输就必然失败。而协议失效的时候,没有报错,没有堆栈,只能不停的断点分析,抓包看传输的数据流细节。那几年阻塞过多少次,已经数不清了,只记得很多次对着抓包看到深夜,屏幕上密密麻麻的十六进制,看久了,字都在晃,不可谓不艰难。
热情这种东西,其实经不起漫长的消耗,一个问题卡上几周,生活的其他事情掺杂进来,进度就搁下了。可白天忙别的,夜深时还是忍不住会想为什么。完成的东西会安静,没完成的东西会一直出声。隔上一段时间回头,以前卡住的地方,总能幸运的找到答案。于是推进一阵,卡住,搁下,再回来,quicX 就这样一寸一寸地往前挪。
前 AI 年代遇到费解的问题,当真是百思不得其解,很多问题其实已经达到了我的认知边界。书不会回答问题,搜索引擎只会把同样的解释换一种排列,身边没有一个人可以讨论,卡住就是卡住。AI 正好补上了这个缺口。以前,一个卡点要自己不断地添加日志,抓包找证据,再参考其他实现反复对比,反复分析,有了AI以后自己可以将这些琐碎的工作都交出去,只讨论决策和设计分歧,在项目的迭代过程中,AI能力愈发强大,配合起来也愈发熟练。最近两年,quicX 的进展越来越顺,说突飞猛进也毫不为过。我后来写过不少 AI 编程的文章,讲方法论,讲工程纪律,若论亲身体会,quicX 是第一个让我真切感到个人生产力被极度放大的工程。
就这样修修补补,项目终于算是有所小成。为了验证成色,我对 quicX 进行了 QUIC 互通性测试,和 lsquic、s2n-quic、neqo、Chrome 这些主流实现同场互通:协议功能的合规通过率到了九成以上,握手、HTTP/3 事务、单流吞吐这些场景拿到了满分。当然还有不足,连接迁移、端口重绑定这些场景的通过率还不理想,也还在继续完善。这样的成绩谈不上惊艳,那些工业级实现背后是成建制的团队,而 quicX 断续多年,几乎由一个人写就。但对个人项目而言,能和最主流的一批 QUIC 实现对上话,总算是站到了像样的位置上。
至于技术层面,为什么需要 QUIC,实现一个 QUIC/HTTP3 库要处理哪些问题,之前写过一篇长文专门讨论,感兴趣的同学可以移步一观。从底层的 socket 收发包,到顶层的 HTTP 语义,整条链路都是自己一行一行写的,写下来才真的明白:看懂一个协议,和把一个协议从 RFC 写成能跑的代码,是完全不同的两回事。滑动窗口看过一万遍,不如亲手决定一次窗口更新的发送时机。
近两年 AI 之风日盛,infra、agent、skill 之类的知识和项目铺天盖地,今天一个框架,明天一个范式,人人都在追赶浪潮。这时还在写一个 C++ 的传输协议库,未免显得复古老登。而帮我把 quicX 写完的这股技术趋势,恰恰让底层协议这个题材显得过时,这中间的错位,一时让人恍惚。无论如何,quicX 终于算是达到了一个可以发布的节点,代码就在这里:https://github.com/caozhiyi/quicX。
今年是做程序员的第十个年头,要说手艺人得有个代表作,quicX 算是我目前最得意的作品。至于未来 AI 时代技术会怎么发展,这些前 AI 时代的技术资产究竟价值几何,时间自会给出答案,我还会继续完善一些细节,算是给过去那些深思而难眠的夜晚,一个简单的交代。