外观
07 - TCP 拥塞控制与带宽时延积
前置阅读:02 - 分段与MSS、06 - 接收窗口与恢复。测试采用A。
本文用 RFC 5681 的 Reno 基线解释窗口如何增长和收缩,再介绍 RFC 9438 的 CUBIC。基线用于理解机制,不代表所有 TCP 实现;内核默认算法、BBR 版本、发送节奏控制(pacing)、初始窗口和工具字段都需按实际环境核验。
摘要
网卡标称带宽很高,单条 TCP 连接却未必能达到同样的传输速率。发送端需要在等待确认期间持续发送足够的数据,也要避免给网络和接收端施加过多负载。本文先用带宽时延积估算需要多少在途数据,再解释拥塞窗口如何探测容量,最后通过对照实验区分应用、接收端、网络和测试主机的限制。
1. 现象:并行跑满,单连接跑不满
同一路径上,一条连接传得慢,四条连接的总速率却能接近带宽上限,原因可能不止一个。每条连接有自己的拥塞窗口,多条连接可能更快累积在途数据;如果路径按单条连接限速,多条连接也可能获得更高的总额度。这种按规则限制发送速率的机制称为流量整形。新版测试工具还可能给不同流分配不同 CPU 线程。
因此,“并行更快”只能作为排查线索,还不足以证明窗口太小。应先排除测试端处理能力、丢包、接收应用读取不及时和整形等因素,再决定是否扩大缓冲区或切换算法。
先问:测的是应用有效载荷、TCP数据还是接口字节?连接仍在启动吗?对照是否使用相同方向、时长、主机和背景流量?
2. 原理:BDP不是调参答案
在途数据是已经发送、尚未收到确认的数据。TCP 不必每发一段就停下来等确认,但可持续的在途量仍受窗口限制。若这一额度用完而确认尚未回来,发送端就无法继续增加在途数据,即使链路还有空闲容量。
往返时间(RTT)表示发送数据到收到对应确认的时间。要在等待反馈的这段时间里保持链路忙碌,需要准备的在途量大致等于“每秒能传多少 × 要等多少秒”,这就是带宽时延积(BDP)。
令 B 为路径可用瓶颈速率,即这条路径中限制传输速率的可用容量。计算时须统一单位和测量边界:
text
BDP_bytes ≈ B_bits_per_second × RTT_seconds / 8
窗口受限的理想goodput上界 ≈ 可持续有效在途字节 / RTT_seconds
goodput同时不超过路径可用容量和应用供给/消费能力这里的 goodput 指单位时间内传输的应用有效载荷,不包括协议开销或重复传输的字节。若每个 RTT 最多能持续推进一个窗口的数据,用窗口字节数除以 RTT,便得到窗口受限时的理想速率上界;应用供给、接收消费和路径容量仍可能使实际速率更低。
1Gbps、80ms 对应 1,000,000,000 × 0.08 / 8 = 10,000,000 字节,约 10MB 或 9.54MiB;若可持续在途只有 1MiB,窗口上界约 13.1MB/s,即 104.9Mbps。MB 按十进制计量,MiB 按二进制计量,1MiB 为 1,048,576 字节。这里忽略开销和损失,是算术推演,不是实测承诺。
B 不能直接取网卡标称速率:共享流量、整形和协议开销都会降低可用容量。RTT 也可能包含排队时间,而排队可能正是测试负载造成的。若把增大的 RTT 代入公式后不断扩大缓冲区,就可能继续增加队列中的数据,让等待更长。这种缓冲积压导致时延膨胀的现象称为 bufferbloat。因此,BDP 用于建立容量假设,不能直接当作缓冲区配置;应同时记录轻载与负载下的 RTT、吞吐和队列变化。
2.1 不同预算不可互换
| 量 | 谁维护/保护什么 | 边界 |
|---|---|---|
接收窗口 rwnd | 接收端通告可接收范围,保护接收端 | 应用停读可能使窗口缩小,详见06 |
拥塞窗口 cwnd | 发送端限制网络在途负载 | 由反馈与算法更新,不是 Socket 内存大小 |
| Socket 缓冲区(Buffer) | 内核为连接存放数据的资源 | 请求值、实际值、自动调节和记账方式依实现 |
| 应用队列 | 待编码、待写、待处理任务 | 增大队列可能只增加等待 |
普通发送同时受 rwnd 和 cwnd 约束,可以先用 min(rwnd,cwnd) 理解总额度:接收端和网络两条边界中,较小的一条先起作用。已有在途数据占用了部分额度;丢失恢复、pacing 和应用数据供给还会限制何时能够发送。pacing 控制发送节奏,即使窗口有余量,也不一定立即把数据全部发出。工具中的 Send-Q 是发送队列观测字段,不能直接当作全部网络在途字节。资源预算进一步见18。
3. Reno推演与实现边界
发送端通常不能预先知道路径可用容量,需要根据反馈调整 cwnd:有新数据被确认时尝试增加负载,出现丢失等信号时降低负载。Reno 的慢启动、拥塞避免和损失恢复,是理解这一过程的基线。
3.1 慢启动为何可能近似指数增长
先明确三个参数:SMSS 是发送端使用的最大报文段数据长度;IW 是连接开始发送时的初始拥塞窗口;ssthresh 是慢启动阈值,用来区分慢启动与拥塞避免阶段。
慢启动从较小窗口开始,但增长并不一定慢。在 RFC 5681 基线中,确认新数据的 ACK 会按规则增加 cwnd。假设每个报文段都有及时 ACK,一个窗口的数据被确认后,发送端既释放了原有额度,又得到新增额度,因此下一轮可能发送接近两倍的数据。只有数据充足、ACK 足够且没有其他限制,才有“每 RTT 接近翻倍”的轨迹。
窗口达到阈值附近后,拥塞避免采用更缓和的探测,基线目标约为每 RTT 增加一个 SMSS。延迟确认(Delayed ACK,即接收端不立即逐段确认)、短流、rwnd 和确认计数策略都会改变实际增长过程。
text
教学假设:SMSS=1000字节,初始cwnd=4000,ssthresh=16000字节
每段一个及时ACK,数据充足,无丢包、流控限制
理想轮次:4000 → 8000 → 16000字节
拥塞避免的基线目标约每RTT增加一个SMSS,不继续翻倍4000 字节只是教学假设,不是所有系统的初始窗口。RFC 6928 讨论扩大 IW 的实验性方案,不能据此宣布所有连接都采用 IW10(初始窗口为 10 个 SMSS)。当 cwnd 等于 ssthresh 时,RFC 5681 允许选择慢启动或拥塞避免;上述轮次不是内核逐 ACK 更新的记录。
RFC5681的慢启动基线按新确认字节数N更新:cwnd += min(N, SMSS),不是每收到任意ACK都增长。拥塞避免的一种近似更新是每确认新数据的ACK增加SMSS²/cwnd字节;累计约一个窗口的确认后,增长量约一个SMSS。整数舍入、延迟确认和字节计数需按实现处理,不能将这条算式当作完整算法。
只考虑理想翻倍时,达到目标在途量W所需轮次约为ceil(log2(W/IW)),W小于IW时取0。这帮助解释短请求为何尚未进入稳定期就结束,但实际增长受ACK策略、阈值、窗口和数据供给影响,不能将轮次乘RTT写成保证的完成时间。
3.2 信号与恢复动作不同
拥塞信号与恢复动作需要分开看。重复 ACK 可能给发送端提供连续数据存在缺口、需要提前重传的线索,但乱序和重复报文也可能产生重复 ACK;重传超时(RTO)则表示计时器到期仍未取得所需确认。经典 Reno 对两者采用不同的窗口调整方式,不能把它们都概括成“丢包后窗口减半”。下表中的 FlightSize 指尚未累计确认的数据量。
| 基线/算法 | 核心解释 | 不应写成 |
|---|---|---|
| Reno经典快速恢复 | 三个合格重复ACK等条件触发;按FlightSize估计阈值,恢复有暂时窗口调整 | 每丢一个包就将所有窗口精确减半 |
| RTO恢复 | RFC5681基线降低阈值,并限制为损失窗口后重新慢启动;计时见06 | 与快速恢复完全一样 |
| CUBIC | 用距拥塞事件的时间、历史窗口构造增长,也有Reno友好机制 | 只看ACK数,永远每RTT加1 |
| BBR | 主要出发点为带宽/传播时延模型,损失响应和状态依版本 | 不受丢包影响,必然最快或最公平 |
显式拥塞通知(ECN)在双方协商且路径支持时,可以通过拥塞标记提供反馈,所以无丢包也不能排除拥塞。排队和负载时延是补充证据,单个 Wireshark 分析标签不能确定内核使用的算法。BBR 的具体行为取决于目标发行版和实现版本,不能据此给出通用的收益百分比或切换建议。算法比较还需考虑竞争流之间的公平性、主动队列管理(AQM,即主动标记或丢弃报文以控制队列的机制)、RTT 和 CPU。
RFC 5681 经典损失恢复的阈值按规则设置,不大于 max(FlightSize/2, 2×SMSS);不能直接用当前 cwnd 替换 FlightSize。三个合格重复 ACK 触发的经典快速恢复暂时将 cwnd 设为 ssthresh+3×SMSS,额外重复 ACK 及退出恢复还会改变它;RTO 后则限制 cwnd 到不超过一个 SMSS 的损失窗口并重新慢启动。选择性确认(SACK)补充报告已收到的非连续区间,RACK 根据发送时间和确认信息判断丢失,详见06。这些机制及其他算法会改变实际记账,上表不是所有现代内核的逐行实现。
3.3 CUBIC为什么不是简单的每ACK加固定量
其核心目标曲线可用段为单位表示:
text
W_cubic(t) = C × (t-K)³ + W_max
K = cube_root(W_max × (1-beta_cubic) / C)W_max 是相关历史拥塞事件前的窗口,t 是该增长阶段的时间,beta_cubic 表示损失后的窗口保留比例,C 控制曲线尺度,K 对应曲线回到旧峰值的时间位置。cube_root 表示立方根。
这条曲线把旧峰值作为探测参照:接近旧峰值时增长变缓,越过后继续探测更大的窗口。它因此不能用 Reno 的“每 RTT 加一个 SMSS”概括。实际 CUBIC 还结合与 Reno 增长作比较的友好区域、调整历史峰值的快速收敛机制、慢启动和 ACK 更新。上式只解释核心形状,不是可直接替换 Socket 发送循环的实现;参数、时间补偿和目标内核代码仍需另行核验,beta_cubic 也不是 TCP 的统一常数。
4. 实验:环境与对照矩阵
以下为 Linux/iperf3 实验方法,尚无对应实测记录。iperf3 用于生成测试流量并报告传输结果;只在授权且容量明确的路径测试。A 的双 Namespace 拓扑使用独立网络命名空间隔离网络环境,Veth 是连接它们的虚拟以太网接口对,不是 1Gbps 专线。模拟速率上限需另行核验整形;netem delay 模拟延迟,不是限速。先记录工具版本、内核版本和系统算法配置:
bash
iperf3 --version
uname -r
sysctl net.ipv4.tcp_congestion_control
sysctl net.ipv4.tcp_available_congestion_control测试端启动一次服务:
bash
sudo ip netns exec kb-net-b iperf3 -s -1 -B 10.200.0.2客户端执行一轮,保存两端日志,每组重启服务端:
bash
sudo ip netns exec kb-net-a iperf3 -c 10.200.0.2 -t 10 -O 2 -P 1 -J随后每组只改变一个变量:用 -P 4 比较四条并行流,用 -R 比较反向传输。-t 限制测试时长,-O 忽略启动区间,-J 以 JSON 输出结果,-B 限制监听地址。-1 表示服务一轮,并不为等待连接设置自动截止时间,仍需另设整体截止。字段和结束行为须核对本机版本。以上地址来自 A,应在对应 Namespace 执行;其他路径须替换为授权目标。
iperf3从3.16开始可为每流使用独立线程;并流收益也可能来自CPU利用方式变化,不能只解释为cwnd。Windows等平台的版本能力需单独核验。
| 对照 | 想验证 | 不能唯一归因的原因 |
|---|---|---|
| 1流→4流 | 单流增长、恢复或整形约束 | CPU、竞争和总在途量都可能改变 |
| 正向→反向 | 路径方向差异 | 端点发送/接收角色也交换 |
| 启动→稳定阶段 | 短流未完成容量探测 | CPU预热、统计窗口、背景流量也变化 |
| 同路径重复多轮 | 分布是否稳定 | 少量样本仍不证明生产尾部 |
5. 观测:单位、时点与关联范围
需要在传输期间从另一个终端观察,才能把速率变化与窗口、RTT 和恢复动作对齐;连接结束后再看,可能已经没有该连接的状态。以下命令分别查看连接信息、接口计数和队列规则(qdisc)统计:
bash
sudo ip netns exec kb-net-a ss -tinm '( dport = :5201 or sport = :5201 )'
sudo ip netns exec kb-net-a ip -s link show dev kb-a
sudo ip netns exec kb-net-a tc -s qdisc show dev kb-a| 证据 | 用途 | 限制 |
|---|---|---|
| RTT、cwnd、MSS、重传、算法名 | 对齐增长、窗口和恢复 | Linux的cwnd常按段显示,乘现场MSS才近似字节,不套1460 |
| ss内存信息 | 区分窗口与内存记账 | 缺字段不猜0,按工具/内核版本解释 |
| 接口/qdisc增量 | 本地排队和丢弃 | 接口级,不是单流全部损失 |
| 两端CPU、每流结果 | 测试端上限 | 总CPU不高仍可能单核饱和 |
| 双端抓包文件(pcap)与应用时点 | 路径缺失与未消费 | 捕获和网卡卸载(Offload,即由硬件承担部分协议处理)见21 |
在 A 拓扑中进入正确 Namespace,并使用对应接口;物理机另查驱动和 Offload,不能直接套用 kb-a。接口和 qdisc 计数应比较同一测试区间的增量,避免把此前或其他连接的活动归到目标流。
NetworkTransferDemo.java只用于固定字节数和摘要的功能对照,不是拥塞基准:它请求小Buffer、传16MiB,无长期稳定期及拥塞观测。不可把已有Windows完成时间改写成CUBIC性能证明。
6. 排障:用反证选修复层次
先把速率下降的时间与候选限制对齐,再寻找反证。例如,窗口有余量但应用没有持续写数据,应先查数据供给;窗口缩小与接收端停读同步,则先查消费路径。下面的信号用于缩小范围,单独一项通常不足以确定原因。
| 假设 | 支持信号 | 反证/下一步 |
|---|---|---|
| 接收消费不足 | rwnd/零窗口与停读同步 | 检查读取线程与垃圾回收(GC)停顿,再判断原因 |
| 应用供给不足 | CPU、调度、读盘或写节奏受限,窗口有余量 | 用不含业务处理的测试载荷与 CPU 证据对照,见并发14 |
| 恢复/排队受限 | 序列缺口、RTT增长、反馈与速率同步 | 双端完整采集,不只看累计重传 |
| 单流/总量整形 | 重复对照中,单流或总速率稳定在相应上限附近 | 核对路径配置,排除测试端单核上限 |
| Socket内存限制 | 实际缓冲和写入限制有效在途量 | 验证缓冲区自动调节(autotuning),不以系统允许范围代替当前连接实际值 |
单变量复测goodput、负载RTT、错误率、CPU和竞争流,不只保留最高Mbps。跨节点路径与封装见云原生12。
7. 工程取舍、导航与依据
12的连接复用可降低短请求重复握手与启动成本;并流增加状态、公平性压力,见18。小消息等待转19,高吞吐不等于低延迟。
网络cwnd限制在途字节,应用并发限制业务任务。二者均有反馈和容量边界,但不可套同一单位/固定参数;对比并发33,下游慢不等于带宽不足。
- RFC5681:慢启动、拥塞避免与经典恢复基线。
- RFC9438:CUBIC机制,与目标内核实现分开讨论。
- RFC6928:扩大初始窗口的实验性方案,不是所有系统默认值。
- iperf3官方参数:测试选项及3.16并流线程变化。
验收点:用单位正确的窗口上界建立假设,以方向、负载与CPU对照排除非网络瓶颈。