外观
14 - 请求进入网卡后发生了什么:内核网络路径、唤醒与 socket 队列
摘要
端口正在监听,为什么请求仍会超时?因为监听、数据到达、应用读取和业务处理是不同的阶段,每个阶段都可能等待。本文先建立包、字节流与请求的基本模型,再沿 Linux 接收和发送路径解释设备处理、socket 队列与应用唤醒,最后用本地 TCP 示例和分层只读检查说明各类证据能证明什么。
阅读指引
- 前置阅读:I/O 模型与 epoll,理解就绪、部分读写与 EOF;调度,理解唤醒不等于立即执行。
- 本文定位:应用与 Linux 网络栈之间的执行路径和队列,不重复 TCP 完整状态机、IP 选路或 Kubernetes CNI 的全部实现。
- 适用边界:以普通 Linux TCP/socket 路径为主。虚拟网卡、本地回环(loopback)、XDP 早期包处理路径、硬件卸载、忙轮询、线程化 NAPI 与内核版本会改变具体路径,图示不是固定函数调用栈。NAPI 及相关机制在接收路径中展开。
- 示例要求:Python 3.8+。只监听
127.0.0.1的动态端口、传一个短消息,有超时和线程清理,不开公网服务。 - 验证边界:本地 TCP 示例用于验证协议和应用回执,不经过物理网卡,不能测出硬件中断(IRQ)、NAPI 批次、丢包率或外网性能。Linux 命令及驱动指标需在目标环境验证。
1. 场景:监听端口存在,为什么业务仍超时
考虑这样一个场景:某服务的 ss -lnt 输出显示端口正在监听,健康检查也能连接,但高峰期少数请求的耗时明显变长,形成长尾。此时直接增大 socket 缓冲区,或认为“TCP 没断,说明网络没问题”,都不足以解释等待发生在哪里。
Socket(套接字)是应用使用网络通信的接口对象。对 TCP 服务,监听 socket 等待新连接,应用通过 accept 取得已连接 socket,再通过 recv 和 send 收发字节。监听只表示当前网络视图中存在监听对象;连接成功说明建连步骤已完成,但不保证应用已经接受连接。数据可读也不代表应用及时读取,读取完更不代表业务已处理。
理解这条路径,先区分三个单位:网络以包或帧传输数据;TCP 向应用提供有序字节流;应用协议再从字节流中解析请求。它们的边界不一致,一条请求可能跨多次 recv 才读完,一次 recv 也可能包含多个请求的数据。
可以先把时间线分成:
text
调用方取得发送机会 → 连接建立或复用 → 字节发送
→ 网络路径与接收处理 → socket 可读 → 应用获得 CPU
→ 读入并解析完整请求 → 业务处理 → 响应发送与接收复用连接的请求没有新的握手;等待连接池分配连接时,请求甚至尚未发送。排障应先找出时间线中最早未完成的一步,再选择能观察这一步的证据。
2. 接收全景:包到达后,谁在什么上下文处理
可以把接收过程分成三项职责:设备与驱动把到达的数据交给内核,协议栈处理连接状态和数据,应用读取字节并解析请求。NIC(Network Interface Card)是网卡;Driver 是连接设备与内核的驱动。虚拟网络接口可能没有同样的物理硬件路径。
图表将在阅读到此处时加载…
图示描述的是数据交付给本地 TCP 应用的主要职责。真实路径可能提前丢弃、转发、走快速路径或被其他机制处理;链路、路由与过滤的先后也不表示固定的 Netfilter hook(Linux 包过滤框架的处理挂点)顺序。
这里最容易混淆的是最后几步。可读表示可以尝试读取,唤醒使等待线程有机会继续运行,调度才决定线程何时获得 CPU。 使用事件循环时,还要等循环处理对应就绪事件。因此,内核已有可读数据,而应用因调度或其他任务迟迟没有调用 recv,两者可以同时发生。
2.1 DMA 与接收队列:不是每包都由业务线程搬进内存
DMA(Direct Memory Access,直接内存访问)让设备在受控条件下与内存传输数据。普通硬件接收常使用驱动预先准备的缓冲区和描述符;描述符用于记录缓冲区位置等管理信息。业务线程不需要直接搬运每个到达网卡的包,而是在后续通过 socket 接口读取数据。
Rx Ring(接收描述符环)是设备和驱动组织这些接收资源的常见结构。它与 TCP 接收队列、应用字节缓冲区(如 ByteBuffer)是不同对象:前者服务于设备接收,后两者分别服务于协议交付和应用处理。
各层的缓冲资源和处理能力都有限。某一层积压可能造成丢弃或延迟,但应用读取慢只能说明消费环节需要检查,不能据此断定 Rx Ring 已溢出;后者需要设备和驱动这一层的计数支持。
2.2 中断、NAPI 与软中断怎样协作
Interrupt(中断)是设备等向 CPU 通知事件的机制。若把高负载接收理解为每个包都触发一次中断并完成全部处理,就会忽略通知本身的成本。NAPI 是 Linux 驱动处理网络事件的接口,常把事件通知与批量轮询结合,让一次处理可以推进一批接收工作。
常见流程是:设备通知事件,驱动安排 NAPI,NAPI 的 poll 方法按接收 budget 处理一批工作,尚有工作时继续安排处理。Budget(预算)限制一次接收处理的工作量,不是应用请求数,也不是永久的带宽上限。这里的 poll 是驱动回调,与应用等待 I/O 就绪的 poll 系统调用职责不同。
Softirq(软中断)是内核延后处理工作的一种机制,NAPI 通常可在相关上下文中执行,某些工作也可能由内核线程继续处理。此外,线程化 NAPI 可由线程执行处理,忙轮询则主动检查是否有工作。这些选项改变执行方式,因此不能把网络处理都归到固定的业务线程上。
这说明 CPU 花在网络处理中时,进程 CPU 图未必完整反映全部系统成本;但看到软中断增加,也不直接证明某个服务网络路径有瓶颈。
2.3 skb 是内核数据表示,不是一条 HTTP 请求
skb,即 sk_buff,是 Linux 网络栈描述包数据与元信息的重要结构。它服务于网络栈的数据处理,不负责表示完整 HTTP 请求;协议头、数据分片和硬件卸载等还会影响它代表的数据范围。
GRO(Generic Receive Offload,通用接收卸载)可在接收侧聚合数据;GSO(Generic Segmentation Offload,通用分段卸载)和 TSO(TCP Segmentation Offload,TCP 分段卸载)则与发送侧的分段处理有关。卸载是把部分处理交给其他阶段或硬件完成,因此某些观测点看到的数据块可能与线上分段不同。抓包看见大块数据,不一定意味着物理网络传输了同样大小的一帧,skb 数量也不能直接换算成请求数。
精确包边界与双点取证见 tcpdump 与 Wireshark,不要把单点包计数直接当整个内核路径的工作计数。
3. 队列地图:哪些等待不能互相替代
| 层或对象 | 主要积累什么 | 高水位可能说明什么 |
|---|---|---|
| 网卡/驱动接收资源 | 待处理接收描述符与缓冲 | 资源不足或处理推迟,需驱动特定计数 |
| TCP 建连相关状态 | 尚未完成握手的连接状态 | 建连压力、路径或攻击等,不等于应用消息队列 |
| 监听 accept 队列 | 已完成建连、等待应用接受的连接 | accept 不够及时或突发,需状态与计数证明 |
| 已建立连接接收路径 | 可供应用读取的字节及管理状态 | 应用消费慢、调度或业务处理推迟等 |
| 应用输入/任务队列 | 已读入的协议数据或任务 | 已离开 socket 也可能排队,需应用计数 |
| 本地发送路径 | 待发送、已发待确认等相关数据 | 对端消费、流控、拥塞或下层发送等待等 |
| 应用输出队列 | 尚未交给 send 的响应 | 慢对端、无背压或事件循环停滞 |
读队列指标前,先确认它积累的是连接、字节还是任务。它们不能直接换算;一条连接可能承载多个请求,应用也可能已经读走数据,却尚未执行对应任务。
3.1 建连、收数据与处理请求:是不同的队列
text
握手阶段的相关状态
→ 已完成连接等待 accept
→ 应用取得连接 FD
→ 连接输入字节等待 recv
→ 解析完整消息,进入业务任务队列
→ 业务执行,响应进入待写队列
→ 本地发送与对端确认、消费accept 返回的 FD(文件描述符)是应用访问已连接 socket 的入口。图示按职责排列,不表示每层都是严格独立的 FIFO(先进先出)队列,也不要求应用接受连接后数据才到达。复用连接可承载多个消息,多路复用协议还有 stream(同一连接内的逻辑流)及相应准入规则。
listen 的 backlog 指定监听队列长度。在 Linux 2.2 以来的 TCP 实现中,它主要限定已完成连接等待 accept 的队列,并受系统上限 somaxconn 等条件约束;未完成握手状态受另一套规则和配置影响。因此,backlog 不能当作完整 HTTP 请求容量。应用即使 accept 很快,也可能随后在读取、解析或线程池中积压。
增加 backlog 可以容纳更多等待接受的连接,但无法补足持续不足的处理能力。应分别记录建连与 accept 时间、累计输入字节、任务已等待的时长以及待输出量。准入控制限制新工作进入;背压把下游消费限制传回上游,避免继续扩大积压。两者都要作用在实际等待的层。定义依据:listen(2),协议区别见 HTTP 复用与协议演进。
3.2 ss 的队列列要结合状态和类型解释
ss 是查看 socket 状态的工具。对常见已建立 TCP 连接,Recv-Q 可帮助观察未被应用读取的字节,Send-Q 可帮助观察尚未完成确认的发送字节。监听状态的这两列则涉及连接队列,含义不同。字段的具体统计范围随协议、工具和内核而异,应结合目标版本解释,不能统一当作字节数。
ss -m 的 socket 内存字段还包括接收分配、缓冲预算、发送排队与管理状态,不等于单条消息体长度,也不等于所有队列中的业务数据。
已建立连接的 Recv-Q 持续较高时,应检查应用读取速度、线程执行、协议解析与任务积压。这个值本身不足以证明网卡收包异常;它反映的是数据到了连接后仍未被应用消费。
3.3 把 buffer 加大,为什么可能只是推迟故障
更大缓冲可以吸收短时突发,代价是占用更多内存并容纳更多等待数据。如果到达速率长期高于消费速率,新增空间也会耗尽;数据等待更久,还可能在开始处理前就超过请求期限。
Linux TCP 的缓冲设置、自动调节、管理开销与接收窗口分别描述不同内容。setsockopt 用于设置 socket 选项,getsockopt 用于读取选项;请求值与观察值还可能因内核记账调整而不同,不能直接当作精确的业务字节预算。
窗口与拥塞控制分别见 TCP 可靠传输、拥塞控制与带宽时延积。应用背压仍需 事件循环篇的队列与准入协议。
4. 发送路径:send 成功距离业务成功还有多远
text
应用输出数据
→ send 按接口交付部分或全部字节
→ TCP 管理发送、确认、重传与流控
→ 路由、适用 qdisc 与驱动队列
→ 网络接口发送
→ 对端协议栈接收与应用读取
→ 对端业务处理并给出应用回执qdisc(排队规则)是 Linux 流量排队与处理的机制;实际路径可能由虚拟设备、隧道、策略或硬件改变。TCP ACK 是传输层对相应字节的确认,不代表对端业务已执行,更不表示数据库已提交。应用回执则由应用协议定义,能证明什么取决于服务端在什么步骤之后返回它。
Python 的 sendall 成功表示本次数据已全部交给本地发送路径,不能据此判断对端业务成功。未收到应用回执时,调用方可能无法区分“对端未执行”和“已执行但响应丢失”。重试设计因此需要幂等性,即避免重复请求产生不应重复的业务效果,并配合结果查询;只修改 socket 超时无法消除这种不确定性。
5. 可运行实战:本地 TCP 字节交付与应用回执
保存为 tcp_ack_demo.py,运行 python3 tcp_ack_demo.py。服务端只绑定 loopback 动态端口,客户端发送有限消息,服务端读完消息后才返回内容摘要。摘要用于验收完整数据,不是安全认证。
消息采用“4 字节长度头 + 消息体”的格式,长度头以网络字节序(高位字节在前)编码;服务端限制消息体不超过 128 字节。receive_exact 循环累计字节,避免把一次 recv 当作完整消息。服务端分别读完长度头和消息体后,返回 32 字节的 SHA-256 摘要;客户端读取摘要并检查是否与发送内容一致。
每次读取有 2 秒上限,每次 receive_exact 调用另有 3 秒总预算,并非整条请求统一限时 3 秒。服务只有一条连接和一个工作线程,线程结束等待上限为 8 秒。示例没有重试、压力或物理网卡观测。
python
import hashlib
import socket
import struct
import threading
import time
def receive_exact(connection, length):
result = bytearray()
deadline = time.monotonic() + 3
while len(result) < length:
remaining = deadline - time.monotonic()
if remaining <= 0:
raise TimeoutError("完整读取超过总预算")
connection.settimeout(min(2, remaining))
chunk = connection.recv(length - len(result))
if not chunk:
raise EOFError("输入结束但内容未完整到达")
result.extend(chunk)
return bytes(result)
def main():
errors = []
payload = b"local tcp application acknowledgement"
with socket.socket(socket.AF_INET, socket.SOCK_STREAM) as listener:
listener.bind(("127.0.0.1", 0)) # 动态端口,不暴露公网监听。
listener.listen(1)
listener.settimeout(2)
def serve_once():
try:
connection, _ = listener.accept()
with connection:
length = struct.unpack("!I", receive_exact(connection, 4))[0]
if length > 128:
raise ValueError("消息超过演示上限")
received = receive_exact(connection, length)
connection.settimeout(2)
connection.sendall(hashlib.sha256(received).digest())
except Exception as error:
errors.append(repr(error))
worker = threading.Thread(target=serve_once)
worker.start()
try:
with socket.create_connection(listener.getsockname(), timeout=2) as client:
frame = struct.pack("!I", len(payload)) + payload
client.sendall(frame)
acknowledgement = receive_exact(client, 32)
assert acknowledgement == hashlib.sha256(payload).digest()
print("complete request and application acknowledgement verified")
finally:
worker.join(timeout=8)
if worker.is_alive():
raise RuntimeError("工作线程未在预算内结束")
if errors:
raise RuntimeError(errors)
if __name__ == "__main__":
main()预期输出:正常完成且摘要检查通过时,打印 complete request and application acknowledgement verified。这个回执只能证明示例服务已读完相应内容并生成摘要;没有数据库提交、磁盘持久化或可信身份保证。运行时应使用普通模式,不加 -O,因为 Python 优化模式会移除这里的 assert 检查。
Loopback 仍可经过本地网络栈,但不使用相同的物理接收路径。不能拿这个例子的时延声称测量了网卡、中断合并或跨节点网络。它与上一篇 socketpair 实验的区别是使用明确 TCP 监听和连接,但仍是低门槛协议验证。
6. Linux 只读诊断:对齐接口、连接、进程和窗口
以下命令面向具备 iproute2 工具和 /proc 的 Linux 环境。Network namespace(网络命名空间)决定所观察的接口、地址、路由和 socket 等对象;容器内与宿主机的观察结果可能不同。先确认目标实例和网络视图,再采集同一时间窗口内的连接、接口与应用证据。
bash
# iproute2:当前 network namespace 的接口和地址,不一定是宿主机视图。
ip -br address
ip -s link
# 8080 为示例端口,替换为已确认端口;不对全机持续扫描。
ss -lnt 'sport = :8080'
ss -tinm 'sport = :8080'
# 内核计数需要按同窗口增量解释,不能只看启动以来累计值。
grep -E 'NET_RX|NET_TX' /proc/softirqs预期结果:ip 显示当前网络视图的地址和接口统计;两条 ss 命令分别筛选本地端口为 8080 的监听与 TCP socket 信息;最后一条命令显示网络接收、发送相关软中断的累计计数。没有匹配项时可能没有输出,不能仅据此判断业务请求未发生。
连接可能在读取期间退出;若另外查询 ss 的进程信息,还可能需要额外权限。/proc/softirqs 的列与 CPU 对齐,记录相应全系统范围的事件计数,不是服务请求数。要判断故障窗口内是否增长,应在窗口前后采样并计算增量,再与同窗口的接口和应用数据比较。
接口丢包、驱动计数和 TCP 重传都需要注明层和方向。驱动私有 ethtool -S 字段因设备而异,不给一套“所有网卡都支持”的字段公式,也不未经确认改 ring、IRQ 或卸载设置。
| 现象 | 支持方向的证据 | 需要排除什么 |
|---|---|---|
| 连接建立慢 | 双端握手、监听/接受队列与实例时间线 | 客户端池等待、代理与名字解析 |
| 数据已到接收队列,读取慢 | 连接字节、应用读取与线程执行证据 | 消息尚未收完整(半帧)、应用任务排队和调度受限 |
| 发送积压 | 本地待写量、TCP 状态与对端消费 | 不能一律归因本机网卡带宽 |
| 网络处理 CPU 上升 | 同窗口接口/软中断/线程证据 | 工作量增长,不自动等于异常 |
| 单点抓包无请求 | 抓包点、namespace、过滤与卸载核对 | 不直接宣称客户端未发送 |
深入定位故障边界可读 分层网络排障。涉及 Pod 路径时读 CNI 与跨节点网络;容器里看不到某个接口,也可能只是网络 namespace 不同,详见下一篇的视图解释。
7. 容易踩的坑与工程取舍
工程上的调整应对应已经定位的等待:连接等待接受时检查接受速度与建连队列;字节等待读取时检查应用调度与消费;任务已进入应用队列时检查业务处理能力。先明确队列对象,再决定是否增加容量、限制准入或暂停上游生产,避免把积压从一层移到另一层。
观测也应采用一致的范围。请求耗时、包计数、软中断次数和进程 CPU 分别回答不同问题;把它们放在同一故障窗口内比较,才能判断是工作量增长还是处理能力不足。本地回执测试用于检查示例协议,跨节点故障仍需检查实际接口、路由、策略、代理与网络视图。
8. 名词解释与延伸阅读
| 名词 | 简短解释 |
|---|---|
| NIC / Driver / DMA | 网络接口硬件 / 驱动 / 设备与内存的受控数据传输机制 |
| Rx Ring / NAPI / Budget | 常见接收描述符组织 / 网络事件批量处理接口 / 相应单次处理量预算 |
| Softirq / skb | 内核延后处理机制之一 / 网络数据与元信息的重要表示结构 |
| GRO / GSO / TSO | 接收聚合 / 通用分段 / TCP 分段卸载相关机制 |
| Accept Queue / Recv-Q / Send-Q | 待接受连接 / 按状态解释的接收队列口径 / 按状态解释的发送队列口径 |
| qdisc / Application ACK | 流量排队规则 / 应用定义的处理回执,不等于 TCP ACK |
- 自然后续:namespace 视图与隔离,解释同一机器上为什么接口、路由和端口观察不同。
- 同专题横向:epoll解释就绪后的状态推进,cgroup解释应用及部分处理路径可能受到的资源预算。
- 依据:Linux 内核
networking/napi、networking/scaling;Linux man-pagestcp(7)、socket(7)、ss(8);Pythonsocket文档。驱动与卸载事实按具体设备和内核核验,不用职责图替代固定版本源码。
9. 一句话总结与三个要点
网络请求跨越设备处理、协议状态、socket 队列与应用执行,排障应定位最早未完成的边界。
- 包、skb、字节流、recv 和业务请求不是同一粒度,物理路径与 loopback 也不同。
- NAPI、队列、唤醒和调度各有职责;监听、TCP 确认与应用回执说明不同成功范围。
- 对齐接口、namespace、连接、进程和时间窗口,再调整缓冲或系统参数,不能靠一个队列值定责。