外观
01 - 浏览器输入 URL 后发生了什么
定位:先理解一次 HTTPS 请求怎样完成,再进入各层原理与排障专题。以 HTTPS 直连、需要新建 TCP 连接为基线,再说明缓存、连接复用、代理与 HTTP/3 分支。
前置:知道进程与请求/响应即可。Socket(套接字)是应用使用网络通信的接口;分层模型可继续阅读02 - 协议分层与数据封装。验证约定见A - 网络实验与证据验证方法。
摘要
浏览器拿到 URL 后,需要确定访问目标、取得响应,再把响应交给后续页面处理。本文聚焦网络请求部分。先假设没有可直接使用的响应缓存、没有可复用连接,使用 HTTP/1.1 或 HTTP/2,通过 HTTPS 直连目标:
- 确定目标地址:浏览器从 URL 取出主机名;需要时通过 DNS(域名系统)把名称解析为 IP 地址。
- 建立传输连接:操作系统选择发送路径,TCP 在客户端与连接目标之间建立可靠、有序的双向字节流。
- 建立安全通信:TLS(传输层安全协议)完成握手和身份验证,为后续 HTTP 数据提供加密与完整性保护。
- 发送请求并处理:客户端发送 HTTP 请求,代理或源站生成响应。源站指实际提供目标内容或业务服务的服务器。
- 读取响应并处理资源:客户端读取响应体,再按协议和客户端策略复用连接或回收资源。收到响应头与读完响应体是不同的完成点。
这个模型说明每一步为什么需要前一步:名称帮助找到地址,地址和路由帮助建立连接,安全连接承载 HTTP,应用再解释请求并执行业务。但输入 URL 并不必然重新查询 DNS、建立连接或访问源站;缓存和复用可以省去部分工作。下面先用一个故障假设说明这些阶段的观察边界,再展开实际分支。
1. 现象:Ping通了,接口仍然超时
以下是教学假设,不是真实线上事故:办公网 Ping 成功,业务 Pod(Kubernetes 中的应用运行单元)访问 HTTPS 超时,应用日志没有对应请求。Ping 使用 ICMP(互联网控制报文协议)探测可达性,并没有建立业务使用的 TCP 连接。现有信息只能说明某次 ICMP 探测成功、某个日志观察点没有记录,尚不能认定防火墙漏规则,也不能认定请求从未到达服务器。
首先要确认这些观察是否对应同一来源环境、目标、时间范围和 Attempt(一次实际请求尝试;重试会产生新的尝试)。例如,办公网与 Pod 的路径可能不同,IPv4 与 IPv6 这两种地址族的路径也要分别看。然后沿基本链路寻找最早未完成的阶段:Pod 是否走代理?解析到哪个 IP?连接尚未建立,还是在等待连接池提供可用连接或并发许可?日志采样、请求过滤器(Filter)拦截和日志写出是否造成记录缺失?
| 已有观察 | 可以支持 | 不能直接推出 |
|---|---|---|
dig(DNS 查询工具)返回 A 记录 | 指定解析器在该次查询返回 IPv4 地址 | 浏览器/JVM(Java 虚拟机)采用同一答案,或端口可达 |
| Ping成功 | 此来源到此地址的ICMP往返成功 | TCP、UDP业务及IPv6路径正常 |
| TCP connect 成功 | 这次探测的连接建立完成 | TLS 名称正确、请求已进入业务处理方法(Controller) |
| TLS验证成功 | 给定信任策略下握手及参考身份通过 | 代理后的每跳安全、业务有权访问 |
| 收到HTTP 200 | 此响应生成者返回该状态 | 源站被访问、响应体完整或事务结果符合业务契约 |
完整分诊方法见20;本文只建立上述成功边界。
2. 原理:先选分支,再画链路
基本模型中的各步是否需要执行,取决于客户端已有的状态。响应缓存保存可复用的响应;连接复用则是在已有连接上发出新请求,仍需要对端处理请求。HTTP/2 和 HTTP/3 的 Stream(流)是在连接内组织请求和响应的独立通信单位。图中的“等待额度”指等待允许发出请求的连接或流容量。
图表将在阅读到此处时加载…
这是一张逻辑依赖图,不是所有客户端的严格串行时序。解析可能提前执行,IPv4/IPv6连接可能竞速,QUIC将传输与TLS握手机制结合。协议发现、代理解析位置、缓存策略和恢复行为取决于客户端版本与部署,不能从URL的https一词推断实际HTTP版本。
2.1 URL身份、连接目标与路径是三件事
以 https://api.example.com:443/orders/42?detail=true 为例:https 是 scheme(协议方案),api.example.com 是主机名,443 是端口,/orders/42 是路径,detail=true 是查询参数。HTTPS 默认端口是 443,也可以显式指定其他端口;若 URL 带有 # 后的 fragment(片段),该部分不作为 HTTP 请求目标发送。
- 参考身份:客户端预期访问的名称,用于 TLS 身份校验;不能因为连接 IP 不同就关闭校验。
- 连接目标:Socket 实际连接的地址。直连可能连接源站,也可能连接 CDN(内容分发网络)的节点;使用显式代理时,远端可能是代理。
- HTTP 目标:请求中的 authority(主机与端口信息)或
Host字段,以及路径,参与请求路由和业务处理,不等同于 Socket 的远端 IP。
浏览器还可能受 HSTS(要求使用 HTTPS 的安全策略)、系统或浏览器代理、Service Worker(可拦截请求的浏览器脚本机制)与 HTTP 缓存影响,因此 Java 的 HTTP 客户端 HttpClient 不能完整替代浏览器。每跳 TLS 身份见14,代理连接重建见15,HTTP 表示缓存见13。这里的“表示”指资源以某种格式或语言提供的内容及相关元数据。
2.2 DNS不是每次都从根查起
直连且需要名称解析时,应用、系统或递归 DNS 服务器可能命中缓存。递归服务器负责替客户端查找答案;只有缺少所需信息时,才需要继续查询其他服务器。A 记录提供 IPv4 地址,AAAA 记录提供 IPv6 地址,CNAME 表示名称别名;委派则把某个域的查询引向负责它的服务器。因此,普通业务查询不必每次遍历根服务器、TLD(顶级域)服务器和权威服务器(负责该域答案的服务器)。浏览器也可能采用自己的安全 DNS 路径,代理可能在远端解析目标。
dig +trace 主动查询并展示委派解析,不是记录刚才浏览器真实访问的 DNS 路径。指定公共解析器的答案也不能代表企业内网或生产 Pod 的解析结果。DNS 的 TTL(记录允许缓存的时间)与 JVM 实际缓存寿命需要分别验证,见11。
2.3 选路与邻居解析:交付给下一跳
得到 IP 地址后,内核依据地址族、目的地址、源地址和策略等选择发送路径。“下一跳”是当前节点要把数据交给的下一个节点。在需要邻居解析的 Ethernet(以太网)链路上,IPv4 用 ARP(地址解析协议)、IPv6 用 NDP(邻居发现协议)获取下一跳的链路层地址,也就是 MAC 地址。跨网段时通常解析网关,而不是远端服务器的 MAC。邻居缓存可能命中,隧道、点对点等路径也不能照搬“每请求先 ARP”的流程。
MAC 用于当前链路交付,IP 用于网络层选路,端口与地址等帮助系统把收到的数据交给对应 Socket。NAT(网络地址转换)会改写相关地址或端口;反向代理则接收客户端连接,并通过另一条传输连接访问上游。两者不能当作同一种转发机制。响应还需要沿回程返回,去程正常不保证回程相同或正常,分别见03、04。
2.4 传输、安全和业务完成不能合并
新建 HTTP/1.1 或 HTTP/2 的 HTTPS 连接通常先建立 TCP,再进行 TLS 握手。TLS 会话恢复利用已有会话信息,流程不同于完整证书握手。HTTP/3 不经过 TCP;它使用 QUIC,这是一种由 UDP 承载、集成 TLS 握手机制的传输协议。0-RTT 指在等待新的握手往返完成前发送早期数据,是有条件的能力;这些数据存在被重放的风险,不代表任意写请求都可提前发送。
TCP 建立后提供双向字节流,但传输完成与业务完成之间还有多步:客户端写入字节,TCP 将其组织为 Segment(报文段),对端 TCP 用 ACK(确认报文)确认收到的字节,对端应用再读取、解析 HTTP 消息并执行业务。因此,TCP ACK 不能证明订单已提交。TLS 的 Record(加密记录)也不与一次 HTTP 请求或一个 TCP 报文段一一对应。响应方向同理:HTTP 响应头到达,只说明拿到了状态和元数据,不证明 Body(响应体)已完整读取。
在已有连接上发出请求可能省去新握手,但仍要等待连接或流额度,并受流控、拥塞和响应消费速度影响。流控限制发送速度以适应接收方能力,拥塞控制则根据网络状况调整发送。原理分别见05、06、09、10、12。
3. 实现与验证:测一次请求,不拼三个独立探测
用 InetAddress 解析地址、用 Socket 探测端口、再用 HttpClient 请求,是三个独立操作。每一步可能重新选地址、命中不同缓存、使用不同代理或建立不同连接。因此,它们适合分别探测某个边界,耗时却不能相加作为一次真实 HTTPS 请求的耗时;Socket 的连接超时也不会自动约束此前独立执行的 DNS 调用。
Java 17 的完整示例按验证目标放在对应专题中。先选择要观察的边界,再选择程序:
| 实验入口 | 可验证的边界 | 不能覆盖 |
|---|---|---|
| 11 - DNS隔离实验 | hosts变化、JVM正负缓存及实际连接目标 | 浏览器DoH与真实DNS服务器TTL |
| 14 - TLS身份实验 | 独立制造名称与信任失败 | 公网证书状态及所有浏览器策略 |
| 13 - HTTP表示实验 | 普通GET到源站、显式验证器返回空304、语言变体 | 真实代理缓存命中或HTTP/2性能 |
| 17 - Deadline实验 | 单次read间隔与整帧总预算不同 | 所有HttpClient Body及写入超时 |
| 18 - 准入等待实验 | 未取得许可就失败,可没有网络交换 | 实际产品连接池或远端慢请求 |
表中的 DoH 是通过 HTTPS 查询 DNS,验证器是用于判断缓存内容是否变化的信息,304 表示客户端可以沿用已有表示;Deadline 指整个操作必须完成的截止时间。上述程序的历史实测环境与输出保留在对应文章。
3.1 curl单次测量模板
以下是待在授权目标执行的模板,无预填“正常耗时”。api.example.com与203.0.113.10是文档占位目标,必须替换;curl变量和协议能力先通过本机curl --version及手册确认。Windows使用curl.exe避免旧PowerShell别名,Bash续行符不能直接复制到PowerShell。
bash
curl --noproxy '*' --http1.1 --connect-timeout 3 --max-time 5 \
--output /dev/null --silent --show-error \
--write-out 'ip=%{remote_ip} status=%{http_code} dns=%{time_namelookup} connect=%{time_connect} tls=%{time_appconnect} first=%{time_starttransfer} total=%{time_total}\n' \
'https://api.example.com/orders/42'--noproxy '*'用于受控直连对照,不是生产代理环境的等价复现,也不是绕过组织安全策略的建议。未用-L,重定向不会自动形成第二次请求;状态码和进程退出码仍须分别记录,HTTP错误状态默认不保证curl非零退出。
在无代理、无重定向、新建单次HTTPS连接的基线下,可近似拆分:
- DNS:
time_namelookup;TCP:time_connect - time_namelookup。 - TLS:
time_appconnect - time_connect。 - 握手后到首字节:
time_starttransfer - time_appconnect,包括请求发送、路径与远端处理等,不等于纯服务端执行时间。 - 首字节到结束:
time_total - time_starttransfer,反映剩余传输/消费等,不等于纯链路带宽。
这些字段记录的是从操作开始算起的累计时点;在上述基线下,两个时点相减才可近似表示中间阶段的耗时。多地址尝试、复用、代理、HTTP/3 和重定向会改变含义,不能机械做差或仅凭异常差值认定责任。精确的 Attempt 区间需要客户端或代理观测,见22。
3.2 固定IP仍保留名称
bash
curl --noproxy '*' --connect-timeout 3 --max-time 5 \
--resolve api.example.com:443:203.0.113.10 \
'https://api.example.com/orders/42'此对照保留URL名称及相关TLS/HTTP身份,连接至指定地址;不能使用-k掩盖身份失败。它能比较候选实例路径,但不能证明原解析器为何返回错误,也不能在代理仍参与时默认目标在本机解析。证书严格验证与证据边界按14、20执行。
4. 排障:对齐同一条请求的证据
为避免把不同探测拼成一条链路,日志至少要关联请求 ID、Attempt、来源环境、代理模式、实际连接目标、实际协议、阶段起止或失败位置,以及响应生成者。敏感 URL 查询、凭据、Cookie 和 Body 必须脱敏。跨机器比较时间线前要检查时钟同步误差;进程内测量时长采用单调时钟,即不受系统日期调整影响的计时来源。
对同一次尝试,如果新连接已经完成握手,就应继续检查后续阶段,而不是反复探测 DNS。Acquire(获取连接或并发许可)失败时,可能尚未发出 TCP 的 SYN 握手报文;首字节正常但响应体截断,则要检查消息完整性与读取过程。
抓包也有观察边界:TLS 1.3 的大部分握手内容已加密;单点 pcap(抓包记录文件)可能因采集遗漏、抓错接口或 Offload(把部分网络处理交给网卡等机制)造成误判。取证方法见21。
在使用 Spring MVC 的 Java 服务中,代理转发后的请求可能由 Servlet 容器接收,经过 Filter,再由 DispatcherServlet 调度到 Controller,执行事务并把返回值序列化为响应内容。业务提交后,响应回写仍可能失败,这也解释了为什么客户端超时不能证明服务端没有执行。进入应用后的匹配见Spring14,已提交但回写失败见Spring16。这些是框架相关分支,不是所有网络请求的必经阶段;代理的每一跳也未必都要新建连接或重新解析。
5. 工程取舍与继续阅读
- 缓存与复用降低重复工作,也可能掩盖只有新建连接时才出现的故障;比较正常与故障样本时,应区分是否新建连接、实际协议和地址族。
- 多跳独立超时及重试不能被视作一个天然总预算;取消本地等待不等于远端回滚,见17和分布式11。
- 响应丢失后再重试,原请求可能已经提交。需要用业务身份识别重复请求,并保证去重判断与处理结果原子地衔接;TCP 可靠传输不能替代这些业务措施,见分布式13。
- 学习路径:先02和A,再沿README进入机制;值班直接20,综合验证22,最后用23检查能否解释反例。
6. 依据与核验边界
协议基线为 RFC 9110(HTTP 语义)、RFC 9114(HTTP/3)、RFC 9000(QUIC)和 RFC 8446(TLS 1.3);工具计时以 curl 官方手册为准,Java API 以 Java 17 文档为准。
浏览器、JVM 和代理的解析、缓存、协议选择及超时实现需要按实际版本复核。工具模板尚未在真实 HTTPS 部署执行;对应专题的历史回环实验也不能用于推导公网性能或生产根因。