外观
13 - 域名偶发解析失败:CoreDNS、搜索域与 ndots
摘要
外部域名在宿主机解析正常,Pod 内却偶发超时;抓包后发现一次访问产生了多次 DNS 查询。理解这个现象,需要先分清两层职责:应用解析器决定查询哪些名称,CoreDNS 决定如何回答或转发这些查询。本文先解释 Pod 的名称解析模型,再说明搜索域、ndots、缓存和 UDP/TCP 回退如何影响结果,最后给出查询对照实验与排查顺序。
1. 场景:访问一个域名,为什么发出四次查询
DNS(Domain Name System,域名系统)提供名称到记录的查询,应用通常借此取得目标 IP 地址。Resolver(解析器)是应用或系统中负责取得解析结果的组件;它可以使用缓存,也可以向 DNS 服务器发起查询。因此,一次应用访问不一定对应一个 DNS 报文。
下面的场景中,应用访问:
text
payment.example.comPod 是 Kubernetes 中的工作负载运行单元。以下是该场景中 Pod 的 /etc/resolv.conf,它为使用系统 DNS 配置的解析器提供服务器地址和名称搜索规则:
text
search shop.svc.cluster.local svc.cluster.local cluster.local
nameserver 10.96.0.10
options ndots:5nameserver 指向 DNS 服务器,search 列出可追加的搜索域后缀,ndots 决定优先尝试原名称还是追加后缀的名称。payment.example.com 只有两个点,小于 ndots:5 的阈值。若解析器先应用搜索域,且前面的候选未取得所需答案,就可能依次尝试以下四个名称:
text
payment.example.com.shop.svc.cluster.local
payment.example.com.svc.cluster.local
payment.example.com.cluster.local
payment.example.com这里列的是候选名称,不是固定的报文数。具体顺序、并行方式和失败处理受 libc(C 标准库)、语言运行时及解析器配置影响;A(IPv4 地址)与 AAAA(IPv6 地址)查询、重试和缓存也会改变实际数量。
搜索域增加候选名称,意味着解析器可能要等待更多查询结果。当 CoreDNS、上游 DNS 或节点的 Conntrack(维护网络流状态的连接跟踪机制)接近容量时,额外查询可能加重排队或丢包,使偶发超时更明显。这是一条可能的因果链,仍需查询和网络证据确认瓶颈。
2. Kubernetes DNS 链路
图表将在阅读到此处时加载…
图中 /etc/resolv.conf 是解析器读取的配置文件,不是转发报文的服务。解析器向其中配置的 DNS 地址发送查询;常见部署中,这个地址是 kube-dns Service IP,再由 Service 转发到 CoreDNS Pod。Service 是 Kubernetes 提供稳定访问入口的资源。
CoreDNS 通过插件处理查询:Kubernetes 插件根据集群 API 对象回答集群内 Service 名称,Forward 插件通常把外部域名交给上游 DNS。搜索域展开主要发生在客户端,因此 CoreDNS 可能收到多个不同的候选名称,而不是一个等待它展开的短名。
Corefile 是 CoreDNS 的配置文件。发行版和平台可能增加缓存、NodeLocal DNSCache(节点本地 DNS 缓存)、自定义域或存根域(为特定 DNS 区域指定转发上游),实际路径应以部署配置为准。
3. Service DNS 名称如何组成
Cluster Domain 是集群 DNS 域,Namespace(命名空间)用于对 Kubernetes 资源分组。典型集群域为 cluster.local 时,Service 名称结构为:
text
service.namespace.svc.cluster.local在配置了相应搜索域的 Pod 中,同 Namespace 内可用短名 service,跨 Namespace 常用 service.namespace。例如,第 1 节的 shop.svc.cluster.local 后缀能把同命名空间的短名补成完整 Service 名称。这也解释了为何搜索域既方便内部访问,又可能增加外部域名查询。集群域可以自定义,不能硬编码 cluster.local。
普通 ClusterIP Service 通常解析到其虚拟 IP;Headless Service(无头服务,不分配常规 ClusterIP)常解析出后端地址。具体记录类型、是否发布未就绪地址,以及 StatefulSet(提供稳定工作负载身份的控制器)的主机名行为,取决于资源配置。
4. Search 与 ndots 到底做什么
search 定义名称搜索时可追加的后缀。ndots:n 是尝试顺序的阈值:名称中的点数达到 n 时,解析器通常优先查询原名称;否则可能优先追加搜索域。达到阈值不等于禁止后续搜索,是否继续尝试还取决于解析器和失败类型。
末尾带点表示 DNS 绝对名称:
text
payment.example.com.在 DNS 查询中,末尾点明确名称从 DNS 根开始,通常可以避免追加搜索域。但业务 URL 还会经过应用库、TLS 和 HTTP:SNI 是 TLS 握手中携带的服务器名称,Host 是 HTTP 中标识目标主机的字段。应用库是否保留末尾点,以及这些字段如何处理它,都需要测试,不能直接把所有业务 URL 改成带点形式。
5. CoreDNS 插件链
常见 Corefile 结构示意:
text
.:53 {
errors
health
ready
kubernetes cluster.local in-addr.arpa ip6.arpa
prometheus :9153
forward . /etc/resolv.conf
cache 30
loop
reload
loadbalance
}上面是结构示意,不是适用于所有集群的完整配置。插件执行顺序不能只从文本排列推断;参数、默认值和可用插件还受 CoreDNS 版本及部署方式影响。ConfigMap 用于保存配置,Deployment 描述 Pod 的部署。排查时读取实际对象,确认 Corefile 和运行镜像:
bash
kubectl -n kube-system get configmap coredns -o yaml
kubectl -n kube-system get deployment coredns -o yaml缓存命中可以减少后续处理和上游查询,但各层缓存相互独立。正缓存保存成功结果,负缓存保存名称不存在或缺少所查记录等结果;TTL(Time To Live)表示可缓存期限。cache 30 不能简单理解成所有答案固定缓存 30 秒,具体期限还受响应 TTL、正负缓存规则和插件实现影响。
6. UDP、TCP 与大响应
传统 DNS 查询通常先用 UDP。响应超过允许大小而被截断时,服务器可设置 TC(Truncated,响应截断)标志,提示客户端通过 TCP 重试。EDNS(0) 是 DNS 扩展机制,可以通告更大的 UDP 负载接收能力,但不能保证网络路径能承载同样大的报文。
路径 MTU 是沿途可承载的 IP 包大小限制。大 UDP 响应可能涉及分片;如果分片被防火墙或中间设备丢弃,客户端可能连 TC 标志都收不到。若 TCP/53 被阻断,收到截断响应后也可能无法完成重试。这些情况都可能表现为“小响应成功,大响应失败”,需要结合实际响应和路径判断。
加密 DNS 还包括 DoT(通过 TLS 传输 DNS)和 DoH(通过 HTTPS 传输 DNS)。Pod 使用的解析器是否走这些协议取决于环境,不能从 Kubernetes 默认配置推断。
7. 最小实验:观察 Search 查询放大
实验需要可访问的测试集群、kubectl,以及创建、查看、进入和删除 Pod 的权限;集群需能拉取下面的镜像。将 YAML 保存为 dns-demo.yaml,在当前 Kubernetes 命名空间中创建诊断 Pod。开始前确认该名称未被其他工作负载占用,并等待 Pod 进入可执行命令的运行状态:
yaml
apiVersion: v1
kind: Pod
metadata:
name: dns-demo
spec:
containers:
- name: tools
image: registry.k8s.io/e2e-test-images/dnsutils:1.3
command: ["sleep", "3600"]bash
kubectl apply -f dns-demo.yaml
kubectl exec dns-demo -- cat /etc/resolv.conf
kubectl exec dns-demo -- nslookup kubernetes.default
kubectl exec dns-demo -- nslookup example.com先检查实际 resolv.conf:实验 Pod 所在命名空间会影响搜索后缀,不能直接假定它与第 1 节的 shop 示例相同。kubernetes.default 用于对照集群名称,example.com 用于对照外部名称。
使用 dig +search 显式应用搜索域配置,再与末尾带点的查询比较:
bash
kubectl exec dns-demo -- dig +search payment.example.com
kubectl exec dns-demo -- dig payment.example.com.预期观察:在工具采用搜索域配置的条件下,+search 查询可能尝试带后缀的名称;末尾带点的查询直接使用该绝对名称。payment.example.com 是示例名称,不能预设它存在或会返回某个 IP。普通命令输出也不一定展示所有中间查询,要确认查询数量,需要结合限定范围的查询日志或抓包。
dig 与应用使用的 glibc、musl(两种 C 标准库实现)或 JVM(Java 虚拟机)解析路径不完全等价。因此,这组命令适合做 DNS 协议对照,不能单独证明业务应用也发出了相同查询。
如有权限,可临时查看 CoreDNS 日志和指标;不要长期打开全量 Query Log,它会带来开销并可能暴露内部域名。
观察结束后,确认 dns-demo 仍是本实验创建的 Pod,再清理:
bash
kubectl delete pod dns-demo --ignore-not-found8. JVM DNS 缓存是另一层变量
JVM 会缓存成功和失败的解析结果,所以 CoreDNS 看到的查询量不一定等于应用调用解析 API 的次数。成功结果缓存过久,可能延迟地址更新;失败结果仍在缓存中时,即使底层记录恢复,应用也可能暂时继续报解析失败。
缓存期限受 JDK 版本、安全属性、系统配置和历史版本中 Security Manager(安全管理器)的行为影响。检查目标 JDK 的以下安全属性;它们不能简单等同于通过 -D 设置的同名系统属性:
text
networkaddress.cache.ttl
networkaddress.cache.negative.ttl不能笼统声称 Java 永久缓存或固定缓存 30 秒。缩短 TTL 可能加快部分地址更新,也会增加查询量;延长 TTL 能降低查询开销,却可能延迟故障切换。应结合服务发现方式和目标 JDK 的实际行为选择,而不是只调整 CoreDNS 缓存。
9. 排查顺序
图表将在阅读到此处时加载…
先从发生故障的 Pod 读取配置,再对照集群名称与外部名称的查询结果。记录查询时间、实际名称、A/AAAA 类型、响应码或超时,以及 Pod 所在节点。上面的分支用于确定优先检查方向,不是单凭症状判定根因。
核心证据命令如下,POD 需替换为业务 Pod 名称;命令需要相应读取或执行权限,并应在正确的 Kubernetes 命名空间中使用:
bash
kubectl exec POD -- cat /etc/resolv.conf
kubectl get service -n kube-system kube-dns -o wide
kubectl get pods -n kube-system -l k8s-app=kube-dns -o wide
kubectl logs -n kube-system -l k8s-app=kube-dns --tail=100托管平台的标签和资源名可能不同,应先查实际对象。dnsPolicy 是 Pod 的 DNS 策略,dnsConfig 用于补充或调整 DNS 配置。Service 数据面负责把发往 Service IP 的报文送到后端,NetworkPolicy 则可能限制这条路径。
没有开启查询日志时,普通 CoreDNS 日志不一定包含每次查询,日志缺失不能证明请求未到达。
10. 反例与正例
反例:应用每次请求都重新解析且无连接复用
若每次请求都重新解析、建立连接并完成 TLS 握手,这些阶段都会进入请求的耗时路径,且增加 DNS 与连接处理压力。此时仅增加 CoreDNS 副本,无法消除重复建连的代价。
正例:复用连接,同时保持有界 DNS 缓存
连接复用能减少重复解析和建连,但 DNS 更新不会自动把已有连接迁移到新地址。连接池应设置最大寿命、空闲回收和故障检测,让旧连接逐步退出;新连接使用哪些地址,还取决于客户端是否刷新了解析结果。DNS TTL 与连接寿命需要共同设计,才能兼顾查询压力和后端变更。
11. 容易踩的坑
11.1 nslookup 成功就排除 DNS
应用可能使用不同 Resolver、缓存和超时策略,还可能只在高并发下失败。
11.2 直接把 ndots 改成 1
降低阈值可能让带点的名称先按原名称查询,也可能改变集群短名称的尝试顺序。先量化查询类型、名称结构和搜索域依赖,再在目标解析器中验证效果;ndots 不是查询次数上限。
11.3 CoreDNS 扩容能解决所有问题
若瓶颈在上游 DNS、节点 Conntrack、网络丢包或客户端缓存,增加 CoreDNS Pod 未必改善故障。先确认瓶颈在哪一层,再选择扩容或配置调整。
11.4 只放行 UDP 53
大响应可能回退 TCP,NetworkPolicy 和防火墙也要考虑 TCP 53。
11.5 把 DNS 失败日志全量长期打开
大量不同查询名称会产生难以聚合的日志,并增加 I/O 和敏感域名泄露风险。查询日志应限定观察范围与时间,用于关联具体故障。
12. 总结
Pod 内一次域名解析可能经过 Search 展开、CoreDNS 插件和上游 DNS,多层缓存与协议回退共同决定结果。
可以带走的三个核心要点:
- 搜索域和
ndots影响客户端尝试哪些名称,实际报文数还取决于查询类型、缓存与重试。 - 集群域名和外部域名走 CoreDNS 的不同处理分支,应分开验证。
- DNS 故障要同时检查 Resolver 配置、CoreDNS、上游、UDP/TCP 和客户端缓存。
下一篇:Ingress 返回 502、503、504 分别意味着什么:七层入口故障定位。