解决Kubernetes Pod DNS超时问题

最近刚给公司测试环境上了K8s，大部分容器采用得是以alpine为基础的镜像，基础服务如MySQL、Redis等以域名的方式连接，但是出现一个很奇怪的现象，部分Pod内应用报DNS超时，大概报错日志是这样的（JAVA）：io.netty.resolver.dns.DnsNameResolverTimeoutException: [/10.96.0.10:53] query timed out after 5000 milliseconds (no stack trace available)
 
网上搜了一下，似乎K8s环境中使用alpine作镜像就会出现这个问题，参考了这篇文章：https://forum.choerodon.io/t/topic/1111, 尝试解决方法如下
1、使用移除解析AAAA记录的alpine修改版镜像，并安装了glibc以支持java，镜像地址:https://hub.docker.com/r/geekidea/alpine-a/， 无效
2、文章中提到非alpine镜像，可以通过修改/etc/resolv.conf增加options single-request-reopen解决问题，alpine镜像不行，原因是非alpine镜像采用的glibc，而alpine默认使用的是musl libc，想着我们用的alpine已经安装glibc，可不可以用这个方法试一下，于是尝试修改，在YAML中加入下面这段：

        lifecycle:
          postStart:
            exec:
              command:
              - /bin/sh
              - -c 
              - "/bin/echo 'options single-request-reopen' >> /etc/resolv.conf"

注意：这里不能直接使用sed替换，会报错。
还是无效

重新理清思路，会不会是自动生成的/etc/resolv.conf有问题，造成DNS不正常，查看Pod的/etc/resolv.conf，原始文件内容如下：

nameserver 10.96.0.10
search test1.svc.cluster.local  svc.cluster.local cluster.local
options ndots:5

尝试ping test1.svc.cluster.local
ping svc.cluster.local
ping cluster.local
发现后两个根本无法ping通，难道这两个搜索域引起DNS超时，于是决定试试不使用默认生成的/etc/resolv.conf，自己写，查看K8s官方文档，原来官方就提供类似配置，在YAML的spec段加入如下配置：

      dnsPolicy: "None"
      dnsConfig:
        nameservers:
        - 10.96.0.10
        searches:
        - test1.svc.cluster.local
        options:
        - name: single-request-reopen

注意nameservers为kube-dns的ClusterIP，searches（搜索域）根据你的实际环境配置
生成的/etc/resolv.conf如下：

nameserver 10.96.0.10
search test1.svc.cluster.local
options single-request-reopen

尝试多次删除Pod，创建Pod，问题不再复现，原来罪魁祸首就出在resolv.conf的搜索域配置中，具体原理等以后有空再去研究一下，最近没时间：）