安裝與配置ACK Net Exporter組件

安裝ACK Net Exporter組件

1. 登錄容器服務管理控制臺，在左側導航欄選擇市場 > 應用市場。

2. 在應用市場頁面搜索ack-net-exporter，然后單擊搜索到的組件。

3. 在ack-net-exporter組件頁面右上角單擊一鍵部署。

4. 在基本信息配置向導中選擇需要部署組件的集群，命名空間，然后單擊下一步。

5. 在參數配置配置向導中設置參數，然后單擊確定。

   參數	描述	默認值
   name	ACK Net Exporter組件的名稱。	ack-net-exporter-default
   namespace	ACK Net Exporter組件的命名空間。	kube-system
   config.enableEventServer	是否開啟事件追蹤服務。取值： false：不開啟事件追蹤服務。 true：開啟事件追蹤服務。	false
   config.enableMetricServer	是否開啟指標采集服務。取值： false：不開啟指標采集服務。 true：開啟指標采集服務。	true
   config.remoteLokiAddress	推送事件的遠端Grafana Loki服務地址	默認為空。
   config.metricLabelVerbose	是否開啟指標的詳情功能。取值： false：不開啟指標的詳情功能。 true：開啟指標的詳情功能。開啟后會額外將Pod的IP以及重要的標簽信息作為指標的標簽信息。	false
   config.metricServerPort	指標服務的端口，提供HTTP服務。	9102
   config.eventServerPort	事件服務的端口，提供GRPC Stream的事件流服務。	19102
   config.metricProbes	需要開啟的指標探針。詳細信息，請參見下文ACK Net Exporter指標列表。	默認為空，不配置任何指標探針的情況下，會默認啟動必需探針。
   config.eventProbes	需要開啟的事件探針。詳細信息，請參見下文ACK Net Exporter事件詳解。	默認為空，不配置任何指標探針的情況下，會默認啟動必需探針。

配置ACK Net Exporter組件

• 您可以執行如下命令，通過ConfigMap方式配置ACK Net Exporter組件。

  kubectl edit cm inspector-config -n kube-system

• 您也可以通過控制臺配置ACK Net Exporter組件。

  1. 登錄容器服務管理控制臺，在左側導航欄單擊集群。

  2. 在集群列表頁面，單擊目標集群名稱，然后在左側導航欄，選擇配置管理 > 配置項。

  3. 在配置項頁面，設置命名空間為kube-system，然后搜索kubeskoop-config，單擊kubeskoop-config右側操作列下的編輯。

  4. 在編輯面板配置參數，然后單擊確定。

     ACK Net Exporter支持的配置項及其含義如下：

     參數	描述	默認值
     debugmode	是否開啟調試模式。取值： false：不開啟調試模式。 true：開啟調試模式。開啟后，支持DEBUG級別的日志，調試接口，Go pprof和gops診斷工具。	false
     event_config.loki_enable	是否開啟事件向遠端Grafana Loki服務推送的功能。詳細信息，請參見下文使用Grafana Loki收集監控事件并可視化。取值： false：不開啟事件向遠端Grafana Loki服務推送的功能。 true：開啟事件向遠端Grafana Loki服務推送的功能。	false
     event_config.loki_address	遠端Grafana Loki服務的地址，默認會自動發現相同命名空間下的名為grafana-loki的服務。	默認為空。
     event_config.probes	需要開啟的事件探針。詳細信息，請參見下文ACK Net Exporter事件詳解。	默認為空，不配置任何指標探針的情況下，會默認啟動必需探針。
     event_config.port	事件服務的端口，提供GRPC Stream的事件流服務。	19102
     metric_config.verbose	是否開啟指標的詳情功能。取值： false：不開啟指標的詳情功能。 true：開啟指標的詳情功能。開啟后會額外將Pod的IP以及重要的標簽信息作為指標的標簽信息。	false
     metric_config.port	指標服務的端口，提供HTTP服務。	9102
     metric_config.probes	需要開啟的指標探針。詳細信息，請參見下文ACK Net Exporter指標列表。	默認為空，不配置任何指標探針的情況下，會默認啟動必需探針。
     metric_config.interval	指標采集的事件間隔。由于指標采集存在一定性能損耗，因此ACK Net Exporter會定期采集后緩存在內存中。	5

在v0.2.3版本及更新版本的ACK Net Exporter中，已經支持了配置的熱更新，如果您使用較早期的版本，在修改配置之后需要觸發ACK Net Exporter所有容器的重建來使配置變更生效。

ACK Net Exporter使用說明

在Alinux以外的操作系統上使用ACK Net Exporter

ACK Net Exporter的部分核心功能依賴于eBPF程序進行采集。為了滿足使用不同操作系統內核的需求，ACK Net Exporter采用CO-RE的方式實現eBPF程序的分發。在啟動過程中，依賴于與操作系統內核關聯的BTF文件（操作系統內核的調試信息元數據的文件）進行加載。如果沒有適配的BTF文件，這部分功能將不可用。在高版本的操作系統中，一般都會內置BTF文件的支持。關于操作系統的更多信息，請參見BPF Type Format。

ACK Net Exporter的監控指標及格式

inspector_pod_udprcvbuferrors{namespace="elastic-system",netns="ns402653****",node="iZbp179u0bgzhofjupc****",pod="elastic-operator-0"} 0 1654487977826

ACK Net Exporter的監控事件及格式

ACK Net Exporter支持采集節點上發生的網絡相關的異常事件。根據長期處理網絡問題中的經驗，我們歸納了幾種常見的網絡疑難問題。這些問題往往在集群中難以無法復現，以偶然發生的方式干擾正常的業務，缺乏有效的定位手段，其中部分如下：

• 網絡數據報文被丟棄引發的連接失敗，響應超時等問題。

• 網絡數據處理耗時久引發的偶發性能問題。

• TCP、conntrack等狀態機制異常引發的業務異常問題。

針對無法快速復現和難以獲取現場的網絡問題，ACK Net Exporter提供了基于eBPF的操作系統內核上下文觀測能力。在問題發生的現場捕獲操作系統的實時狀態，并輸出事件日志。關于ACK Net Exporter支持的事件和相關的探針信息，請參見ACK Net Exporter事件詳解。

type=TCPRESET_NOSOCK pod=storage-monitor-5775dfdc77-fj767 namespace=kube-system protocol=TCP saddr=100.103.42.233 sport=443 daddr=10.1.17.188 dport=33488

對于需要有效的操作系統內核堆棧信息的事件，ACK Net Exporter會捕獲事件發生時在操作系統內核中的堆棧上下文信息。例如以下事件信息。

type=PACKETLOSS pod=hostNetwork namespace=hostNetwork protocol=TCP saddr=10.1.17.172 sport=6443 daddr=10.1.17.176 dport=43018  stacktrace:skb_release_data+0xA3 __kfree_skb+0xE tcp_recvmsg+0x61D inet_recvmsg+0x58 sock_read_iter+0x92 new_sync_read+0xE8 vfs_read+0x89 ksys_read+0x5A

ACK Net Exporter支持多種事件查看方式，詳細介紹，請參見下文的從ACK Net Exporter收集監控數據。

從ACK Net Exporter收集監控數據

場景一：使用Prometheus或Grafana收集監控數據并可視化

# 只包含一個要抓取的端點的抓取配置。
scrape_configs:
# "net-exporter_sample"將作為“job=<job_name>”標簽添加到從此配置中抓取的任何時間序列中。
- job_name: "net-exporter_sample"
static_configs:
  - targets: ["{kubernetes pod ip}:9102"]
                

apiVersion: v1
kind: ConfigMap
metadata:
  name: prometheus-server-conf
  labels:
    name: prometheus-server-conf
  namespace: kube-system
data:
  prometheus.yml: |-
          # 將以下內容添加到Promethes Server配置中。
      - job_name: 'net-exporter'
        kubernetes_sd_configs:
          - role: endpoints
        relabel_configs:
        - source_labels: [__meta_kubernetes_endpoints_name]
          regex: 'net-exporter'
          action: keep

      - job_name: 'kubernetes-pods'

        kubernetes_sd_configs:
        - role: pod

        relabel_configs:
        - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_scrape]
          action: keep
          regex: true
        - source_labels: [__meta_kubernetes_pod_annotation_prometheus_io_path]
          action: replace
          target_label: __metrics_path__
          regex: (.+)
        - source_labels: [__address__, __meta_kubernetes_pod_annotation_prometheus_io_port]
          action: replace
          regex: ([^:]+)(?::\d+)?;(\d+)
          replacement: $1:$2
          target_label: __address__
        - action: labelmap
          regex: __meta_kubernetes_pod_label_(.+)
        - source_labels: [__meta_kubernetes_namespace]
          action: replace
          target_label: kubernetes_namespace
        - source_labels: [__meta_kubernetes_pod_name]
          action: replace
          target_label: kubernetes_pod_name

添加完成后，可以在Prometheus Server的Status > Targets界面看到已經生效的ACK Net Exporter實例，或者在Prometheus Server的Graph界面的搜索欄中輸入inspector，即可看到自動補全的ACK Net Exporter指標。

您可以通過配置Grafana將Prometheus采集到的數據進行可視化操作：

1. 打開Grafana頁面，在左側導航欄中選擇 > Dashboard。

2. 在New dashboard頁面單擊Add an empty panel。

3. 進入Edit Panel頁面，在下方Data source中輸入Prometheus，然后選擇已經完成Prometheus Server的接口地址。

4. 單擊Metric browser， 然后輸入inspector，Grafana會自動補全ACK Net Exporter所有就緒的Metric，單擊右上角Save，在彈出框中單擊Save，然后會出現可視化的數據，效果如下：

   

5. 對于使用Grafana進行可視化圖形顯示的配置，可以參照上述的指標格式，對指標的顯示格式進行調整，例如inspector_pod_tcppassiveopens指標，表征系統自開機或者Pod所屬的容器創建后，歸屬于這個網絡命名空間內的所有TCP連接由于接受客戶端的握手請求創建的Socket總數變化，通常可以認為是表征TCP總連接數量的增長，為了更加直觀的反應增長的速率變化，可以參考以下配置：

   // 使用PromQL提供的rate()方法配置Metrics。
   rate(inspector_pod_tcppassiveopens[1m])
   
   // 使用net-exporter提供的標簽來配置Legend，直觀顯示Metrics。
   {{namespace}}/{{pod}}/{{node}}

場景二：使用應用實時監控服務ARMS收集監控數據并可視化

ACK Net Exporter支持通過應用實時監控服務ARMS進行數據可視化操作，步驟如下：

1. 步驟一：開啟阿里云Prometheus監控。

2. 配置ACK Net Exporter自定義指標。

   1. 登錄ARMS控制臺，在左側導航欄中選擇Prometheus監控 > Prometheus實例列表。

   2. 登錄ARMS控制臺。

   3. 在頁面頂部，選擇容器服務ACK集群所在的地域

   4. 在左側導航欄選擇Prometheus監控 > 實例列表，進入可觀測監控 Prometheus 版的實例列表頁面。

   5. 單擊目標Prometheus實例名稱，進入集成中心頁面。

   6. 在實例列表頁面，單擊目標實例名稱（一般是集群名稱）進入對應實例頁面。

   7. 在左側導航欄中單擊服務發現，然后單擊Targets頁簽，在頁面下方的kubernetes-pods選項頁可以看到ACK Net Exporter的指標已經配置成功。

      如果沒有找到相關的Pod，則需要您在配置頁簽下手動開啟默認服務發現的選項。

   8. 在左側導航欄中單擊大盤列表，單擊目標大盤進入Grafana，然后單擊添加Panel，選擇Graph類型，在Data source中選擇開啟ACK Net Exporter的集群相關的數據源。

   9. 單擊Metric browser， 然后輸入inspector，Grafana會自動補全ACK Net Exporter所有就緒的Metric，單擊右上角Save，在彈出框中單擊Save，然后會出現可視化的數據，效果如下：

場景三：使用Grafana Loki收集監控事件并可視化

ACK Net Exporter采集的異常事件類型的數據，支持通過預先配置的Grafana Loki服務，由ACK Net Exporter向Loki進行實時推送，從而達到將分布式的異常事件進行集中式的串型查看分析，使用ACK Net Exporter配合Grafana Loki的服務步驟如下：

1. 搭建Grafana Loki服務。

   說明

   服務需要位于ACK Net Exporter的Pod可以訪問的網絡中，ACK Net Exporter會主動向已經配置并就緒的Grafana Loki服務推送事件日志信息。

2. 在安裝ACK Net Exporter的配置頁面中，將enableEventServer配置為true，將lokiServerAddress配置為Grafana Loki服務的地址。您可以配置Grafana Loki服務的IP地址，也可以配置Grafana Loki 服務的域名。

3. 執行以下命令，訪問Grafana Loki的服務地址來檢驗Grafana Loki服務是否已就緒。

   curl http://[Grafana Loki實例的地址]:3100/ready

4. 待Grafana Loki服務就緒后，添加Grafana Loki作為Grafana的數據源。

   打開Grafana頁面，在左側導航欄中選擇Data source > Loki，輸入Grafana Loki的接口地址，單擊Save&test。

5. 在左側導航欄單擊Explore，在頁面頂部設置數據源為Loki，查看輸出到Grafana Loki的事件信息。

   您可以在Label filters下拉框中選擇過濾某個Node的事件，也可以在Line containers中輸入事件相關的信息來查看具體的事件。

   您可以單擊頁面頂部的Add to dashboard，將配置好的事件Panel添加到大盤中。

   ACK Net Exporter提供的事件根據事件的類型攜帶了不同的信息，單擊事件的詳情后，可以查看到詳細的事件發生時的信息。

   Grafana Loki服務支持通過LogQL語法查詢信息，詳細介紹，請參見LogQL。

場景四：使用ACK Net Exporter Cli工具收集監控事件

ACK Net Exporter Cli（以下簡稱inspector-cli）是ACK容器網絡團隊基于ACK Net Exporter既有的能力，提供場景化的問題排查輔助分析，獲取即時內核異常事件日志的工具，針對云原生場景設計，幫助用戶快速定位常見問題的深層次原因。

# 啟動臨時容器用于使用incpector-cli，您可以更換鏡像的版本來使用更新版本的特性。
docker run -it --name=inspector-cli --network=host registry.cn-hangzhou.aliyuncs.com/acs/inspector:v0.0.1-12-gff0558c-aliyun

which inspector
# /bin/inspector 是inspector-cli的執行路徑，您可以直接在容器中使用inspector-cli。

# 通過‘-e’指定需要獲取事件的遠端ACK Net Exporter事件服務地址。
inspector watch -e 10.1.16.255

# 以下為結果示例。
 INFO  TCP_RCV_RST_ESTAB Namespace=kube-system Pod=kube-proxy-worker-tbv5s Node=iZbp1jesgumdx66l8ym8j8Z Netns=4026531993 10.1.16.255:43186 -> 100.100.27.15:3128
...

您也可以選擇登錄到ACK Net Exporter的inspector容器中排查問題。

# 執行命令時，需要將-n參數指定為net-exporter安裝的命名空間，同時執行需要登入的節點上的net-exporter實例。
kubectl exec -it -n kube-system -c inspector net-exporter-2rvfh -- sh

# 通過以下命令可以查看到當前節點上的網絡數據面分布情況。
inspector list entity

# 通過以下命令可以監聽本地的網絡異常事件日志及其信息。
inspector watch -d -v
#{"time":"2023-02-03T09:01:03.402118044Z","level":"INFO","source":"/go/src/net-exporter/cmd/watch.go:63","msg":"TCPRESET_PROCESS","meta":"hostNetwork/hostNetwork node=izbp1dnsn1bwv9oyu2gaupz netns=ns0 ","event":"protocol=TCP saddr=10.1.17.113 sport=6443 daddr=10.1.17.113 dport=44226  state:TCP_OTHER "}

# 通過指定多個遠端的ACK Net Exporter實例，也可以觀察到不同節點上發生的時間。
inspector watch -s 10.1.17.113 -s 10.1.18.14 -d -v
            

如何使用ACK Net Exporter定位容器網絡常見偶發疑難問題

以下內容提供了針對部分云原生典型問題的排查指南，結合ACK Net Exporter，幫助您快速獲取與問題有關的信息。

DNS超時相關問題

由于云原生環境中很多服務依賴于CoreDNS提供域名解析服務，在出現DNS問題時，如果出現問題的DNS請求與CoreDNS有關，您需要同時觀察CoreDNS相關Pod的上述指標的異常情況。

Nginx Ingress 499/502/503/504相關問題

在上述指標信息的基礎上，根據指標在對應問題時間點的變化，可以縮小排查的范圍，如果憑借指標無法定位到問題，您可以提交工單，在發起工單時提供上述的信息，來幫助客服同學快速了解情況，避免無效溝通。

TCP Reset報文相關問題

偶發網絡延遲抖動相關問題

客戶案例分析

以下為部分容器網絡客戶借助ACK Net Exporter進行疑難問題排查分析的案例，您可以比對現象進行參考。

案例一：某客戶偶發DNS Timeout問題

客戶現象

客戶A發起工單，現象為有偶發的DNS解析超時，用戶業務采用PHP，DNS服務為配置CoreDNS。

排查過程

1. 根據客戶描述，與客戶溝通后獲取客戶監控中的DNS相關數據。

2. 分析客戶報錯時間點內數據，發現以下問題。

   • 報錯時間內inspector_pod_udpnoports增加1，指標整體較小。

   • inspector_pod_packetloss中出現了符號__udp4_lib_rcv的丟包加1，這個符號的丟包數變化較少。

3. 客戶反饋配置的DNS地址為公網某服務商地址，結合監控信息，判斷客戶報錯根因為DNS請求返回較慢，用戶態超時返回后，DNS回包到達。

案例二：某客戶Java應用偶發連接失敗問題

客戶現象

客戶B發起工單，現象為出現偶發的Tomcat不可用，每次出現持續時間約為5～10s。

排查過程

1. 經過日志分析，確認現象發生時，客戶的Java Runtime正在進行GC操作。

2. ACK Net Exporter監控部署后發現客戶在問題的時間點inspector_pod_tcpextlistendrops指標有明顯的上升。

3. 經過分析后得出結論，客戶的Java Runtime進行GC操作時，處理請求的速度變慢，導致請求的釋放變慢，但是請求的新建并沒有被限制，因此產生了大量的鏈接，將Listen Socket的Backlog打滿后產生溢出，導致inspector_pod_tcpextlistendrops上升。

4. 此問題中，客戶的連接堆積持續時間短，且本身處理能力沒有問題，因此建議客戶調整Tomcat相關參數后，解決了客戶問題。

案例三：某客戶偶發網絡延遲抖動問題

客戶現象

客戶C發起工單，現象為客戶應用于Redis之間的請求出現了偶發的RTT增高導致業務超時，但是無法復現。

排查過程

1. 經過日志分析，客戶出現了偶發的Redis請求超過300ms的總響應時間的情況。

2. ACK Net Exporter部署后，從監控中發現了inspector_node_virtsendcmdlat指標在問題發生時有增長，增長的le（Prometheus監控中的Level）為18與15。經過換算得知此時出現過兩次延遲較高的虛擬化調用，其中le為15的產生了36ms以上的延遲，而le為18的產生了200ms以上的延遲。

3. 由于內核的虛擬化調用執行時會占據CPU，無法被搶占，因此客戶的偶發延遲是由于Pod的批量增刪過程中有一些虛擬化調用執行過久導致。

案例四：某客戶Ingress Nginx偶發健康檢查失敗問題

客戶現象

客戶D發起工單，現象為客戶的Ingress機器有偶發的健康檢查失敗并伴隨著業務請求失敗的問題。

排查過程

1. ACK Net Exporter部署監控后發現客戶出現問題是多個指標有異常的變化。

   1. inspector_pod_tcpsummarytcprxqueue與inspector_pod_tcpsummarytcptxqueue均出現了上升。

   2. inspector_pod_tcpexttcptimeouts出現了上升。

   3. inspector_pod_tcpsummarytcptimewaitconn下降，inspector_pod_tcpsummarytcpestablishedconn上升。

2. 經過分析后確認在問題發生的時間點，內核工作正常，連接的建立正常，但是用戶進程的運行出現了異常，包括處理收取Socket中的報文以及實際執行報文的發送操作，推測此時用戶進程存在調度問題或者限制問題。

3. 建議用戶查看Cgroup的監控后發現客戶在問題時間點出現了CPU Throttled現象，證明此時出現了偶發的用戶進程由于Cgroup原因無法得到調度的現象。

4. 按照文檔CPU Burst性能優化策略，為Ingress配置CPU Burst功能后，解決了這一類問題。

相關內容

ACK Net Exporter指標列表

在ACK Net Exporter更新過程中指標會有新增或變更，詳細信息請參考應用市場組件頁面的說明。除net_softirq/virtcmdlat等與Pod本身無關的邏輯外，所有的指標與事件均提供Pod粒度的詳細信息。

ACK Net Exporter事件詳解

ACK Net Exporter當前最新版本支持實時捕獲以下操作系統網絡相關的異常事件。

推薦使用的Grafana配置文件

• 如果您使用的是v8.4.0以上版本的Grafana，請單擊ACK Net Exporter-0.2.9.json鏈接獲取Grafana配置文件。

• 如果您使用的是v8.4.0及以下版本的Grafana，請單擊ACK Net Exporter-legacy.json鏈接獲取Grafana配置文件。