服務網格ASM提供日志、監控指標、鏈路追蹤維度的可觀測配置功能。您可以通過ASM控制臺為全局、命名空間或指定工作負載自定義相關配置,例如日志輸出的格式、指標的維度、是否啟用特定監控指標、設置鏈路追蹤的采樣率等。本文介紹如何使用可觀測配置功能。
前提條件
作用范圍
類型 | 說明 |
全局 | 全局配置支持日志、監控指標、鏈路追蹤設置。全局配置只有一份,無法刪除。僅全局配置支持鏈路追蹤設置。 |
命名空間 | 為命名空間創建專有的可觀測配置。每個命名空間只能有一份命名空間級可觀測配置。 |
自定義 | 通過工作負載選擇器選定一個自定義配置的生效范圍。每個工作負載至多被一個自定義配置選中。 |
操作步驟
全局
命名空間
登錄ASM控制臺,在左側導航欄,選擇 。
在網格管理頁面,單擊目標實例名稱,然后在左側導航欄,選擇 。
在可觀測配置頁面,單擊命名空間頁簽,單擊創建,選擇目標命名空間,按需配置日志和監控指標,然后單擊創建。
您可以單擊下表的鏈接,查看配置的詳細說明。
配置區域
說明
自定義
登錄ASM控制臺,在左側導航欄,選擇 。
在網格管理頁面,單擊目標實例名稱,然后在左側導航欄,選擇 。
在可觀測配置頁面,單擊自定義頁簽,選擇目標命名空間,單擊創建,輸入名稱和匹配標簽,按需配置日志和監控指標,然后單擊創建。
您可以單擊下表的鏈接,查看配置的詳細說明。
配置區域
說明
日志設置說明
日志設置包括啟用或禁用訪問日志輸出、設置日志輸出形式、自定義日志格式、日志過濾。
啟用或禁用訪問日志輸出
在日志設置區域,按需打開或關閉啟用日志輸出開關。
打開開關,服務網格數據平面Sidecar或網關會將訪問日志輸出至容器標準輸出。
關閉開關,服務網格數據平面Sidecar或網關停止將日志輸出到容器標準輸出。
在數據平面Sidecar容器的標準輸出查看日志。
下文以使用kubectl查看訪問日志為例進行說明。
執行以下命令,查看Sidecar日志。
kubectl logs httpbin-5c5944c58c-w**** -c istio-proxy --tail 1
{ "authority_for":"47.110.XX.XXX", "bytes_received":"0", "bytes_sent":"22382", "downstream_local_address":"192.168.0.29:80", "downstream_remote_address":"221.220.XXX.XXX:0", "duration":"80", "istio_policy_status":"-", "method":"GET", "path":"/static/favicon.ico", "protocol":"HTTP/1.1", "request_id":"0f2cf829-3da5-4810-a618-08d9745d****", "requested_server_name":"outbound_.8000_._.httpbin.default.svc.cluster.local", "response_code":"200", "response_flags":"-", "route_name":"default", "start_time":"2023-06-30T04:00:36.841Z", "trace_id":"-", "upstream_cluster":"inbound|80||", "upstream_host":"192.168.0.29:80", "upstream_local_address":"127.0.X.X:55879", "upstream_response_time":"79", "upstream_service_time":"79", "upstream_transport_failure_reason":"-", "user_agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.X.X Safari/537.36", "x_forwarded_for":"221.220.XXX.XXX" }
執行以下命令,查看入口網關日志。
kubectl -n istio-system logs istio-ingressgateway-6cff9b6b58-r**** --tail 1
{ "authority_for":"47.110.XX.XXX", "bytes_received":"0", "bytes_sent":"22382", "downstream_local_address":"192.168.0.63:80", "downstream_remote_address":"221.220.XXX.XXX:64284", "duration":"81", "istio_policy_status":"-", "method":"GET", "path":"/static/favicon.ico", "protocol":"HTTP/1.1", "request_id":"0f2cf829-3da5-4810-a618-08d9745d****", "requested_server_name":"-", "response_code":"200", "response_flags":"-", "route_name":"httpbin", "start_time":"2023-06-30T04:00:36.841Z", "trace_id":"-", "upstream_cluster":"outbound|8000||httpbin.default.svc.cluster.local", "upstream_host":"192.168.0.29:80", "upstream_local_address":"192.168.0.63:36140", "upstream_response_time":"81", "upstream_service_time":"81", "upstream_transport_failure_reason":"-", "user_agent":"Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_7) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/113.0.X.X Safari/537.36", "x_forwarded_for":"221.220.XXX.XXX" }
(可選)通過容器服務控制臺查看訪問日志。
如果您使用阿里云容器服務集群,還可以通過容器服務控制臺查看訪問日志。
登錄容器服務管理控制臺,在左側導航欄選擇集群。
在集群列表頁面,單擊目標集群名稱,然后在左側導航欄,選擇 。
在容器組頁面,單擊目標Pod名稱,然后在頁面下方單擊日志頁簽,查看訪問日志。
設置日志輸出形式
該功能僅支持1.20.6.36及以上版本的ASM實例。關于升級實例的具體操作,請參見升級ASM實例。
在日志設置區域,按需將日志輸出形式設置為JSON或TEXT。
設置為JSON,訪問日志將以JSON字符串的形式輸出至容器標準輸出。
設置為TEXT,訪問日志將以純文本字符串的形式輸出至容器標準輸出。
自定義日志格式
在日志設置區域,按需選中字段、修改自定義字段信息或在最下方日志指標右側單擊圖標,新增日志字段。
只有打開啟用日志輸出開關,才能自定義日志格式。在日志格式區域,默認選中的日志字段為默認必選字段,不支持修改。日志字段支持從請求Header、響應Header、Envoy內置值中取值。
下文以打印請求中的accept-encoding Header為例,配置變量名稱為accept-encoding,類型為請求屬性,變量值為Accept-Encoding。
執行以下命令,查看服務網格數據平面組件日志。
kubectl logs httpbin-5c5944c58c-w**** -c istio-proxy --tail 1|grep accept-encoding --color=auto
{ "bytes_received":"0", "bytes_sent":"9593", "downstream_local_address":"192.168.0.29:80", "downstream_remote_address":"69.164.XXX.XX:0", "duration":"2", "istio_policy_status":"-", "method":"GET", "path":"/", "protocol":"HTTP/1.1", "request_id":"29939dc9-62be-4ddf-acf6-32cb098d****", "requested_server_name":"outbound_.8000_._.httpbin.default.svc.cluster.local", "response_code":"200", "response_flags":"-", "route_name":"default", "start_time":"2023-06-30T04:18:19.734Z", "trace_id":"-", "upstream_cluster":"inbound|80||", "upstream_host":"192.168.0.29:80", "upstream_local_address":"127.0.X.X:34723", "upstream_service_time":"2", "upstream_transport_failure_reason":"-", "user_agent":"Mozilla/5.0 zgrab/0.x", "x_forwarded_for":"69.164.XXX.XX", "authority_for":"47.110.XX.XXX", "upstream_response_time":"2", "accept-encoding":"gzip" }
可以看到步驟1新增的Accept-Encoding Header的值,已被輸出至訪問日志。
日志過濾
在日志設置區域下方,按需選中啟用日志過濾以激活日志過濾,然后在下方日志表達式文本框輸入日志過濾表達式。未能與表達式匹配的請求對應的訪問日志將不會輸出。
例如,如果您希望只輸出Response Http Status >=400
的請求日志,則表達式為response.code >= 400
。詳細信息,請參見CEL表達式和常用字段。
CEL表達式和常用字段
日志過濾表達式為標準CEL(Common Expression Language)表達式。CEL表達式的常用字段如下。更多信息,請參見CEL和Envoy。
屬性 | 類型 | 說明 |
request.path | string | 請求路徑。 |
request.url_path | string | 不包含Query的請求路徑。 |
request.host | string | URL中的主機名部分。 |
request.method | string | 請求方法。 |
request.headers | map<string, string> | 以全小寫Header名索引的全部Request Header。 |
request.useragent | string | User Agent頭的值。 |
request.time | timestamp | 請求首個字節到達的時間。 |
request.id | string | 請求ID。 |
request.protocol | string | 請求協議,取值為 |
request.query | string | 請求URL中的Query串。 |
response.code | int | HTTP響應的返回碼。 |
response.code_details | string | 響應代碼詳細信息。 |
response.grpc_status | int | 響應中的gRPC狀態碼。 |
response.headers | map<string, string> | 以全小寫Header名索引的全部Response Header。 |
response.size | int | Response Body的大小,單位為byte。 |
response.total_size | int | Response消息的完整大小,單位為byte。 |
監控指標設置說明
監控指標設置包括啟用或禁用監控指標生成、指標維度。
啟用或禁用監控指標生成
監控指標分為CLIENT側指標和SERVER側指標。
CLIENT側指標:Sidecar作為客戶端主動發起請求時所產生的指標數據,網關指標也屬于CLIENT類別。
SERVER側指標:Sidecar作為服務端被動接受訪問時所產生的指標數據。
在監控指標設置區域的CLIENT側指標或SERVER側指標列,按需選中或取消選中目標指標對應的啟用。
啟用指標:服務網格數據平面Sidecar或網關會將該指標通過15020端口的
/stats/prometheus
路徑進行暴露。不啟用指標:該指標不會通過上述端口進行暴露。
執行以下命令,查看Sidecar或網關暴露的監控指標。
您可以通過kubectl命令在Sidecar或網關容器內執行curl命令,訪問本地15020端口的
/stats/prometheus
路徑,查看導出的監控指標。kubectl exec httpbin-5c5944c58c-w**** -c istio-proxy -- curl 127.0.0.1:15020/stats/prometheus|head -n 10
示例輸出:
# TYPE istio_agent_cert_expiry_seconds gauge istio_agent_cert_expiry_seconds{resource_name="default"} 46725.287654548 # HELP istio_agent_endpoint_no_pod Endpoints without an associated pod. # TYPE istio_agent_endpoint_no_pod gauge istio_agent_endpoint_no_pod 0 # HELP istio_agent_go_gc_duration_seconds A summary of the pause duration of garbage collection cycles. # TYPE istio_agent_go_gc_duration_seconds summary istio_agent_go_gc_duration_seconds{quantile="0"} 5.0149e-05 istio_agent_go_gc_duration_seconds{quantile="0.25"} 9.8807e-05 ......
指標維度
指標攜帶的維度可以表達更豐富的信息。您可以利用這些維度在Prometheus中篩選出目標指標。例如,您可以通過source_app指標來篩選請求客戶端為特定應用的指標。
編輯默認維度
您可以通過以下步驟對默認維度進行編輯。
在監控指標設置區域的CLIENT側指標或SERVER側指標列,單擊已啟用指標對應的編輯維度。
在自定義CLIENT 維度配置或自定義SERVER 維度配置對話框,按需選中或取消選中導出指標的維度,然后單擊確認。
例如,當未關閉任何維度的情況下,通過kubectl在Sidecar或網關容器內執行curl命令,訪問本地15020端口的/stats/prometheus
路徑,查看導出的監控指標。
kubectl exec httpbin-5c5944c58c-w**** -c istio-proxy -- curl 127.0.0.1:15020/stats/prometheus
以其中一個istio_request_bytes_sum(對應控制面板的REQUEST_SIZE指標)為例,可以看到其中包含了所有的維度。
istio_request_bytes_sum{reporter="destination",source_workload="istio-ingressgateway",source_canonical_service="unknown",source_canonical_revision="latest",source_workload_namespace="istio-system",source_principal="spiffe://cluster.local/ns/istio-system/sa/istio-ingressgateway",source_app="istio-ingressgateway",source_version="unknown",source_cluster="c479fc4abd2734bfaaa54e9e36fb26c01",destination_workload="httpbin",destination_workload_namespace="default",destination_principal="spiffe://cluster.local/ns/default/sa/httpbin",destination_app="httpbin",destination_version="v1",destination_service="httpbin.default.svc.cluster.local",destination_canonical_service="httpbin",destination_canonical_revision="v1",destination_service_name="httpbin",destination_service_namespace="default",destination_cluster="c479fc4abd2734bfaaa54e9e36fb26c01",request_protocol="http",response_code="200",grpc_response_status="",response_flags="-",connection_security_policy="mutual_tls"} 18000
修改SERVER側默認REQUEST_SIZE指標,只保留response_code維度,通過kubectl在Sidecar或網關容器內執行curl命令,訪問本地15020端口的/stats/prometheus
路徑,查看導出的監控指標。可以看到其中只包含了response_code維度。
istio_request_bytes_sum{response_code="200"} 16550
添加自定義維度
您可以通過以下步驟添加自定義維度:
在監控指標設置區域的CLIENT側指標或SERVER側指標列,單擊已啟用指標對應的編輯維度。
在自定義CLIENT 維度配置或自定義SERVER 維度配置對話框的自定義維度選項中,編輯指標的維度名稱和取值,然后單擊確認。
例如,在SERVER側編輯REQUEST_SIZE指標的自定義維度,添加維度名稱為request_path,維度取值為request.path后,通過kubectl命令在Sidecar或網關容器內執行curl命令,訪問本地15020端口的/stats/prometheus
路徑,查看導出的監控指標。可以看出,此時指標中包含自定義維度request_path。
istio_request_bytes_sum{response_code="200",request_path="/spec.json"} 5800
您可以通過移除業務不需要的默認維度來減少Envoy和Prometheus的內存消耗,但通常大多數維度都需要保留,因此監控指標設置區域僅展示被移除的維度。
鏈路追蹤設置說明
鏈路追蹤設置包括采樣百分比、自定義標簽。該功能僅支持全局配置。
采樣百分比
您可以自定義鏈路追蹤的采樣百分比,即觸發上報鏈路追蹤的請求的比例。設置為0表示關閉鏈路追蹤,沒有任何請求會觸發上報。
自定義標簽
您可以自定義上報的鏈路追蹤Span攜帶的標簽。在鏈路追蹤設置區域,單擊新增自定義標簽,配置名稱、類型和值。
類型取值包括固定值、請求Header和環境變量。類型的說明及標簽配置示例如下。
類型 | 說明 | 標簽配置示例 |
固定值 | 固定值類型標簽的值將固定為您設置的值。 |
|
請求Header | 請求Header標簽的值將以您指定的請求Header的值作為標簽值。若Header在請求中不存在,則使用默認值作為標簽值。 例如,從Header User-Agent中獲取標簽值,當Header不存在時則將標簽值設置為默認值unknow。 |
|
環境變量 | 環境變量標簽將從工作負載的指定環境變量中獲取標簽值。若環境變量在工作負載中不存在,則使用默認值作為標簽值。 例如,從環境變量ENV中獲取標簽值,當環境變量不存在時則將標簽值設置為默認值unknow。 |
|