要求 Proxy 記錄

Cloud Service Mesh 在 Cloud Logging 中支援兩種不同的存取記錄：流量記錄 (也稱為 Google Cloud Observability 存取記錄) 和 Envoy 存取記錄。本頁面說明如何啟用、停用、查看及解讀這些記錄。請注意，系統預設會啟用流量記錄。

啟用及停用存取記錄

cat <<EOF | kubectl apply -n istio-system -f -
apiVersion: telemetry.istio.io/v1alpha1
kind: Telemetry
metadata:
  name: enable-envoy-disable-sd
  namespace: istio-system
spec:
  accessLogging:
  - providers:
      - name: envoy
  - providers:
      - name: stackdriver
    disabled: true
EOF

cat <<EOF | kubectl apply -n istio-system -f -
apiVersion: telemetry.istio.io/v1alpha1
kind: Telemetry
metadata:
  name: disable-envoy-enable-sd
  namespace: istio-system
spec:
  accessLogging:
  - providers:
      - name: envoy
    disabled: true
  - providers:
      - name: stackdriver
EOF

---
apiVersion: install.istio.io/v1alpha1
kind: IstioOperator
spec:
  meshConfig:
    accessLogFile: "/dev/stdout"

kubectl logs POD_NAME -n NAMESPACE_NAME -c istio-proxy

resource.type="k8s_container" \
resource.labels.container_name="istio-proxy"
resource.labels.cluster_name="CLUSTER_NAME" \
resource.labels.namespace_name="NAMESPACE_NAME" \
resource.labels.pod_name="POD_NAME"

{
  insertId: "1awb4hug5pos2qi"
  httpRequest: {
    requestMethod: "GET"
    requestUrl: "YOUR-INGRESS/productpage"
    requestSize: "952"
    status: 200
    responseSize: "5875"
    remoteIp: "10.8.0.44:0"
    serverIp: "10.56.4.25:9080"
    latency: "1.587232023s"
    protocol: "http"
  }
  resource: {
    type: "k8s_container"
    labels: {
      location: "us-central1-a"
      project_id: "YOUR-PROJECT"
      pod_name: "productpage-v1-76589d9fdc-ptnt9"
      cluster_name: "YOUR-CLUSTER-NAME"
      container_name: "productpage"
      namespace_name: "default"
    }
  }
  timestamp: "2020-04-28T19:55:21.056759Z"
  severity: "INFO"
  labels: {
    destination_principal: "spiffe://cluster.local/ns/default/sa/bookinfo-productpage"
    response_flag: "-"
    destination_service_host: "productpage.default.svc.cluster.local"
    source_app: "istio-ingressgateway"
    service_authentication_policy: "MUTUAL_TLS"
    source_name: "istio-ingressgateway-5ff85d8dd8-mwplb"
    mesh_uid: "YOUR-MESH-UID"
    request_id: "021ce752-9001-4ac6-b6d6-3b15f5d3632"
    destination_namespace: "default"
    source_principal:  "spiffe://cluster.local/ns/istio-system/sa/istio-ingressgateway-service-account"
    destination_workload: "productpage-v1"
    destination_version: "v1"
    source_namespace: "istio-system"
    source_workload: "istio-ingressgateway"
    destination_name: "productpage-v1-76589d9fdc-ptnt9"
    destination_app: "productpage"
  }
  trace: "projects/YOUR-PROJECT/traces/d4197f59b7a43e3aeff3571bac99d536"
  receiveTimestamp: "2020-04-29T03:07:14.362416217Z"
  spanId: "43226343ca2bb2b1"
  traceSampled: true
  logName: "projects/YOUR-PROJECT/logs/server-accesslog-stackdriver"
  receiveTimestamp: "2020-04-28T19:55:32.185229100Z"
}

解讀 Cloud Service Mesh 遙測資料

以下各節說明如何查看網格狀態，以及如何查看各種遙測資料，這些資料包含有助於排解問題的詳細資訊。

解讀控制層指標

診斷設定延遲問題

解讀流量記錄

以下資訊說明如何使用流量記錄檔排解連線問題。流量記錄預設為啟用。

Cloud Service Mesh 會將資料匯出至流量記錄，協助您偵錯下列類型的問題：

• 流量和失敗情形
• 端對端要求轉送

在 Google Kubernetes Engine 上安裝 Cloud Service Mesh 時，系統預設會啟用流量記錄。如要啟用流量記錄檔，請重新執行 asmcli install。使用與原始安裝時相同的選項，但省略停用 Stackdriver 的自訂疊加層。

流量記錄分為兩種：

• 伺服器存取記錄會提供伺服器端的要求檢視畫面。這些指標位於 server-accesslog-stackdriver 下方，並附加至受監控的 k8s_container 資源。使用下列網址語法顯示伺服器端存取記錄：

  https://console.cloud.google.com/logs/viewer?advancedFilter=logName="projects/PROJECT_ID/logs/server-accesslog-stackdriver"&project=PROJECT_ID

• 用戶端存取記錄會顯示用戶端的要求。這些指標位於 client-accesslog-stackdriver 下方，並附加至受監控的 k8s_pod 資源。請使用下列網址語法顯示用戶端存取記錄：

  https://console.cloud.google.com/logs/viewer?advancedFilter=logName="projects/PROJECT_ID/logs/client-accesslog-stackdriver"&project=PROJECT_ID

存取記錄包含下列資訊：

• HTTP 要求屬性，例如 ID、網址、大小、延遲時間和常見標頭。
• 來源和目的地工作負載資訊，例如名稱、命名空間、身分和通用標籤。
• 來源和目的地的標準服務和修訂版本資訊。
• 如果啟用追蹤功能，記錄會包含追蹤資訊，例如取樣、追蹤 ID 和時距 ID。

流量記錄可能包含下列標籤：

• route_name
• upstream_cluster
• X-Envoy-Original-Path

記錄項目範例如下：

{
  "insertId": "1j84zg8g68vb62z",
  "httpRequest": {
    "requestMethod": "GET",
    "requestUrl": "http://35.235.89.201:80/productpage",
    "requestSize": "795",
    "status": 200,
    "responseSize": "7005",
    "remoteIp": "10.168.0.26:0",
    "serverIp": "10.36.3.153:9080",
    "latency": "0.229384205s",
    "protocol": "http"
  },
  "resource": {
    "type": "k8s_container",
    "labels": {
      "cluster_name": "istio-e2e22",
      "namespace_name": "istio-bookinfo-1-68819",
      "container_name": "productpage",
      "project_id": "***",
      "location": "us-west2-a",
      "pod_name": "productpage-v1-64794f5db4-8xbtf"
    }
  },
  "timestamp": "2020-08-13T21:37:42.963881Z",
  "severity": "INFO",
  "labels": {
    "protocol": "http",
    "upstream_host": "127.0.0.1:9080",
    "source_canonical_service": "istio-ingressgateway",
    "source_namespace": "istio-system",
    "x-envoy-original-path": "",
    "source_canonical_revision": "latest",
    "connection_id": "32",
    "upstream_cluster": "inbound|9080|http|productpage.istio-bookinfo-1-68819.svc.cluster.local",
    "requested_server_name": "outbound_.9080_._.productpage.istio-bookinfo-1-68819.svc.cluster.local",
    "destination_version": "v1",
    "destination_workload": "productpage-v1",
    "source_workload": "istio-ingressgateway",
    "destination_canonical_revision": "v1",
    "mesh_uid": "cluster.local",
    "source_principal": "spiffe://cluster.local/ns/istio-system/sa/istio-ingressgateway-service-account",
    "x-envoy-original-dst-host": "",
    "service_authentication_policy": "MUTUAL_TLS",
    "destination_principal": "spiffe://cluster.local/ns/istio-bookinfo-1-68819/sa/bookinfo-productpage",
    "response_flag": "-",
    "log_sampled": "false",
    "destination_service_host": "productpage.istio-bookinfo-1-68819.svc.cluster.local",
    "destination_name": "productpage-v1-64794f5db4-8xbtf",
    "destination_canonical_service": "productpage",
    "destination_namespace": "istio-bookinfo-1-68819",
    "source_name": "istio-ingressgateway-6845f6d664-lnfvp",
    "source_app": "istio-ingressgateway",
    "destination_app": "productpage",
    "request_id": "39013650-4e62-9be2-9d25-78682dd27ea4",
    "route_name": "default"
  },
  "logName": "projects/***/logs/server-accesslog-stackdriver",
  "trace": "projects/***t/traces/466d77d15753cb4d7749ba5413b5f70f",
  "receiveTimestamp": "2020-08-13T21:37:48.758673203Z",
  "spanId": "633831cb1fda4fd5",
  "traceSampled": true
}

您可以透過多種方式使用這份記錄：

• 與 Cloud Trace 整合，這是 Cloud Service Mesh 的選用功能。
• 將流量記錄匯出至 BigQuery，然後執行查詢 (例如選取所有耗時超過 5 秒的要求)。
• 建立記錄指標。
• 排解 404 和 503 錯誤

排解 404 和 503 錯誤

以下範例說明如何使用這份記錄，在要求失敗並傳回 404 或 503 回應碼時排解問題。

1. 在用戶端存取記錄中，搜尋類似下列內容的項目：

   httpRequest: {
   requestMethod: "GET"
   requestUrl: "://IP_ADDRESS/src/Util/PHP/eval-stdin.php"
   requestSize: "2088"
   status: 404
   responseSize: "75"
   remoteIp: "10.168.0.26:34165"
   serverIp: "10.36.3.149:8080"
   latency: "0.000371440s"
   protocol: "http"
   }

2. 前往存取記錄項目中的標籤。找出 response_flag 欄位，如下所示：

   response_flag: "NR"

   NR 值是 NoRoute 的縮寫，表示系統找不到目的地路徑，或下游連線沒有相符的篩選器鏈。同樣地，您也可以使用 response_flag 標籤排解 503 錯誤。

3. 如果用戶端和伺服器存取記錄中都出現 503 錯誤，請確認為各項服務設定的通訊埠名稱，與兩者之間使用的通訊協定名稱相符。舉例來說，如果 golang 二進位用戶端使用 HTTP 連線至 golang 伺服器，但通訊埠名為 http2，通訊協定就不會自動正確協商。

詳情請參閱回應標記。

解讀 Envoy 存取記錄

下列步驟說明如何使用 Envoy 存取記錄，顯示連線兩端的流量，以利進行疑難排解。

Envoy 存取記錄有助於診斷下列問題：

• 流量和失敗情形
• 端對端要求轉送

Cloud Service Mesh 預設不會啟用 Envoy 存取記錄，但您可以為網格中的叢集啟用這項功能。

您可以在應用程式中產生活動，觸發 HTTP 要求，然後檢查來源或目的地記錄中的相關要求，藉此排解連線或要求失敗問題。

如果觸發要求並顯示在來源 Proxy 記錄中，表示 iptables 流量重新導向功能正常運作，且 Envoy Proxy 正在處理流量。如果記錄中顯示錯誤，請產生 Envoy 設定傾印，並檢查 Envoy 叢集設定，確保設定正確。如果看到要求，但記錄中沒有錯誤，請改為檢查目的地 Proxy 記錄。

如果要求顯示在目的地 Proxy 記錄中，表示網格本身運作正常。如果看到錯誤，請執行 Envoy 設定傾印，並確認接聽器設定中設定的流量通訊埠值正確無誤。

如果執行上述步驟後問題仍未解決，可能是 Envoy 無法在 Sidecar 和應用程式 Pod 之間自動協商通訊協定。確認 Kubernetes 服務通訊埠名稱 (例如 http-80) 與應用程式使用的通訊協定相符。

使用記錄檔探索工具查詢記錄

您可以使用記錄檔探索工具介面查詢特定 Envoy 存取記錄。舉例來說，如要查詢已啟用 MULTUAL_TLS 並使用通訊協定 grpc 的所有要求，請在伺服器存取記錄查詢中附加下列內容：

labels.protocol="grpc" labels.service_authentication_policy="MULTUAL_TLS"

設定存取記錄政策

查看服務或工作負載專屬資訊

如果問題出在特定服務或工作負載，而非整個網格，請檢查個別 Envoy 代理程式，並從中收集相關資訊。如要收集特定工作負載及其 Proxy 的相關資訊，可以使用 pilot-agent：

kubectl exec POD_NAME -n NAMESPACE_NAME -c istio-proxy -- pilot-agent request GET SCOPE

在範例中，SCOPE 是下列其中一項：

• certs - Envoy 執行個體中的憑證
• clusters - 已設定 Envoy 的叢集
• config_dump - Dumps the Envoy configuration
• listeners - 已設定 Envoy 的監聽器
• logging - 查看及變更記錄設定
• stats - Envoy 統計資料
• stats/prometheus - Envoy 統計資料 (Prometheus 記錄)

查看 Proxy Socket 狀態

您可以直接檢查 Envoy Proxy Socket 的狀態，方法如下：

1. 顯示已建立的通訊端清單，包括 TIME_WAIT 狀態的通訊端。如果通訊端數量過多，可能會對擴充性造成負面影響：

   kubectl debug --image istio/base --target istio-proxy -it POD_NAME -n NAMESPACE_NAME -- ss -anopim

2. 顯示通訊端統計資料摘要：

   kubectl debug --image istio/base --target istio-proxy -it POD_NAME -n NAMESPACE_NAME -- ss -s

詳情請參閱「An Introduction to the ss Command」。

「istio-proxy」和「istio-init」記錄

此外，請擷取 istio-proxy 記錄，並查看內容是否有任何錯誤，藉此找出問題原因：

kubectl logs POD_NAME -n NAMESPACE_NAME -c istio-proxy

您也可以對 init 容器執行同樣操作：

kubectl logs POD_NAME -n NAMESPACE_NAME -c istio-init

後續步驟

• 與 Cloud Trace 整合。 Cloud Trace 是 Cloud Service Mesh 的選用功能。

• 將流量記錄匯出至 BigQuery。

• 建立記錄指標。