日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

采集ECS服務日志

通過采集器(Beats),您可以采集云服務器ECS(Elastic Compute Service)中的日志文件、網絡數據、服務器指標等數據,發送到阿里云Elasticsearch或Logstash中進行監控、分析等操作。本文以Filebeat為例,介紹如何配置ECS服務日志采集。

前提條件

您已完成以下操作:

  • 創建阿里云Elasticsearch實例或Logstash實例,本文以6.7.0版本為例。

    具體操作,請參見創建阿里云Elasticsearch實例創建阿里云Logstash實例。

  • 開啟Elasticsearch實例的自動創建索引功能。

    出于安全考慮,阿里云Elasticsearch默認不允許自動創建索引。但Beats采集ECS服務日志時,需要依賴該功能,因此如果采集器Output選擇為Elasticsearch,需要開啟自動創建索引功能。具體操作,請參見配置YML參數。

  • 創建ECS實例,且該ECS實例與Elasticsearch實例或Logstash實例處于同一專有網絡下。

    創建實例時,請選擇Alibaba Cloud Linux (Alinux)、RedHat或CentOS這三種操作系統,因為Beats僅支持這三種操作系統。具體操作,請參見自定義購買實例。

    重要

    Beats默認安裝目錄為/opt/aliyunbeats/。安裝后,ECS上會生成conf、logsdata這3個目錄,分別映射了配置文件、Beats日志文件和Beats數據文件。建議不要刪除或修改這3個文件中的內容,否則可能出現異?;蛘邔е聰祿徽_。當出現問題時,您可以在logs目錄下查看Beats日志來定位問題。

  • 在目標ECS實例上安裝云助手和Docker服務。

    具體操作,請參見安裝云助手Agent部署并使用Docker

    重要

    請使用社區版Docker(docker-ce),使用其他版本Docker(例如podman-docker),Beats將部署失敗。

操作步驟

  1. 登錄阿里云Elasticsearch控制臺。
  2. 進入Beats數據采集中心。
    1. 在頂部菜單欄處,選擇地域。
    2. 在左側導航欄,單擊Beats數據采集中心
    3. 可選:首次進入Beats數據采集中心頁面,需要在服務授權對話框中查看提示信息,無誤后單擊確認,授權系統創建服務關聯角色。
      說明 Beats采集不同數據源中的數據時,依賴于服務關聯角色以及角色規則。使用過程中請勿刪除服務關聯角色,否則會影響Beats使用。詳細信息,請參見阿里云ES服務關聯角色。
  3. 配置并啟動ECS服務日志采集。

    說明

    以下操作以Filebeat為例。

    1. 創建采集器區域,將鼠標移至Filebeat上,單擊ECS日志。

      新建采集器頁面

      說明

      對于其他采集器,可直接單擊采集器名稱。例如創建Metricbeat采集器,可直接單擊Metricbeat。

    2. 采集器配置配置向導中,輸入或選擇采集器信息。

      采集器配置

      參數

      說明

      采集器名稱

      自定義輸入采集器的名稱。長度為1~30個字符,以大小寫字母開頭,可以包含字母、數字、下劃線(_)或連字符(-)。

      安裝版本

      目前Filebeat只支持6.8.5版本。

      采集器Output

      Filebeat采集內容的輸出地址。直接關聯已經創建的阿里云Elasticsearch或Logstash實例。訪問協議需要與所選Elasticsearch實例保持一致。

      重要

      不支持選擇8.x版本的Elasticsearch實例。

      用戶名密碼

      如果采集器Output選擇Elasticsearch,需要提供對應的用戶名和密碼,使Filebeat有權限向Elasticsearch實例中寫入數據。用戶名默認為elastic,密碼在創建實例時設定,如果忘記可重置。重置密碼的注意事項和操作步驟,請參見重置實例訪問密碼。

      啟用Monitoring

      用來監控Filebeat的相關指標。如果采集器Output選擇Elasticsearch,Monitor默認使用和采集器Output相同的阿里云Elasticsearch實例;如果采集器Output選擇Logstash,則需要在配置文件中進行額外配置。

      啟用Kibana Dashboard

      用來配置默認的Kibana Dashboard。由于阿里云Kibana配置在VPC內,因此需要在Kibana配置頁面開通Kibana私網訪問功能。具體操作,請參見配置Kibana公網或私網訪問白名單

      填寫Filebeat文件目錄

      Filebeat專有的配置項。由于阿里云采用Docker部署Beats,因此需要將您希望采集的目錄映射到Docker內,填寫時需要與filebeat.yml中的input.path目錄保持一致。如果為多級目錄,只要指定任意一級目錄即可,不支持匹配*,例如:input.path: /var/log/*/*.log,則Filebeat文件目錄為/var//var/log/。

      重要
      • 路徑可以指定為目錄或完整路徑,也可以模糊匹配路徑下的某一類文件。

      • 如果您需要采集多個目錄的日志,可單擊+添加,在文本框中輸入待采集的路徑,同時在采集器YML配置paths參數中添加該路徑。

      采集器YML配置

      采集器配置文件。參考以下腳本,確保日志采集為開啟狀態, 且paths指定的目錄與您填寫的Filebeat文件目錄保持一致。

      filebeat.inputs:
      - type: log
        enabled: true
        paths:
          - /var/log/*.log

      對于其他參數,請根據業務需求,修改對應配置,詳情請參見采集器YML配置。

      重要
      • 指定采集器Output后,不需要再在采集器YML配置中單獨設置Output,否則會提示ECS采集器安裝錯誤。

      • 阿里云Filebeat不支持自定義索引名,系統會默認創建名稱為filebeat-%{[agent.version]}-%{+yyyy.MM.dd}的索引,例如filebeat-6.8.5-2021.12.11。

    3. 單擊下一步。

    4. 可選:首次進入采集器安裝配置向導,需要單擊前往授權。再在云資源訪問授權頁面,單擊同意授權,為對應的Elasticsearch實例授予訪問ECS的權限。

      授予對應實例訪問ECS的權限

      • 授權服務由訪問控制(RAM)提供,確認授權后,系統將會為您自動創建AliyunElasticsearchAccessingOOSRoleAliyunOOSAccessingECS4ESRole系統角色,以上兩個系統角色的默認系統策略分別是AliyunElasticsearchAccessingOOSRolePolicyAliyunOOSAccessingECS4ESRolePolicy,使用過程中請勿刪除系統角色和默認系統策略。

      • 如果RAM控制臺授權的默認策略或系統角色被刪除,可通過云資源訪問授權進行快捷授權,并為RAM用戶授予以下自定義權限,否則會出現權限不足的報錯。創建自定義權限的具體操作,請參見創建自定義權限策略。

        {
            "Version": "1",
            "Statement": [
                {
                    "Effect": "Allow",
                    "Action": [
                        "ram:CreateRole",
                        "ram:AttachPolicyToRole",
                        "ram:GetRole"
                    ],
                    "Resource": "acs:ram:*:*:role/*",
                    "Condition": {
                        "ForAllValues:StringEquals": {
                            "ram:TrustedPrincipalTypes": "Service",
                            "ram:ServiceNames": [
                                "elasticsearch.aliyuncs.com",
                                "oos.aliyuncs.com"
                            ]
                        }
                    }
                },
                {
                    "Effect": "Allow",
                    "Action": "ram:AttachPolicyToRole",
                    "Resource": "acs:ram:*:*:policy/*"
                },
                {
                    "Action": "ram:PassRole",
                    "Resource": "*",
                    "Effect": "Allow",
                    "Condition": {
                        "StringEquals": {
                            "acs:Service": "elasticsearch.aliyuncs.com"
                        }
                    }
                }
            ]
        }
    5. 采集器安裝配置向導中,選擇需要操作的ECS實例。

      采集器安裝

      重要

      采集器安裝實例列表中會顯示當前賬號下,所有和采集器Output所選的Elasticsearch實例或Logstash實例處于同一個專有網絡下的ECS,并且只有已經安裝云助手及Docker服務的ECS才能安裝采集器。

    6. 單擊啟動

    7. 啟動成功對話框中,單擊前往采集中心查看。在采集器列表中,查看創建成功的采集器。

      等待采集器狀態變為已生效,說明采集器創建成功。已生效中的兩個數字分別表示安裝成功的ECS數和目標ECS數,如果ECS實例生效成功,則兩邊數字相等。已生效采集器狀態

  4. 查看運行實例。

    采集器創建成功后,您可以查看運行實例,判斷采集器是否安裝成功,并根據提示處理異常情況。

    1. 采集器管理區域,單擊對應采集器右側操作列下的查看運行實例

    2. 查看運行實例頁面,查看采集器安裝情況

      采集器安裝情況分為3種:心跳正常、心跳異常、安裝失敗。在心跳異常或者安裝失敗的情況下,您可以選擇移除或者重試問題節點。如果重試失敗,可參見Beats安裝失敗的排查與解決方法排查解決。查看運行實例

    3. 單擊添加安裝實例,可繼續添加需要安裝同樣配置和類型的采集器的ECS。

  5. 可選:查看Monitoring或Dashboard。

    如果您在創建采集器時選中了啟用Monitoring啟用Kibana Dashboard,那么Beats啟動后,可以在對應Elasticsearch實例的Kibana中查看Monitor信息或Dashboard圖表。

    1. 采集器管理區域,選擇對應采集器右側操作列下的更多 > 查看Dashboard

    2. 在Kibana控制臺登錄頁面,輸入用戶名和密碼,單擊登錄。

    3. 在左側導航欄,單擊Dashboard,再單擊對應指標,查看該指標的Dashboard圖表。

    4. 在左側導航欄,單擊Monitoring,再單擊對應監控項,查看該監控項的Monitoring信息。

相關文檔

創建采集器的API文檔:CreateCollector

常見問題

  • Beats如何采集多個目錄下的日志?

    在配置采集器時,單擊+添加,在文本框中輸入待采集的路徑,同時在采集器YML配置paths參數中添加該路徑。Beats采集多個目錄下的日志

  • 基于ECS安裝阿里云Beats失敗了,如何處理?

    請參見Beats安裝失敗的排查與解決方法排查解決。