日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

AI 助理
備案控制臺
文檔
有獎調研
輸入文檔關鍵字查找
首頁 檢索分析服務 Elasticsearch版 實踐教程 日志采集與分析 Elastic Agent采集自定義日志數據

Elastic Agent采集自定義日志數據

更新時間：
產品詳情
相關技術圈
我的收藏

Fleet是Elasticsearch中的一個功能強大的集中式管理解決方案，提供了一種簡單的方法來管理Elasticsearch中的多個節點和服務。Fleet主要分為Fleet Server和Fleet Agent兩部分，Fleet Agent是一個輕量級的數據采集代理，負責在源端收集數據。Fleet Server是Fleet的中心節點，負責管理和監控所有Fleet Agent，并將數據傳輸到Elasticsearch。

名詞解釋

名詞

說明

Fleet

Elasticsearch中的一個功能強大的集中式管理解決方案，集中管理Agent服務。

Fleet Agent

輕量級數據采集代理，負責采集源端數據。

Fleet Agent可以在多個操作系統上運行，并且可以收集多種類型的數據。

Fleet Server

負責將Agent采集的源端數據傳輸到Elasticsearch。

準備環境

  • 創建阿里云Elasticsearch實例，具體操作請參見創建阿里云Elasticsearch實例。本文以Elasticsearch 8.5版本為例。

    說明

    阿里云Elasticsearch實例僅支持7.16和8.5版本。

  • 創建ECS實例，且該ECS實例與Elasticsearch實例處于同一專有網絡下。具體操作請參見自定義購買實例。

    說明

    ECS實例作為源端服務器，Elastic Agent會采集ECS實例上的數據。

創建代理策略并添加集成

步驟一：創建代理策略

  1. 登錄Kibana控制臺。具體操作，請參見登錄Kibana控制臺。

  2. 單擊Management > Fleet。

  3. 在Fleet頁面，單擊代理策略頁簽。

  4. 單擊創建代理策略，在創建代理策略控制面板中配置代理策略。

    1. 輸入代理策略名稱custom-log。

    2. 取消選中收集系統日志和指標。

    3. 單擊高級選項，在代理監測區域，取消選擇中收集代理日志和收集代理指標。

      image.png

      說明

      本場景僅采集Custom Logs日志，因此取消選中收集系統日志和指標和代理的自身數據。

  5. 配置完成后，在頁面右下角單擊創建代理策略。

步驟二：創建Fleet Server集成

  1. 在Fleet頁面的代理策略頁簽，單擊新創建的代理策略custom-log。

  2. 在集成頁簽中，單擊添加集成。

  3. 在瀏覽集成頁簽，在搜索框中搜索Fleet Server，并單擊Fleet Server。

  4. 安裝Fleet Server集成。

    1. 在Fleet Server頁面，單擊設置頁簽。

    2. 單擊安裝Fleet Server資產，在彈出的對話框中單擊安裝Fleet Server。

      說明

      安裝集成后，設置頁簽會顯示集成的版本。

  5. 在頁面右上角，單擊添加Fleet Server。

  6. 在添加Fleet Server集成頁面，輸入集成名稱，選擇代理策略為custom-log。

  7. 在頁面右下角，單擊保存并繼續，在彈出的對話框中單擊稍后添加Elastic代理。

步驟三：創建Custom Logs集成

  1. 在代理策略custom-log的集成頁簽中，單擊添加集成。

  2. 在瀏覽集成頁簽，在搜索框中搜索Custom Logs，并單擊Custom Logs。

  3. 安裝Custom Logs集成。

    1. 在Custom Logs頁面，單擊設置頁簽。

    2. 單擊安裝Custom Logs資產，在彈出的對話框中單擊安裝Custom Logs。

      說明

      安裝集成后，設置頁簽會顯示集成的版本。

  4. 在頁面的右上角，單擊添加Custom Logs。

  5. 在添加Custom Logs集成頁面，配置集成。

    1. 在集成配置區域，輸入集成名稱。

    2. 在Custom log file區域，輸入被采集日志在ECS中的路徑（Log file path），例如/var/log/a2.log。

    3. 單擊高級選項，自定義數據集名稱（Dataset name）。

      說明

      • 數據集名稱將決定數據在Elasticsearch中的索引名稱。定義新的數據集名稱，數據將被發送到新索引，可以提高處理數據的靈活性和可管理性。

      • 數據集名稱需要符合ES索引名稱要求，即只能包含英文、下劃線和數字。

      image.png

    4. 在要將此集成添加到什么位置區域，在Existing hosts頁簽下，選擇代理策略為custom-log。

  6. 配置完成后，在頁面右下角單擊保存并繼續，在彈出的對話框中單擊稍后添加Elastic代理。

添加Agent

步驟一：設置Fleet服務器主機

  1. 登錄Kibana控制臺。具體操作，請參見登錄Kibana控制臺。

  2. 單擊Management > Fleet。

  3. 在Fleet頁面，單擊設置頁簽，配置Fleet。

    1. 在Fleet服務器主機區域，單擊編輯主機。

    2. 在Fleet服務器主機控制面板中，輸入源端的私網地址，格式為https://<私網IP>:<端口>，例如https://172.16.*.***:8220。

      說明

      本文私網IP為ECS實例的主私網IP。更多配置信息，請參見Fleet Server hosts。

    3. 在輸出區域，在操作列單擊image.png。

    4. 在編輯輸出控制面板中，輸入Elasticsearch實例的私網地址，格式為http://<私網地址>:<端口>，例如http://es-cn-uqm3auln80001****.elasticsearch.aliyuncs.com:9200。

    5. 單擊保存并應用設置，在彈出的對話框中單擊保存并部署。

步驟二：添加Elastic Agent

為Fleet Server添加一個Elastic Agent。

說明

如果您需要采集多個服務器中的數據，可以多次執行以下步驟。在一個Fleet Server中添加多個代理，每個代理采集各自服務器中的數據，數據由Fleet Server統一管理。

  1. 在Fleet頁面，單擊代理策略頁簽。

  2. 在代理策略custom-log的操作列，選擇image.png > 添加代理。

  3. 在添加代理控制面板，在為Fleet服務器選擇策略區域，默認選擇代理策略為custom-log。

  4. 在為安全選擇部署模式區域，默認選中快速啟動。

  5. 在添加您的Fleet服務器主機區域，單擊右側的添加主機。

  6. 在生成服務令牌區域，單擊生成服務令牌。

  7. 在將Fleet服務器安裝到集中式主機區域，復制自動生成的代碼塊，并將代碼在ECS實例中執行。

    image.png

    代碼執行完畢后，如果看到Successfully 字樣，表明ECS服務器上成功安裝并啟動Elastic Agent。

查看數據

本文以ECS日志路徑為/var/log/a2.log，數據集名稱為generic為例，介紹如何查看日志數據。

說明

需要確保指定的ECS日志路徑中有數據。

  1. 通過索引管理查看數據流名稱。

    1. 單擊Management > Stack Management。

    2. 在左側菜單欄，單擊數據 > 索引管理。

    3. 在索引管理頁面，單擊數據流頁簽，找到帶有數據集名稱generic，例如logs-generic-default。

  2. 通過Kibana控制臺查看數據流對應的索引名稱。

    1. 單擊Management > 開發工具。

    2. 執行如下命令，獲取數據流對應的索引名稱。

      GET _data_Stream/logs-generic-default

      index_name的值即數據流對應的索引名稱。

  3. 執行如下命令，查看索引中的日志數據。

    GET <index_name>/_search
{
  "query":{
    "match":{
      "log.file.path":"/var/log/a2.log"
    }
  }
}