通過(guò)阿里云Logstash的日志功能，您可以輸入關(guān)鍵字和設(shè)置時(shí)間范圍，鎖定需要查詢的日志內(nèi)容，快速定位集群?jiǎn)栴}，輔助集群運(yùn)維。本文為您介紹如何查詢?nèi)罩疽约俺Ｒ?jiàn)日志的使用說(shuō)明。

操作步驟

  1. 登錄阿里云Elasticsearch控制臺(tái)。
  2. 進(jìn)入目標(biāo)實(shí)例。
    1. 在頂部菜單欄處，選擇地域。
    2. 在左側(cè)導(dǎo)航欄，單擊Logstash實(shí)例，然后在Logstash實(shí)例中單擊目標(biāo)實(shí)例ID。
  3. 在左側(cè)導(dǎo)航欄，單擊日志查詢，查看集群的運(yùn)行日志。
    阿里云Logstash支持4種類(lèi)型的日志：主日志、慢日志、GC日志和調(diào)試日志。各類(lèi)日志的說(shuō)明和使用場(chǎng)景如下，更多詳細(xì)信息請(qǐng)參見(jiàn)日志說(shuō)明。
    日志類(lèi)型 說(shuō)明 使用場(chǎng)景
    主日志 集群的運(yùn)行狀態(tài)日志。 當(dāng)您需要查看集群中各節(jié)點(diǎn)的運(yùn)行狀況及管道的運(yùn)行情況，例如源端和目標(biāo)端的連通性、創(chuàng)建或修改管道配置情況、管道運(yùn)行的錯(cuò)誤信息時(shí)，可查看主日志進(jìn)行排查。
    注意 如果您的業(yè)務(wù)側(cè)出現(xiàn)問(wèn)題，建議優(yōu)先查看主日志和集群監(jiān)控，排除集群自身的性能瓶頸或管道配置問(wèn)題。
    慢日志 耗時(shí)比較久的管道事件日志。當(dāng)管道運(yùn)行耗時(shí)超過(guò)指定閾值時(shí)，將在慢查詢?nèi)罩局写蛴∠嚓P(guān)信息。
    注意 為了方便后續(xù)排查與定位阿里云Logstash問(wèn)題，YML文件配置中默認(rèn)開(kāi)啟了慢日志，請(qǐng)不要移除該慢日志配置，詳細(xì)信息請(qǐng)參見(jiàn)配置YML文件。
    		當(dāng)您的業(yè)務(wù)出現(xiàn)寫(xiě)入慢的問(wèn)題時(shí)，可查看慢日志進(jìn)行排查。常見(jiàn)原因如下：
    • 管道配置中的源端或目標(biāo)端壓力達(dá)到瓶頸：建議擴(kuò)充源端或目標(biāo)端資源。
    • Logstash的管道工作線程數(shù)配置太小：增加Logstash的管道批大小和工作線程數(shù)，詳細(xì)信息請(qǐng)參見(jiàn)通過(guò)配置文件管理管道。
    GC日志 垃圾回收器日志。顯示所有JVM堆內(nèi)存占用觸發(fā)的垃圾回收情況，通過(guò)GC日志可獲取詳細(xì)的垃圾回收信息，包括Old GC、CMS GC、Full GC以及Minor GC等回收機(jī)制。 當(dāng)集群出現(xiàn)性能瓶頸時(shí)，可通過(guò)GC日志獲取詳細(xì)的GC回收信息，查看是否存在耗時(shí)長(zhǎng)或操作頻繁的GC。
    調(diào)試日志 管道處理后的輸出數(shù)據(jù)。默認(rèn)關(guān)閉，需要安裝logstash-output-file_extend插件，并在output中配置file_extend參數(shù)進(jìn)行開(kāi)啟。 需要在控制臺(tái)上查看管道配置的輸出結(jié)果，調(diào)試管道配置的場(chǎng)景。
  4. 在日志頁(yè)面的搜索框中，輸入查詢條件，選擇開(kāi)始時(shí)間和結(jié)束時(shí)間，單擊搜索。
    阿里云Logstash最多支持查詢連續(xù)7天內(nèi)的日志，日志默認(rèn)按時(shí)間倒序展示。支持基于Lucene的日志查詢語(yǔ)法，詳情請(qǐng)參見(jiàn)Query string syntax。

    本文以查詢content包含關(guān)鍵字running，level為info，host為172.16.xx.xx的Logstash主日志為例，示例查詢條件為：host:172.16.xx.xx AND level:info AND content:running。

    注意
    • 查詢條件中的AND必須為大寫(xiě)。
    • 如果結(jié)束時(shí)間為空，那么結(jié)束時(shí)間默認(rèn)為當(dāng)前時(shí)間。如果開(kāi)始時(shí)間為空，那么開(kāi)始時(shí)間默認(rèn)為結(jié)束時(shí)間減去1小時(shí)。
    搜索成功后，阿里云Logstash會(huì)根據(jù)您的查詢條件返回日志查詢結(jié)果，并展示在日志查詢頁(yè)面。

日志說(shuō)明

主日志

主日志主要展示集群的運(yùn)行日志，包括日志產(chǎn)生的時(shí)間、日志所在的節(jié)點(diǎn)IP和日志的詳細(xì)信息。Logstash日志查詢結(jié)果
參數(shù) 說(shuō)明
時(shí)間 日志產(chǎn)生時(shí)間。
節(jié)點(diǎn)IP 生成日志的節(jié)點(diǎn)的IP地址。
內(nèi)容 日志的詳細(xì)信息，主要由level、host、time和content組成：
  • level：日志級(jí)別。包括trace、debug、info、warn、error等。
    說(shuō)明 GC日志沒(méi)有level。
  • host：生成日志的節(jié)點(diǎn)的IP地址。
  • time：日志產(chǎn)生的時(shí)間。
  • content：日志的主要內(nèi)容。

GC日志

GC日志默認(rèn)開(kāi)啟，包含日志產(chǎn)生的時(shí)間、所在節(jié)點(diǎn)的IP地址和日志內(nèi)容。詳細(xì)信息，請(qǐng)參見(jiàn)主日志。Logstash GC日志

慢日志

慢日志默認(rèn)開(kāi)啟，您可在Logstash實(shí)例的YML配置中查看或修改默認(rèn)的慢日志配置，詳細(xì)信息請(qǐng)參見(jiàn)配置YML文件。
注意 為方便后續(xù)排查與定位阿里云Logstash問(wèn)題，請(qǐng)不要移除該慢日志配置。
阿里云Logstash慢日志配置

調(diào)試日志

當(dāng)Logstash管道配置出現(xiàn)錯(cuò)誤時(shí)，可能導(dǎo)致輸出數(shù)據(jù)結(jié)果不符合預(yù)期，需要反復(fù)去目標(biāo)端確認(rèn)數(shù)據(jù)格式，再返回控制臺(tái)修改配置，這樣會(huì)耗費(fèi)大量的時(shí)間和人力。對(duì)于這種情況，您可以通過(guò)阿里云Logstash提供的管道配置調(diào)試功能，在管道配置完成后，直接在控制臺(tái)上通過(guò)調(diào)試日志查看管道配置的輸出結(jié)果，降低調(diào)試成本。詳細(xì)信息，請(qǐng)參見(jiàn)使用Logstash管道配置調(diào)試功能。

調(diào)試日志默認(rèn)關(guān)閉，您需要通過(guò)以下方式開(kāi)啟：
  1. 安裝logstash-output-file_extend插件，具體操作請(qǐng)參見(jiàn)安裝或卸載插件。
  2. 在管道配置的output中配置file_extend參數(shù)，具體操作請(qǐng)參見(jiàn)通過(guò)配置文件管理管道。
開(kāi)啟調(diào)試日志后，您可以在調(diào)試日志頁(yè)簽中，獲取管道處理后的輸出數(shù)據(jù)。Logstash調(diào)試日志

相關(guān)文檔

ListLogstashLog