功能優(yōu)勢

• 支持任意格式日志，例如Log4j、JSON、單行等。

• 億級數(shù)據(jù)，秒級輸出結(jié)果。

• 日志數(shù)據(jù)可以按任意模式聚類。

• 按pattern聚類的數(shù)據(jù)可以根據(jù)pattern的簽名反查原始數(shù)據(jù)。

• 比較不同時間段的pattern。

• 動態(tài)調(diào)整聚類精度。

操作視頻

索引流量

開啟日志聚類功能

1. 登錄日志服務(wù)控制臺。

2. 在Project列表區(qū)域，單擊目標Project。

   

3. 在控制臺左側(cè)，單擊日志存儲，在日志庫列表中單擊目標Logstore。

   

4. 開啟日志聚類功能。

   1. 單擊查詢分析屬性 > 屬性。

      如果您還未開啟索引，請單擊開啟索引。

   2. 在查詢分析面板中，打開日志聚類開關(guān)。

   3. 可選：設(shè)置聚類字段的白名單和黑名單。

      說明

      不支持同時設(shè)置黑白名單。

      聚類字段過濾	說明
      白名單	設(shè)置了白名單后，日志服務(wù)將根據(jù)白名單中的字段進行日志聚類。
      黑名單	設(shè)置了黑名單后，日志服務(wù)不會對黑名單中的字段進行日志聚類。
      未設(shè)置黑白名單	未設(shè)置黑白名單時，日志服務(wù)將根據(jù)聚類規(guī)則對所有的字段進行日志聚類。

   4. 單擊確定。

查看聚類結(jié)果和原始日志

1. 在查詢分析頁面，輸入查詢語句，設(shè)置查詢時間范圍，然后單擊查詢/分析。

   說明

   此處僅支持輸入查詢語句來過濾日志，但不支持分析語句，即不能對分析結(jié)果進行日志聚類。

2. 單擊日志聚類頁簽，查看聚類結(jié)果。

   您還可以單擊添加到儀表盤，將聚類結(jié)果保存到儀表盤。

   

   參數(shù)	說明
   Number	聚類序號。
   Count	當前指定的查詢時間段內(nèi)，某Pattern對應(yīng)的日志條數(shù)。
   Pattern	某類日志的具體模式，每個聚類會有一個或多個子Pattern。

   • 鼠標指向Count列的數(shù)字，在懸浮框展示當前聚類的子Pattern及每個子Pattern的占比。單擊數(shù)字前的加號（+），展開子Pattern列表。

   • 單擊Count列的數(shù)字，跳轉(zhuǎn)到原始日志頁簽，查看對應(yīng)pattern的原始日志。

調(diào)整聚類精度

對比不同時間段的聚類日志數(shù)量

1. 在日志聚類頁簽中，單擊Log Compare。

2. 設(shè)置對比時間，單擊確定。

   例如：在執(zhí)行查詢操作時，時間范圍選擇為15分鐘。在Log Compare中，選擇1天，則自動顯示開始時間和結(jié)束時間，時間范圍為1天前的15分鐘。

   參數(shù)	說明
   Number	聚類編號。
   Pre_Count	在Log Compare中設(shè)置的時間段內(nèi)，該Pattern對應(yīng)的日志數(shù)量。
   Count	當前指定的查詢時間段內(nèi)，某模式對應(yīng)的日志條數(shù)。
   Diff	某模式在兩個時段的日志數(shù)量差值及升降百分比。
   Pattern	某類日志的具體模式。

SQL示例

日志服務(wù)還支持通過執(zhí)行查詢分析語句獲取日志聚類結(jié)果。

• 獲取日志聚類結(jié)果

  • 查詢分析語句

    * | select a.pattern, a.count,a.signature, a.origin_signatures from (select log_reduce(3) as a from log) limit 1000 

    說明

    查看聚類結(jié)果時，您可以單擊復(fù)制查詢語句獲取日志聚類結(jié)果所對應(yīng)的查詢分析語句。

  • 修改參數(shù)

    修改查詢分析語句中的log_reduce(precision)，precision代表聚類精度，取值范圍1~16，數(shù)字越小，聚類精度越高，生成的模式格式越多，默認為3。

  • 返回字段

    在統(tǒng)計圖表頁簽中返回日志聚類詳細信息。

    參數(shù)	說明
    pattern	某類日志的具體模式。
    count	當前指定的查詢時間段內(nèi)，某模式對應(yīng)的日志條數(shù)。
    signature	某模式的簽名。
    origin_signatures	某模式的二級簽名，可以通過二級簽名，反查原始數(shù)據(jù)。

• 對比不同時間段日志聚類結(jié)果

  • 查詢分析語句

    * | select v.pattern, v.signature, v.count, v.count_compare, v.diff from (select compare_log_reduce(3, 86400) as v from log) order by v.diff desc limit 1000 

    說明

    Log Compare對比不同時間段日志聚類結(jié)果后，您可以單擊復(fù)制查詢語句獲取對應(yīng)的查詢分析語句。

  • 修改參數(shù)

    修改查詢分析語句中的compare_log_reduce(precision, compare_interval)。

    • precision代表聚類精度，取值范圍1~16，數(shù)字越小，聚類精度越高，生成的模式格式越多，默認為3。

    • compare_interval表示對比N秒之前某一時間段的日志，正整數(shù)。

  • 返回字段

    參數(shù)	說明
    pattern	某類日志的具體模式。
    count_compare	在前一時間段內(nèi)，某模式對應(yīng)的日志數(shù)量。
    count	當前指定的查詢時間段內(nèi)，某模式對應(yīng)的日志條數(shù)。
    diff	count和count_compare的差值。
    signature	某模式的簽名。

關(guān)閉日志聚類功能

如果您不再需要使用日志聚類功能，可關(guān)閉該功能。

1. 在查詢分析頁面，單擊查詢分析屬性 > 屬性。

2. 關(guān)閉日志聚類開關(guān)。

3. 單擊確定。