日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

將不同Logstore的日志數據匯總到一個Logstore

日志服務支持對每一個源Logstore配置一個數據加工任務,實現多源Logstore的數據匯總到同一個Logstore。本文介紹多源Logstore數據匯總的典型應用場景和操作步驟。

背景信息

某資訊網站業務分布全球,不同資訊頻道的用戶訪問日志被采集存儲在阿里云不同賬號中的Logstore,如果需要將日志數據匯總到一個Logstore,便于后續的查詢與分析,可以使用e_output函數進行數據加工。

本文以同一目標區域英國(倫敦)的不同Logstore的日志為例,介紹匯總Logstore數據的操作步驟:

  • 賬號1中的原始日志,其Project地域位于英國(倫敦),Project名稱為Project_1,Logstore名稱為Logstore_1。

    "日志1"
    request_id: 1
    http_host:  example.com
    http_status:  200
    request_method:  GET
    request_uri:  /pic/icon.jpg
    
    "日志2"
    request_id: 2
    http_host:  aliyundoc.com
    http_status:  301
    request_method:  POST
    request_uri:  /data/data.php
  • 賬號2中的日志,其Project地域為英國(倫敦),Project名稱為Project_2,Logstore名稱為Logstore_2。

    "日志1"
    request_id: 3
    host:  example.edu
    status:  404
    request_method:  GET
    request_uri:  /category/abc/product_id
    
    "日志2"
    request_id: 4
    host:  example.net
    status:  200
    request_method:  GET
    request_uri:  /data/index.html
  • 加工目標

    • 將賬號1的Logstore_1中所有http_status200的日志事件,輸出到賬號3的Logstore_3中。

    • 對于賬號2的Logstore_2中所有http_status200的日志事件,將字段名稱host改為http_host、字段名稱status改為http_status(與Logstore1統一),然后輸出到賬號3的Logstore_3中。

步驟一:配置Logstore1的數據加工規則

  1. 進入賬號1的Logstore_1的數據加工頁面,控制臺操作步驟請參見創建數據加工任務

  2. 在數據加工頁面,配置如下加工規則,將賬號1的Logstore_1中所有http_status200的日志事件,輸出到賬號3的Logstore_3中。

    e_if(e_match("http_status", "200"), e_output("target_logstore"))
  3. 創建數據加工任務,在存儲目標區域,配置目標名稱目標Region目標Project目標Logstore等參數如下,授權方式參數說明請參見創建數據加工任務

    加工規則

步驟二:配置Logstore2的數據加工規則

  1. 進入賬號2的Logstore_2的數據加工頁面,控制臺操作步驟請參見創建數據加工任務

  2. 在數據加工頁面,配置如下加工規則。對于Logstore_2中所有http_status200的日志事件,將字段名稱host改為http_host、字段名稱status改為http_status(與Logstore1統一),然后輸出到賬號3的Logstore_3中。

    e_if(e_match("status", "200"), e_compose(e_rename("status", "http_status", "host", "http_host"), e_output("target_logstore")))

    預覽結果

    image

  3. 創建數據加工任務,在存儲目標區域,配置目標名稱目標Region目標Project目標Logstore等參數如下,授權方式參數說明請參見創建數據加工任務

    image

查看匯總結果

在英國(倫敦)地域的Logstore_3查詢和分析日志,日志示例如下。

"日志1"
request_id: 1
http_host:  example.com
http_status:  200
request_method:  GET
request_uri:  /pic/icon.jpg

"日志2"
request_id: 4
http_host:  example.net
http_status:  200
request_method:  GET
request_uri:  /data/index.html