日志服務支持您使用數據加工讀取源Logstore中的數據,對數據進行加工處理后,寫入到不同的目標Logstore中。您也可以對加工后的數據進行查詢和分析,進一步發掘數據價值。本文介紹如何在日志服務控制臺上創建數據加工任務。
前提條件
已采集數據到日志服務。具體操作,請參見數據采集。
如果您使用的是RAM用戶,則需要先授予RAM用戶數據加工操作權限。具體操作,請參見授予RAM用戶數據加工操作權限。
操作步驟
登錄日志服務控制臺。
進入數據加工頁面。
在Project列表區域,單擊目標Project。
在 頁簽中,單擊目標Logstore。
在查詢和分析頁面,單擊數據加工。
在頁面右上角,選擇數據的時間范圍。
選擇時間范圍后,請確認原始日志頁簽中存在日志。
在編輯框中,輸入數據加工語句。
加工語句的語法請參見數據加工語法。
預覽數據。
創建數據加工任務。
單擊保存數據加工(舊版)。
在創建數據加工任務面板中,配置如下信息,然后單擊確定。
參數
說明
任務名稱
數據加工任務的名稱。
顯示名稱
數據加工顯示的名稱。
任務描述
數據加工任務的描述。
授權方式
您可以通過如下方式授予數據加工任務讀取源Logstore數據的權限。
默認角色:授予數據加工任務使用阿里云系統角色AliyunLogETLRole來讀取源Logstore中的數據。
自定義角色:授予數據加工任務使用自定義角色來讀取源Logstore中的數據。
您需先授予自定義角色讀取源Logstore數據的權限,然后在角色ARN中輸入您自定義角色的ARN。如何授權,請參見通過自定義角色訪問數據。
密鑰:授予數據加工任務使用阿里云賬號或RAM用戶的訪問密鑰來讀取源Logstore中的數據。
阿里云賬號:阿里云賬號的訪問密鑰具備源Logstore數據讀取權限,您在AccessKey ID和AccessKey Secret中輸入阿里云賬號的訪問密鑰即可。如何獲取訪問密鑰,請參見訪問密鑰。
RAM用戶:您需先授予RAM用戶讀取源Logstore數據的權限,然后在AccessKey ID和AccessKey Secret中輸入RAM用戶的訪問密鑰。如何授權,請參見通過訪問密鑰訪問數據。
存儲目標
目標名稱
存儲目標的名稱。存儲目標中包括Project、Logstore等配置。
日志服務支持創建多個存儲目標,將數據加工結果存儲到多個Logstore中,相關說明如下:
您可以在數據加工語句中,使用e_output函數或e_coutput函數中的name參數定義目標名稱。更多信息,請參見e_output、e_coutput。
如果數據加工語句中沒有使用e_output函數,則默認將數據加工結果寫入到第1個存儲目標的Logstore中。
如果只有1個目標Logstore,則一般無需在加工語句中使用e_output函數。
如果您在e_output函數或e_coutput函數中設置了name、project和logstore參數,又在此處設置目標Project、目標庫,最終以e_output函數或e_coutput函數中設置的為準。
目標Region
選擇目標Project所在地域。
跨地域數據加工使用HTTPS協議傳輸,確保日志數據的私密性。
跨地域數據加工使用公網傳輸數據,可能因為公網傳輸網絡的不確定性導致加工任務出現延遲。您可以選中DCDN加速復選框,加快跨地域傳輸速度。在使用DCDN加速時,需確保對應的Project已開啟加速功能。更多信息,請參見采集加速。
說明跨地域數據加工按公網流量(壓縮后)計費。更多信息,請參見按使用功能計費模式計費項。
目標Project
用于存儲數據加工結果的目標Project名稱。
目標庫
用于存儲數據加工結果的目標Logstore名稱。
授權方式
您可以通過如下方式授予數據加工任務寫數據到目標Logstore的權限。
默認角色:授予數據加工任務使用阿里云系統角色AliyunLogETLRole將數據加工結果寫入目標Logstore。
自定義角色:授予數據加工任務使用自定義角色將數據加工結果寫入目標Logstore。
您需先授予自定義角色寫數據到目標Logstore的權限,然后在角色ARN中輸入您自定義角色的ARN。如何授權,請參見通過自定義角色訪問數據。
密鑰:授予數據加工任務使用阿里云賬號或RAM用戶的訪問密鑰將數據加工結果寫入目標Logstore。
阿里云賬號:阿里云賬號的訪問密鑰具備寫數據到目標Logstore的權限,您在AccessKey ID和AccessKey Secret中輸入阿里云賬號的訪問密鑰即可。如何獲取訪問密鑰,請參見訪問密鑰。
RAM用戶:您需先授予RAM用戶寫數據到目標Logstore的權限,然后在AccessKey ID和AccessKey Secret中輸入RAM用戶的訪問密鑰。如何授權,請參見通過訪問密鑰訪問數據。
加工范圍
時間范圍
指定數據加工任務的時間范圍,詳細說明如下:
說明此處的時間范圍依賴日志的接收時間。
所有:從Logstore接收到第一條日志的時間點開始數據加工任務,直到加工任務被手動停止。
某時間開始:指定數據加工任務的開始時間,從該時間點開始加工,直到加工任務被手動停止。
特定時間范圍:指定數據加工任務的起止時間,加工任務執行到指定時間后自動停止。
高級選項
高級參數配置
對于加工語句中需要使用的密碼信息(例如數據庫連接密碼),日志服務支持使用鍵值對形式保存在密鑰對中,即您可以在加工語句中通過
res_local("key")
進行引用。單擊+,可添加多個鍵值對。例如config.vpc.vpc_id.test1:vpc-uf6mskb0b****n9yj,表示RDS實例所屬的專有網絡ID。
后續步驟
創建數據加工任務后,您可以執行如下操作。