操作步驟

1. 登錄日志服務控制臺。

2. 進入數據加工頁面。

   1. 在Project列表區域，單擊目標Project。

   2. 在日志存儲 > 日志庫頁簽中，單擊目標Logstore。

   3. 在查詢和分析頁面，單擊數據加工。

3. 在頁面右上角，選擇數據的時間范圍。

   選擇時間范圍后，請確認原始日志頁簽中存在日志。

4. 在編輯框中，輸入數據加工語句。
   加工語句的語法請參見數據加工語法。

   說明 編輯框中的加工語句支持注釋，您可以使用此功能逐行調試。

5. 預覽數據。

   1. 在頁面右上角，單擊高級。

   2. 單擊預覽數據。

   3. 在添加預覽配置頁面，配置如下參數，然后單擊確定。

      首次預覽數據時，需配置如下參數。后續可通過單擊修改預覽配置，修改如下參數。

      參數	說明
      授權方式	您可以通過如下方式授予數據加工任務讀取源Logstore數據的權限。 默認角色：授予數據加工任務使用阿里云系統角色AliyunLogETLRole來讀取源Logstore中的數據。 自定義角色：授予數據加工任務使用自定義角色來讀取源Logstore中的數據。 您需先授予自定義角色讀取源Logstore數據的權限，然后在角色ARN中輸入您自定義角色的ARN。如何授權，請參見通過自定義角色訪問數據。 密鑰：授予數據加工任務使用阿里云賬號或RAM用戶的訪問密鑰來讀取源Logstore中的數據。 阿里云賬號：阿里云賬號的訪問密鑰具備源Logstore數據讀取權限，您在AccessKey ID和AccessKey Secret中輸入阿里云賬號的訪問密鑰即可。如何獲取訪問密鑰，請參見訪問密鑰。 RAM用戶：您需先授予RAM用戶讀取源Logstore數據的權限，然后在AccessKey ID和AccessKey Secret中輸入RAM用戶的訪問密鑰。如何授權，請參見通過訪問密鑰訪問數據。
      高級參數配置	對于加工語句中需要使用的密碼信息（例如數據庫連接密碼），日志服務支持使用鍵值對形式保存在密鑰對中，即您可以在加工語句中通過變量${key}進行引用。 單擊+，可添加多個鍵值對。例如config.vpc.vpc_id.test1：vpc-uf6mskb0b****n9yj，表示RDS實例所屬的專有網絡ID。

      完成預覽設置后，您可以在加工結果頁簽中查看預覽結果。

      • 如果加工語句錯誤或者權限配置錯誤，導致數據加工失敗，請根據頁面提示處理。

      • 如果確認數據加工結果無誤，可保存加工結果。具體操作，請參見創建數據加工任務。

示例

• 加工語句

  # e_set("insert_field", "test_value")
  e_table_map(
      res_rds_mysql(
          address="rm-uf6wjk5****.mysql.rds.aliyuncs.com",
          username="test_username",
          password="****",
          database="test_db",
          table="test_table",
      ),
      "ip",
      ["country", "province"],
  )

• 原始日志

  {
    "__source__": "192.0.2.0",
    "__time__": 1624523917,
    "__topic__": "topic",
    "id": "1001",
    "ip": "127.0.0.1"
  }

• 高級預覽設置

• 加工結果