本文為您介紹如何通過阿里云日志服務收集Spark作業的日志。
前提條件
操作步驟
- 啟用日志服務組件Logtail,詳情請參見步驟一:啟用日志服務組件Logtail。說明 如果已啟用日志服務組件Logtail,則直接執行步驟2。
- 進入日志服務對應Project的控制臺。
- 在日志庫頁簽中,新建兩個Logstore。本文示例新建的兩個Logstore分別命名為spark-driver-log和spark-executor-log。創建Logstore詳情,請參見步驟二:創建Project和Logstore。
- 在spark-driver-log的Logstore中,執行以下操作。
- 在spark-executor-log的Logstore中,參照步驟4在插件配置文本框中,輸入以下內容。
{ "inputs": [ { "detail": { "IncludeEnv": { "SPARKLOGENV": "spark-executor" }, "Stderr": true, "Stdout": true, "BeginLineCheckLength": 10, "BeginLineRegex": "\\d+/\\d+/\\d+.*" }, "type": "service_docker_stdout" } ] }
- 開啟日志庫Logstore索引,詳情請參見創建索引。完成以上步驟,即可在SLS上查詢到作業的日志了。