Jindo AuditLog提供塊存儲模式的審計功能,記錄Namespace端的增加、刪除和重命名操作信息。

前提條件

背景信息

AuditLog可以分析Namespace端訪問信息、發現異常請求和追蹤錯誤等。JindoFS AuditLog存儲日志文件至OSS,單個Log文件不超過5 GB。基于OSS的生命周期策略,您可以自定義日志文件的保留天數,清理策略等。因為JindoFS AuditLog提供分析功能,所以您可以通過Shell命令分析指定的日志文件。

審計信息

審計信息示例。
2020-07-09 18:29:24.689 allowed=true ugi=hadoop (auth:SIMPLE) ip=127.0.0.1 ns=test-block cmd=CreateFileletRequest src=jfs://test-block/test/test.snappy.parquet dst=null perm=::rwxrwxr-x
塊存儲模式記錄的審計信息參數如下所示。
參數 描述
時間 時間格式yyyy-MM-dd hh:mm:ss.SSS。
allowed 本次操作是否被允許:
  • true
  • false
ugi 操作用戶(包含認證方式信息)。
ip Client IP。
ns 塊存儲模式Namespace的名稱。
cmd 操作命令。
src 源路徑。
dest 目標路徑,可以為空。
perm 操作文件Permission信息。

使用AuditLog

  1. 進入SmartData服務。
    1. 登錄阿里云E-MapReduce控制臺
    2. 在頂部菜單欄處,根據實際情況選擇地域和資源組
    3. 單擊上方的集群管理頁簽。
    4. 集群管理頁面,單擊相應集群所在行的詳情
    5. 在左側導航欄,選擇集群服務 > SmartData
  2. 進入namespace服務配置。
    1. 單擊配置頁簽。
    2. 單擊namespace
      namespace
  3. 配置如下參數。
    1. namespace頁簽,單擊右上角的自定義配置
    2. 新增配置項對話框中,新增如下參數。
      參數 描述 是否必填
      namespace.auditlog.enable
      • true:打開AuditLog功能。
      • false:關閉AuditLog功能。
      namespace.auditlog.oss.uri 存儲AuditLog的OSS Bucket。

      請參見oss://<yourbucket>/auditLog格式配置。

      <yourbucket>請替換為待存儲的Bucket的名稱。

      namespace.auditlog.oss.accessKey 存儲OSS的AccessKey ID。
      namespace.auditlog.oss.accessSecret 存儲OSS的AccessKey Secret。
      namespace.auditlog.oss.endpoint 存儲OSS的Endpoint。
    3. 單擊部署客戶端配置
    4. 執行集群操作對話框中,輸入執行原因,單擊確定
    5. 確認對話框中,單擊確定
  4. 重啟服務。
    1. 單擊右上角的操作 > 重啟Jindo Namespace Service
    2. 執行集群操作對話框中,輸入執行原因,單擊確定
    3. 確認對話框中,單擊確定
  5. 配置清理策略。
    OSS提供了lifeCycle功能來管理OSS上文件的生命周期,您可以利用該功能來自定義Log文件的清理或者保存時間。
    1. 登錄 OSS管理控制臺
    2. 單擊創建的存儲空間。
    3. 在左側導航欄,單擊基礎設置 > 生命周期,在生命周期單擊設置
    4. 單擊創建規則,在創建生命周期規則配置各項參數。
    5. 單擊確定

使用Jindo auditLog分析功能

JindoFS為存儲在OSS上的AuditLog文件提供Shell命令的分析功能,通過MR任務分析Log文件,提供Top-N活躍操作命令分析、Top-N活躍IP分析。您可以使用jindo auditlog命令,使用該功能。

Jindo Auditlog的參數說明如下表。
參數 描述 是否必填
--src 存儲AuditLog的OSS Bucket。默認為步驟3namespace.auditlog.oss.uri的值,您也可以自定義該參數。
--ns 指定待分析的Namespace。默認為block模式下所有ns。
--type 指定分析:
  • ip:IP地址活躍度。
  • cmd: 操作命令活躍度。
--min 指定時間范圍,分鐘級別。
說明 --min和--day,需要二選一。
--day 指定時間范圍,天級別。

day 1,表示當天。

在E-MapReduce控制臺,創建MR類型作業,作業內容示例如下。
jindo auditlog --src oss://<yourbucket>/auditlog/ --ns test --type ip --day 1 --top 2
返回信息如下。
16 openFileStatusRequest
6  deleteFileletRequest