Jindo AuditLog提供塊存儲模式的審計功能,記錄Namespace端的增加、刪除和重命名操作信息。
背景信息
AuditLog可以分析Namespace端訪問信息、發現異常請求和追蹤錯誤等。JindoFS AuditLog存儲日志文件至OSS,單個Log文件不超過5 GB。基于OSS的生命周期策略,您可以自定義日志文件的保留天數,清理策略等。因為JindoFS AuditLog提供分析功能,所以您可以通過Shell命令分析指定的日志文件。
審計信息
審計信息示例。
2020-07-09 18:29:24.689 allowed=true ugi=hadoop (auth:SIMPLE) ip=127.0.0.1 ns=test-block cmd=CreateFileletRequest src=jfs://test-block/test/test.snappy.parquet dst=null perm=::rwxrwxr-x
塊存儲模式記錄的審計信息參數如下所示。
參數 | 描述 |
---|---|
時間 | 時間格式yyyy-MM-dd hh:mm:ss.SSS。 |
allowed | 本次操作是否被允許:
|
ugi | 操作用戶(包含認證方式信息)。 |
ip | Client IP。 |
ns | 塊存儲模式Namespace的名稱。 |
cmd | 操作命令。 |
src | 源路徑。 |
dest | 目標路徑,可以為空。 |
perm | 操作文件Permission信息。 |
使用AuditLog
使用Jindo auditLog分析功能
JindoFS為存儲在OSS上的AuditLog文件提供Shell命令的分析功能,通過MR任務分析Log文件,提供Top-N活躍操作命令分析、Top-N活躍IP分析。您可以使用jindo auditlog
命令,使用該功能。
Jindo Auditlog的參數說明如下表。
參數 | 描述 | 是否必填 |
---|---|---|
--src | 存儲AuditLog的OSS Bucket。默認為步驟3中namespace.auditlog.oss.uri的值,您也可以自定義該參數。 | 否 |
--ns | 指定待分析的Namespace。默認為block模式下所有ns。 | 否 |
--type | 指定分析:
|
是 |
--min | 指定時間范圍,分鐘級別。 | 否
說明 --min和--day,需要二選一。
|
--day | 指定時間范圍,天級別。
day 1,表示當天。 |
在E-MapReduce控制臺,創建MR類型作業,作業內容示例如下。
jindo auditlog --src oss://<yourbucket>/auditlog/ --ns test --type ip --day 1 --top 2
返回信息如下。
16 openFileStatusRequest
6 deleteFileletRequest