獲得離線日志文件后，您可以使用命令行工具來快速解析日志文件，提取訪問量TOP10的IP地址、User-Agent和Referer信息。本文為您介紹如何在Linux環境中，使用命令行工具分析CDN的離線訪問日志。
前提條件
已下載離線日志，具體請參見下載離線日志。
使用說明
日志命名規則：加速域名_年_月_日_開始時間_結束時間[擴展字段].gz，擴展字段以下劃線（_）開頭。例如
aliyundoc.com_2018_10_30_000000_010000_xx.gz。說明擴展字段可能不存在，例如
aliyundoc.com_2018_10_30_000000_010000.gz。日志示例
[9/Jun/2015:01:58:09 +0800] 10.10.10.10 - 1542 "-" "GET http://www.aliyun.com/index.html" 200 191 2830 MISS "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://example.com/robot/)" "text/html"
解析日志
收集和準備日志數據
下載離線日志，可得到
aliyundoc.com_2018_10_30_000000_010000.gz的日志文件。上傳日志文件至本地Linux系統服務器。
登錄本地Linux系統服務器，執行如下命令，解壓日志文件。
gzip -d aliyundoc.com_2018_10_30_000000_010000.gz解壓后得到一個文件名為
aliyundoc.com_2018_10_30_000000_010000的日志文件。
識別和過濾異常行為
檢查請求量
您可以通過分析離線日志數據中的IP請求次數來識別異常請求量的情況。通常請求量異常會具有如下幾個特征：
異常高的請求量：對單一源IP的訪問頻次進行深度審查，若檢測到某IP地址在特定時段內發起的請求量顯著偏離常態值，此情況高度疑似為流量盜用行為。
短時間內大量請求：突然的流量峰值或者異常的周期性請求模式。
統計訪問前十IP地址。
cat [$Log_Txt] | awk '{print $3}' |sort|uniq -c|sort -nr |head -10說明awk '{print $3}': 提取日志文件的第3列，即IP地址。（列之間使用空格隔開）。sort: 排序IP地址。uniq -c: 統計每個IP地址的出現次數。sort -nr: 按統計次數進行降序排列。head -n 10: 獲取出現次數最多的前10個IP地址。[$Log_Txt]：替換對應的日志文件名稱，例如aliyundoc.com_xxxxxxx。
用戶代理分析
您可以通過分析離線日志數據中的請求User-Agent來識別異常請求量的情況。通常請求User-Agent異常會有如下幾個特征：
異常或偽造的User-Agent：很多盜刷工具會使用默認或偽造的User-Agent，可以通過篩選不常見和可疑的或為空User-Agent進行分析。
提取和統計User-Agent。
grep -o '"Mozilla[^"]*' [$Log_Txt] | cut -d'"' -f2 | sort | uniq -c | sort -nr | head -n 10可通過排除常見的User-Agent來篩選可疑的User-Agent。
grep -v -E "Firefox|Chrome|Safari|Edge" [$Log_Txt]統計User-Agent為空的行數，即訪問次數。
awk '!/Mozilla/' [$Log_Txt] | wc -l說明grep -o：只輸出匹配的內容。grep -v -E：顯示符合條件的字符。wc -l：統計數量。
請求模式分析
您可以通過分析離線日志數據中的URL請求量來識別異常請求量的情況。通常URL請求異常會具有如下幾個特征：
URL相似度高：盜刷流量通常會請求大量類似或相同的URL，可以通過分析URL模式發現異常請求。
高比例訪問特定資源類型：重點分析被頻繁訪問的資源（如圖片、CSS、JS等），如果某些特定資源被異常大量訪問，也可能是盜刷流量。
統計訪問前十的url。
grep -oP '"https?://[^"]+"' [$Log_Txt] | sort | uniq -c | sort -nr | head -n 10
響應碼分析
您可以通過分析離線日志數據中的請求狀態碼來識別異常請求量的情況。通常請求狀態碼異常會具有下幾個特征：
高比例的4xx或5xx響應：如果某一IP地址產生大量的4xx或5xx響應碼，可能表明該地址在進行惡意爬取嘗試。
統計不同狀態碼出現的次數。
awk '{print $9}' [$Log_Txt] | sort | uniq -c | sort -nr統計狀態碼為400前十IP。
grep ' 400 ' [$Log_Txt] | awk '{print $3}' | sort | uniq -c | sort -nr | head -n 10