下載離線日志
阿里云CDN按小時(shí)顆粒度記錄了域名的全網(wǎng)訪問(wèn)日志。您可以根據(jù)需求將指定域名在30天內(nèi)某一天的日志下載到本地路徑進(jìn)行保存,并進(jìn)行分析。
注意事項(xiàng)
通過(guò)CDN/DCDN控制臺(tái)(或者OpenAPI)的監(jiān)控查詢、用量查詢(實(shí)際計(jì)費(fèi)流量)功能查到的加速域名使用的流量數(shù)據(jù)與通過(guò)日志統(tǒng)計(jì)的流量數(shù)據(jù)有差異。通常來(lái)說(shuō),通過(guò)監(jiān)控查詢、用量查詢功能查到的加速域名使用的流量數(shù)據(jù)是通過(guò)日志統(tǒng)計(jì)的流量數(shù)據(jù)的1.1倍,詳細(xì)請(qǐng)參見(jiàn)為什么監(jiān)控查詢流量、用量查詢流量與日志統(tǒng)計(jì)流量有差異。
少數(shù)ISP在特定區(qū)域可能會(huì)分配私有IP地址給用戶端,導(dǎo)致CDN節(jié)點(diǎn)接收到的是用戶的私有IP地址。
說(shuō)明私有IP地址范圍有以下三個(gè):
A類私有IP地址:10.0.0.0~10.255.255.255,子網(wǎng)掩碼:10.0.0.0/8
B類私有IP地址:172.16.0.0~172.31.255.255,子網(wǎng)掩碼:172.16.0.0/12
C類私有IP地址:192.168.0.0~192.168.255.255,子網(wǎng)掩碼:192.168.0.0/16
日志下載使用說(shuō)明
日志文件延遲時(shí)間:通常情況下延遲在24小時(shí)之內(nèi),也有可能超過(guò)24小時(shí)。
日志下載默認(rèn)支持下載30天內(nèi)的日志數(shù)據(jù)。如果您需要存儲(chǔ)更長(zhǎng)時(shí)間的日志,可以使用離線日志轉(zhuǎn)存服務(wù),將日志轉(zhuǎn)存到您名下的OSS進(jìn)行長(zhǎng)期存儲(chǔ)。具體操作請(qǐng)參見(jiàn)通過(guò)函數(shù)計(jì)算轉(zhuǎn)存離線日志。
日志命名規(guī)則:加速域名_年_月_日_開(kāi)始時(shí)間_結(jié)束時(shí)間[擴(kuò)展字段].gz,擴(kuò)展字段以下劃線(_)開(kāi)頭。例如
aliyundoc.com_2018_10_30_000000_010000_xx.gz
。說(shuō)明擴(kuò)展字段可能不存在,例如
aliyundoc.com_2018_10_30_000000_010000.gz
。
日志的字段格式說(shuō)明
日志示例
[9/Jun/2015:01:58:09 +0800] 10.10.10.10 - 1542 "-" "GET http://www.aliyun.com/index.html" 200 191 2830 MISS "Mozilla/5.0 (compatible; AhrefsBot/5.0; +http://example.com/robot/)" "text/html" 1.1.1.1
字段含義
字段
描述
[9/Jun/2015:01:58:09 +0800]
用戶訪問(wèn)請(qǐng)求的結(jié)束時(shí)間。
10.10.10.10
從用戶請(qǐng)求攜帶的請(qǐng)求頭X-Forwarded-For中提取左邊第一個(gè)IP地址(即client_ip,客戶端IP,如果客戶端與CDN節(jié)點(diǎn)之間沒(méi)有經(jīng)過(guò)代理的話,等同于客戶端與CDN節(jié)點(diǎn)建聯(lián)使用的IP)。
說(shuō)明請(qǐng)求頭 X-Forwarded-For 的格式為
X-Forwarded-For: <client_ip>, <proxy_ip>
。在客戶端與CDN節(jié)點(diǎn)之間沒(méi)有經(jīng)過(guò)代理的場(chǎng)景下(即x-forwarded-for里面只有<client_ip>),可能會(huì)出現(xiàn)日志中<client_ip>的值為私網(wǎng)IP地址的情況,其原因通常為客戶端所在的運(yùn)營(yíng)商為其分配了私網(wǎng)IP地址(目的是減少公網(wǎng)IP地址的使用,以降低成本)。
在客戶端與CDN節(jié)點(diǎn)之間有經(jīng)過(guò)代理的場(chǎng)景下(即x-forwarded-for里面既有<client_ip>,也有<proxy_ip>),也可能會(huì)出現(xiàn)日志中<client_ip>的值為私網(wǎng)IP地址的情況,其原因通常為運(yùn)營(yíng)商為客戶端分配的公網(wǎng)IP地址被配置到了代理上面,而此時(shí)客戶端上配置的是私網(wǎng)IP地址。
-
從用戶請(qǐng)求攜帶的請(qǐng)求頭X-Forwarded-For中提取左邊第二個(gè)IP地址(即proxy_ip,代理IP,如果客戶端與CDN節(jié)點(diǎn)之間沒(méi)有經(jīng)過(guò)代理的話,提取到的空值用
-
表示)。1542
請(qǐng)求響應(yīng)時(shí)間,單位為毫秒。
"-"
HTTP請(qǐng)求頭中的Referer。
GET
請(qǐng)求方法。
http://www.aliyun.com/index.html
用戶請(qǐng)求的URL鏈接。
200
HTTP狀態(tài)碼。
191
請(qǐng)求大小,單位為字節(jié)。
2830
請(qǐng)求返回大小,單位為字節(jié)。
MISS
命中信息。
HIT:用戶請(qǐng)求命中了CDN邊緣節(jié)點(diǎn)上的資源(不需要回源)。
MISS:用戶請(qǐng)求的內(nèi)容沒(méi)有在CDN邊緣節(jié)點(diǎn)上緩存,需要向上游獲取資源(上游可能是CDN L2節(jié)點(diǎn),也可能是源站)。
說(shuō)明阿里云CDN目前僅提供了CDN邊緣節(jié)點(diǎn)的日志信息,不包含CDN L2節(jié)點(diǎn)的回源相關(guān)信息,因此當(dāng)該字段為MISS時(shí),無(wú)法獲取回源信息,因此無(wú)法直觀地從日志里面看到用戶請(qǐng)求是否回源。
Mozilla/5.0(compatible; AhrefsBot/5.0; +http://example.com/robot/)
User-Agent請(qǐng)求頭信息。
text/html
文件類型。
1.1.1.1
建連IP地址。
操作步驟
登錄CDN控制臺(tái)。
在左側(cè)導(dǎo)航欄,單擊 。
在日志下載頁(yè)簽,選擇域名和查詢時(shí)間,單擊查詢。
根據(jù)查詢結(jié)果,單擊操作列下的下載,即可下載日志至本地。
相關(guān)API
DescribeCdnDomainLogs:查詢域名的離線日志下載地址。