日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

使用CloudLens for SLS分析資源用量

本文介紹在CloudLens for SLS中自定義分析日志服務資源用量的常用場景。

背景信息

CloudLens for SLS推出賬單數據(免費),用于監控計費用量。賬單數據來源于費用中心,日志服務使用賬單拉取加工任務將數據拉取到表格存儲中進行存儲(賬單數據所使用的表格存儲實例免費),并通過日志服務外部數據關聯能力,提供賬單數據的查詢分析能力。

image

基于賬單數據,CloudLens for SLS提供了資源用量監控報表,幫助您分析日志服務計費項用量,實時監控用量情況。另外,您還可以使用賬單數據,實現日志服務資源用戶的自定義SQL分析、告警等功能。image.png

功能入口

  1. 登錄日志服務控制臺。
  2. 日志應用區域的云產品Lens頁簽中,單擊CloudLens for SLS

    更多信息,請參見CloudLens for SLS。

賬單數據介紹

日志服務賬單數據包含每一個日志服務實例在不同計費項產生的使用量。在自定義分析前,您需要了解日志服務賬單數據中的實例、計費項等基本概念。

基本概念

字段

說明

實例

InstanceID

日志服務的最小粒度資源,對應日志服務Logstore。

計費項

BillingItem

日志服務的收費項,例如存儲空間-日志熱存儲、索引流量-日志索引等。

實例

日志服務實例是日志服務的最小粒度資源(Logstore),組成結構為${aliUid};${Project};${Logstore};${Region},詳細說明如下表所示。

變量

說明

${aliUid}

阿里云賬號ID。

${Project}

日志服務的資源管理單元,是進行多用戶隔離與訪問控制的主要邊界。更多信息,請參見項目(Project)。

${Logstore}

日志服務中日志數據的采集、存儲和查詢單元。更多信息,請參見日志庫(Logstore)。

${Region}

日志服務數據中心所在的物理位置。您可以在創建Project時指定地域,一旦指定之后就不允許更改。更多信息,請參見開服地域。

計費項

日志服務計費項是日志服務提供能力的收費項。在日志服務中所有計費項都是單獨計費的,例如您存儲日志會產生日志存儲費用,您采集日志會產生寫流量費用等。計費項說明,請參見按使用功能計費模式計費項。

在賬單數據中,BillingItem字段代表計費項。日志服務的計費項組成,請參見計費組成。

SLS用量分析典型場景

在賬單數據的基礎上,您可以自定義分析賬單,以實現實時監控資源用量的能力。

用量趨勢與實例用量明細監控

您可以監控用量趨勢與實例用量明細,從而處理賬單數據異常突變情況。

  • 用量趨勢監控

    您可以使用date_trunc函數實現不同時間粒度的用量趨勢統計分析。

    • 查詢與分析語句

      其中BillingItem為計費項,Usage為用量。

      * |
      select
       date_trunc('day', __time__) as "日期",
       BillingItem,
       round(sum(Usage), 3) as "用量"
      FROM instance_bill
      where
       productcode = 'sls'
      group by
       "日期",
       BillingItem
      order by
       "日期"
    • 查詢與分析結果:您可以使用流圖(Pro版本)直觀地展示查詢與分析結果。其中,設置x軸字段日期,y軸字段用量,聚合列BillingItem。image.png

  • 實例用量明細監控

    對用量明細進行統計分析時,往往需要精細到某個實例的費用以及用量,以SLS實例為例,您可以組合費用、用量和存儲量的分析語句。其中:

    • t1為計費項用量統計,統計每個實例的各計費項的用量信息。

    • t2為實例費用統計,統計每個實例的應付費用、同比上月的占比,其中PretaxAmount為應付費用。

    • t3為存儲量總量統計,存儲量以天為單位,存儲量的用量信息只統計截止到您所選時間范圍最后一日的總量。

      • 查詢與分析語句

        * | with t1 as (
        	select
        	InstanceID,
        	BillingItem,
        	sum(Usage) as Usage
        	FROM instance_bill
        	where
        	ProductCode = 'sls'
        	and BillingItem not like '%存儲空間%'
        	and BillingItem not like '%Storage%'
        	group by
        	InstanceID,
        	BillingItem
        ),
        t2 as (
        	select
        	InstanceID,
        	round(di [1], 3) as "費用",
        	concat(
        		cast(round(di [3] * 100 -100, 3) as varchar),
        		'%'
        	) "同比上月"
        	from(
        		select
        		InstanceID,
        		compare(cost, 2592000) as di
        		FROM (
        			select
        			InstanceID,
        			round(sum(PretaxAmount), 2) as cost
        			FROM instance_bill
        			where
        			ProductCode = 'sls'
        			group by
        			InstanceID
        		)
        		group by
        		InstanceID
        	)
        ),
        t3 as (
        	select
        	InstanceID,
        	max_by("存儲空間", t) as "存儲空間"
        	FROM (
        		select
        		t,
        		InstanceID,
        		round(sum("存儲空間"), 2) as "存儲空間"
        		from(
        			select
        			date_trunc('day', __time__) as t,
        			InstanceID,
        			case
        			when BillingItem like '%存儲空間%'
        			or BillingItem like '%Storage%' then Usage
        			else 0
        			end as "存儲空間"
        			FROM instance_bill
        			WHERE
        			ProductCode = 'sls'
        			group by
        			t,
        			InstanceID,
        			"存儲空間"
        		)
        		group by
        		t,
        		InstanceID
        		order by
        		t asc
        	)
        	group by
        	InstanceID
        )
        select
         t1.InstanceID as InstanceID,
         t1.BillingItem as BillingItem,
         t1.Usage as Usage,
         t2."費用" as "費用(元)",
         t2."同比上月" as "同比上月(%)",
         t3."存儲空間" as "存儲空間"
        FROM t1
         left join t2 on t1.InstanceID = t2.InstanceID
         left join t3 on t1.InstanceID = t3.InstanceID
        order by
         "費用 (元)" desc
        limit
         150000
      • 查詢與分析結果

        您可以使用交叉表直觀地展示每個實例的各個計費項明細。其中,設置分類列BillIngItem,指標列Usage聚合列InstanceID、費用(元)、同比上月(%)存儲空間。配置完成后,您可以監控到每個實例的費用及用量數據。同時通過對某個計費項進行排序,可以直觀地統計某個計費項用量對應的Top實例。image.png

實現用量趨勢與實例用量明細監控后,您可以清晰地觀測到資源用量情況。接下來,可以繼續對讀寫流量、存儲空間、索引用量等典型用量的變動場景進行進一步分析。

讀寫流量增長場景

下圖為日志服務讀寫流量用量明細統計圖,您可以從圖中發現03-31~04-01期間讀寫流量用量明顯上升,需要進一步分析上升原因。image.png

您可以使用如下查詢與分析語句分析各實例的讀寫流量數據,然后通過統計圖表展示查詢與分析結果。

  • 查詢與分析語句

    * |
    select
     "日期",
     InstanceID,
    "用量"
    from(
    	select
    	date_trunc('day', __time__) as "日期",
    	InstanceID,
    	round(sum(Usage), 3) as "用量"
    	FROM instance_bill
    	where
    	productcode = 'sls'
    	and BillingItem = '讀寫流量' 
    	group by
    	"日期",
    	InstanceID
    )
    group by
     "日期",
     "用量",
     InstanceID
    order by
     "日期"
    limit
     10000
  • 查詢與分析結果

    您可以使用交叉表直觀地展示每個實例本周的讀寫流量情況。例如將2023-04-01的讀寫流量數據進行倒序排列,您可以發現,instance1與instance2在2023-04-01發生了讀寫流量用量突變,導致整體的讀寫流量用量發生了突變。然后通過實例ID,您可以準確找到對應的Project、Logstore,便于進一步優化讀寫流量。

    image.png

存儲空間用量增長場景

下圖為日志服務存儲空間用量統計圖表,您可以從圖中發現12-26~01-09期間的存儲空間用量明顯上升,需要進一步分析上升原因,并優化存儲空間。

image.png

您可以通過如下查詢與分析語句查詢1月3號這天各實例的存儲量,并統計同比-1天、同比-2天、同比-3天的數據,然后通過統計圖表可視化展示查詢與分析結果。

  • 查詢與分析語句

    * |
    select
     InstanceID,
     round(diffreal [1], 3) as "Usage",
     concat(
    		cast(
    			round(diffreal [1] / sum(diffreal [1]) over() * 100, 2) as varchar
    		),
    		'%'
    	) as "用量占比",
     concat(
    		cast(
    			coalesce(round(diffreal [5] * 100 -100), 2) as varchar
    		),
    		'%'
    	) as "同比-1天",
     concat(
    		cast(
    			round(coalesce(diffreal [6] * 100 -100, 2)) as varchar
    		),
    		'%'
    	) as "同比-2天",
     concat(
    		cast(
    			round(coalesce(diffreal [7] * 100 -100), 2) as varchar
    		),
    		'%'
    	) as "同比-3天"
    from(
    	select
    	InstanceID,
    	compare(Usage, 86400, 172800, 259200) as diffreal
    	from(
    		select
    		InstanceID,
    		sum(Usage) as Usage
    		FROM instance_bill
    		where ProductCode='sls' and BillingItem = '存儲空間'
    		group by
    		InstanceID
    	)
    	group by
    	InstanceID
    )
    order by
     diffreal [1] desc
    limit
     1000
  • 查詢與分析結果

    您可以使用交叉表直觀地展示查詢與分析結果。您可以按照實例存儲用量占比進行排序,從下述表格可知占比前四的實例均保持穩定的用量趨勢,而instance5的存儲空間用量在近三天同比中呈現較明顯的上升趨勢。因此,您需要針對instance5進一步分析存儲量上升原因。

    image.png

您可以執行如下查詢與分析語句,針對instance5進一步分析存儲量上升原因。

  • 查詢與分析語句

    其中,需將${instance5}替換為具體的實例。

    * |
    select
     date_trunc('day', __time__) as "日期",
     BillingItem,
     round(sum(Usage), 3) as "Usage"
    FROM instance_bill
    where
     productcode = 'sls'
    and InstanceID = ${instance5}
    group by
     "日期",
     BillingItem
    order by
     "日期"
  • 查詢與分析結果

    通過該實例的用量趨勢圖可知,除存儲空間用量外,該實例的讀寫流量、索引流量都有所增長。雖然后面的讀寫流量與索引流量穩定在一個固定區間,但存儲量持續增長,特別是01-01~01-09期間的存儲用量數據。這是因為存儲空間用量包含日志寫入流量和索引數據量,即數據存儲時長不變時,每日寫入流量、索引流量增加會導致總存儲量增加。

    假設每日新寫入流量和索引流量固定為1 GB,數據存儲時長為30天,則總存儲量穩定為30 GB。當新寫入流量和索引流量增加為2 GB后,增加后的第一天總存儲量為31 GB,第二天總存儲量為32 GB,以此類推,新寫入流量和索引流量增加的30天后,總存儲量為2 GB*30=60 GB。這就導致了雖然索引流量和讀寫流量后續沒有較大變化,但存儲量持續上升的情況。

    在分析存儲空間用量增長的原因后,您需要對存儲空間用量進行優化。由于寫入流量跟實際業務綁定,因此您可以根據實際使用情況適當減少索引數,同時采取縮短存儲時長等方式減少存儲量。

    image.png

    image.png

索引用量增長場景

下圖展示了一個實例的用量趨勢情況,您可以從圖中發現該實例的索引流量于12-26~12-28期間有較明顯上升趨勢。 image.png

日志索引流量與寫入流量、索引數量(全文索引+字段索引)相關。根據賬單數據可知讀寫流量上升導致了索引流量同步上升。 由于讀寫流量與您的業務綁定,因此您可以采取減少索引數量的方式優化索引流量,例如關閉全文索引、按需減少字段索引的數量,僅對關鍵字段設置索引。

實際使用量沒變,但用量統計為0場景

使用賬單數據分析資源用量時,會發生實際存在使用量,但賬單計算用量為0的情況。如下圖所示,從02-28這天起資源用量降為0。針對此問題,需要進一步分析原因。

image.png

  1. 根據賬單數據排查計費方式是否為資源包抵扣。

    • 查詢與分析語句

      分別查詢用量數據、資源包抵扣數據量。

      (*) |
      select
      	InstanceID,
       BillingItem,
       	Usage as "用量",
      	DeductedByResourcePackage as "資源包抵扣量"
      FROM instance_bill
      where
       productcode = 'sls'
    • 查詢與分析結果

      從下圖可知,雖然賬單計算用量為0,但資源包抵扣量不為0,說明存在資源包抵扣情況。

      image.png

  2. 判斷資源包抵扣量是否為計費項總用量。

    • 查詢與分析語句

      查詢資源包抵扣前的原始資源用量。其中,資源包抵扣用量為DeductedByResourcePackage,抵扣前總用量為Usage+DeductedByResourcePackage。

      * |
      select
       date_trunc('day', __time__) as "日期",
       BillingItem,
       round(sum(Usage + DeductedByResourcePackage), 3) as "抵扣前總用量"
      FROM instance_bill
      where
       productcode = 'sls'
      group by
       "日期",
       BillingItem
      order by
       "日期"
    • 查詢與分析結果

      image.png

配置用量告警

日志服務告警是一站式的告警監控、降噪、事務管理、通知分派的智能運維平臺。您可以通過使用SLS的告警功能,實現實時監控日志服務用量的能力。在CloudLens for SLS中集成了異常檢測,可以快速進入告警中心。具體操作,請參見設置告警。

image.png

昨日整體用量告警

通常情況下,為了控制整體成本,您需要關注整體用量。例如使用如下查詢與分析語句查詢存儲空間用量。

  • 查詢與分析語句

     * | 
    select
    	round(sum(Usage), 2) as "存儲空間用量"
    from instance_bill
    where ProductCode='sls' 
    and BillingItem='存儲空間'
  • 告警配置

    在告警配置中,設置觸發條件有數據匹配,并將匹配條件設置為存儲空間用量大于您的告警閾值,例如"存儲空間用量">400。

    image.png

單一實例用量告警

為了優化成本,您還需要關注具體實例的用量告警。例如使用如下查詢與分析語句查詢存儲空間用量,當單個實例的存儲空間用量超過10則告警。

  • 查詢與分析語句

    * |
    select
     InstanceID,
     "存儲空間用量"
    from(
     select
     InstanceID,
     round(sum(Usage), 2) as "存儲空間用量"
     FROM instance_bill
     where
     ProductCode = 'sls'
     and BillingItem = '存儲空間'
     group by
     InstanceID
     )
    where
     "存儲空間用量" > 10
  • 告警配置

    在告警配置中,設置觸發條件有數據,即存在有實例存儲空間用量超過告警閾值則會告警。告警會展示實例ID與對應實例的存儲空間用量。 image.png

除了上述兩種告警場景外,您也可以根據實際業務需求自定義告警。具體操作,請參見快速設置日志告警。