物化視圖當(dāng)前支持如下聚合函數(shù)。

• SUM

• COUNT

• AVG

• MIN

• MAX

• RB_BUILD_CARDINALITY_AGG（只支持BIGINT，需創(chuàng)建Extension roaringbitmap）

精確UV計(jì)算是計(jì)算復(fù)雜度非常高的算子，通常是系統(tǒng)的性能瓶頸部分。Hologres支持RB_BUILD_CARDINALITY_AGG聚合函數(shù)，通過利用RoaringBitmap數(shù)據(jù)結(jié)構(gòu)，可以對(duì)BIGINT類數(shù)據(jù)（通常是表示業(yè)務(wù)ID字段）進(jìn)行物化視圖預(yù)聚合，實(shí)現(xiàn)UV統(tǒng)計(jì)實(shí)時(shí)去重，可按照如下方式創(chuàng)建物化視圖，當(dāng)前僅支持BIGINT類字段的聚合去重。

--UV計(jì)算依賴RoaringBitmap數(shù)據(jù)類型，需要提前創(chuàng)建RoaringBitmap extension
CREATE EXTENSION if not exists roaringbitmap;

BEGIN;
CREATE TABLE base_sales_r(
  day text not null,
  hour int ,
  ts timestamptz,
  amount float,
  userid bigint,
  pk text not null primary key
);
CALL SET_TABLE_PROPERTY('base_sales_r', 'mutate_type', 'appendonly');

CREATE MATERIALIZED VIEW mv_sales_r AS
  SELECT
    day,
    hour,
    avg(amount) AS amount_avg,
    rb_build_cardinality_agg(userid) as user_count
  FROM base_sales_r
  GROUP BY day, hour;

COMMIT;

insert into base_sales_r values(to_char(now(),'YYYYMMDD'),'12',now(),100,1,'pk1');
insert into base_sales_r values(to_char(now(),'YYYYMMDD'),'12',now(),200,2,'pk2');
insert into base_sales_r values(to_char(now(),'YYYYMMDD'),'12',now(),300,3,'pk3');
select user_count as UV from mv_sales_r where day = to_char(now(),'YYYYMMDD') AND hour = 12;

通過rb_build_cardinality_agg計(jì)算去重?cái)?shù)，mv_sales_r中user_count代表userid去重?cái)?shù)，查詢user_count可獲得去重?cái)?shù)。

假設(shè)定義了上述的mv_sales物化視圖，且明細(xì)表base_sales中當(dāng)前含有以下明細(xì)數(shù)據(jù)。

直接查詢sales_mv將會(huì)有如下結(jié)果。

postgres=> select * from mv_sales;
    day    |   hour  |   amount_avg
-----------+---------+--------------
  20210101 |    12   |     3
  20210101 |    13   |     6

這時(shí)如果想更改查詢物化視圖的聚合維度，例如使用維度day進(jìn)行avg聚合計(jì)算，則會(huì)得到的會(huì)是一個(gè)錯(cuò)誤的結(jié)果，因?yàn)閍vg的avg不等于total的avg。

postgres=> select day, avg(amount_avg) from mv_sales group by day;
    day    |   avg
-----------+--------
  20210101 |   4.5

這時(shí)候一種辦法是再建一張以day為維度進(jìn)行聚合的物化視圖，但這樣會(huì)導(dǎo)致物化視圖的數(shù)量膨脹，Hologres提供了一種基于聚合中間狀態(tài)的實(shí)現(xiàn)，使得用戶僅用一張物化視圖，實(shí)現(xiàn)不同維度聚合查詢。這里以Avg為例，修改聚合視圖的定義如下。

BEGIN;
CREATE TABLE base_sales(
  day text not null,
  hour int ,
  ts timestamptz,
  amount float,
  pk text not null primary key
);
CALL SET_TABLE_PROPERTY('base_sales', 'mutate_type', 'appendonly');

CREATE MATERIALIZED VIEW mv_sales_partial AS
  SELECT
    day,
    hour,
    avg(amount) as avg,
    avg_partial(amount) AS amt_avg_partial
  FROM base_sales
  GROUP BY day, hour;

COMMIT;

原先的avg聚合函數(shù)重新定義為avg_partial聚合函數(shù)，amount_avg_partial列存儲(chǔ)的是聚合結(jié)果的中間狀態(tài)，查詢時(shí)需要修改查詢函數(shù)，將avg聚合函數(shù)改寫為avg_final最終聚合函數(shù)，聲明是對(duì)聚合結(jié)果中間狀態(tài)的最終聚合。

postgres=> select day, avg(avg) as avg_avg, avg_final(amt_avg_partial) as real_avg from mv_sales_partial group by day;
    day    |   avg_avg |  real_avg
-----------+-----------+----------
  20210101 |    4.5    |     4

目前支持以下聚合函數(shù)及對(duì)應(yīng)的partial聚合函數(shù)。

為base_sales_table設(shè)置了TTL，如果數(shù)據(jù)由于TTL到期被回收掉，那么此時(shí)查詢明細(xì)表的結(jié)果如下所示。

postgres=> SELECT
    day,
    hour,
    avg(amount) AS amount_avg
  FROM base_sales
  GROUP BY day, hour;

--查詢結(jié)果
    day    |   hour  |   amount_avg
-----------+---------+--------------
  20210101 |    12   |     4
  20210101 |    13   |     6

但是由于被回收的數(shù)據(jù)，已經(jīng)物化到了物化視圖的數(shù)據(jù)中，所以查詢物化視圖時(shí)有可能得到的結(jié)果如下。

postgres=> select * from mv_sales;
--查詢結(jié)果
    day    |   hour  |   amount_avg
-----------+---------+--------------
  20210101 |    12   |     3
  20210101 |    13   |     6

此時(shí)查詢結(jié)果不一致，建議改進(jìn)方案如下。

• 明細(xì)表不要設(shè)置TTL。

• 明細(xì)表設(shè)置TTL，但是物化視圖的GROUP BY含有數(shù)據(jù)的時(shí)間字段，且查詢物化視圖的時(shí)候，不會(huì)去查詢?cè)赥TL臨界點(diǎn)附近的數(shù)據(jù)。

• 明細(xì)表建成分區(qū)表，不設(shè)置TTL，回收數(shù)據(jù)通過刪除（Drop）分區(qū)表來實(shí)現(xiàn)。

查詢時(shí)不需要顯式指定物化視圖表名稱，可以像之前一樣基于基礎(chǔ)表進(jìn)行查詢。如果有匹配的物化視圖表，優(yōu)化器會(huì)智能路由到最佳的物化視圖表來加速查詢。在查詢時(shí)，物化視圖表的選擇規(guī)則如下：

• 選擇包含所有查詢列或可以通過間接計(jì)算得到的物化視圖表。

• 選擇GROUP BY列字段包含原始查詢GROUP BY所有列的物化視圖表。

• 當(dāng)有多個(gè)物化視圖表符合條件時(shí)，選擇GROUP BY列字段少的物化視圖表。

當(dāng)前支持智能路由的聚合函數(shù)有SUM、COUNT、AVG、MIN和MAX。