注意事項

本案例通過命令建表，在實際開發中，您可通過DataWorks可視化功能創建，詳情請參見創建并使用MaxCompute表。

適用場景

在設計數據倉庫的數據模型時，拉鏈存儲技術可作為一種解決方案，滿足以下需求：

• 數據量較大。

• 表中的部分字段被更新。

  例如，用戶的地址、產品的描述信息、訂單的狀態和手機號碼等。

• 需要查看某一個時間點或時間段的歷史快照信息。

  例如，查看某一個訂單在某一個歷史時間點的狀態，或查看某一個用戶在過去某段時間內更新過幾次等。

• 變化的比例不大或頻率不高。

  假設總共有1000萬個會員，且每天新增和發生變化的會員只有10萬左右，如果每天都在表中保留一份全量，那么每次全量中會保存很多不變的信息，極大地浪費了存儲資源。

關鍵字段介紹

拉鏈表通常包含以下幾個關鍵字段：

案例介紹

• 數據表設計，本案例共設計2張數據表。

  • 交易下單源表：ods_order_d，用于存放業務庫同步過來的每日增量數據。包含如下兩個字段：

    • id：業務主鍵訂單ID。

    • status：追蹤變化的訂單狀態。

  • 交易下單事實表（拉鏈表）：dwd_order，用于拉鏈存儲全量有效和失效的數據。包含如下四個字段：

    • id：業務主鍵訂單ID。

    • status：追蹤變化的訂單狀態。

    • start_date：有效開始日期。

    • end_date：有效結束時間。

• 拉鏈表實現邏輯。

  • 本案例將使用拉鏈表記錄電商訂單從開始到當前狀態（創建/支付/完成）的所有變化信息，拉鏈表的加載邏輯詳情請參見：拉鏈表數據加載邏輯。

任務開發：準備工作

任務開發：拉鏈表的實現

• 創建ODPS SQL節點：dwd_order，用于產出交易下單事實明細表數據。

• 節點間的依賴關系，如下圖所示：

  

dwd_order

• 表數據：交易下單事實明細表（拉鏈表），用于存放全量有效數據和全量失效數據。包含有效開始日期start_date、有效結束時間end_date、業務主鍵ID和追蹤訂單狀態變化的status字段。

• 在dwd_order節點編輯頁面，輸入如下示例代碼：

  -- 1. 創建交易下單事實明細表，存放全量數據（拉鏈存儲）。
  -- 補充說明：拉鏈表增加記錄生命周期的字段start_date(生效日期)、end_date(失效日期)，當end_date為極大值'9999-12-31'
  --         時表示數據有效。
  CREATE TABLE IF NOT EXISTS dwd_order
  (
      ID            BIGINT COMMENT '訂單ID'
      ,gmt_create   DATE COMMENT '創建時間，格式為yyyy-mm-dd'
      ,gmt_modified DATE COMMENT '更新時間，格式為yyyy-mm-dd'
      ,`status`     STRING COMMENT '狀態'
      ,start_date   DATE COMMENT '生效日期，格式為yyyy-mm-dd'
      ,end_date     DATE COMMENT '失效日期，格式為yyyy-mm-dd，9999-12-31表示有效'
  )
  COMMENT '交易下單事實明細表(拉鏈表)'
  ;
  
  -- 2. 拉鏈存儲的實現邏輯：業務日期當日ods_order_di新增或更新的所有數據插入dwd_order狀態為有效數據、dwd_order中
  -- 有更新過的有效數據修改成失效數據。
  INSERT OVERWRITE TABLE dwd_order
  SELECT  id
          ,gmt_create
          ,gmt_modified
          ,`status`
          ,start_date
          ,end_date
  FROM    (
              SELECT  id
                      ,gmt_create
                      ,gmt_modified
                      ,`status`
                      ,start_date
                      ,end_date
                      -- 2.3 支持重跑：使用開窗函數，按id,gmt_create,gmt_modified,`status`分發，按end_date reducer內降序排序，僅取第一條數據。
                      ,ROW_NUMBER() OVER (DISTRIBUTE BY id,gmt_create,gmt_modified,`status` SORT BY end_date DESC ) AS row_num
              FROM    (
                          -- 2.1 當日失效數據：dwd_order中有被更新過的有效數據修改成失效數據。
                          SELECT  a.id AS id
                                  ,a.gmt_create AS gmt_create
                                  ,a.gmt_modified AS gmt_modified
                                  ,a.`status` AS `status`
                                  ,a.start_date AS start_date
                                  ,CASE   WHEN b.id IS NOT NULL
                                              -- AND CAST(a.end_date AS STRING) > '${biz_date}' THEN DATE'${biz_date}' 這里再考慮下用哪個合適
                                              AND CAST(a.end_date AS STRING) == '9999-12-31' THEN DATE'${biz_date}' 
                                          ELSE a.end_date
                                  END AS end_date
                          -- 2.4 調度依賴補充說明：由于當日dwd_order表數據計算依賴于自身昨日數據產出，所以我們在節點「調度配置」-「跨周期依賴」中配置了依賴「本節點」。 
                          FROM    dwd_order AS a
                          LEFT JOIN   (
                                          SELECT  id
                                                  ,gmt_create
                                                  ,gmt_modified
                                                  ,`status`
                                          FROM    ods_order_di
                                          WHERE   pt == '${biz_date}'
                                      ) b
                          ON      a.id == b.id
                          UNION ALL 
                          -- 2.2 當日新增或更新的有效數據：業務日期當日ods_order_di新增或更新的所有數據插入dwd_order狀態為有效數據。
                          SELECT  id
                                  ,gmt_create
                                  ,gmt_modified
                                  ,`status`
                                  ,DATE'${biz_date}' AS start_date
                                  ,DATE'9999-12-31' AS end_date
                          FROM    ods_order_di
                          WHERE   pt == '${biz_date}'
                      ) 
          ) with_row_num_tb
  -- 支持重跑
  WHERE   row_num == 1
  ;

• 調度配置，核心配置要點如下，其他參數保持默認即可。

  • 調度參數：在調度配置 > 調度參數中，點擊加載代碼中的參數自動生成的參數配置結果，參數值中輸入$[yyyy-mm-dd-1]，更多關于調度參數的配置說明，請參見調度參數支持的格式。

    說明

    您也可以單擊用表達式定義，使用手動輸入的方式添加調度參數biz_date=$[yyyy-mm-dd-1]

  • 配置跨周期依賴。由于dwd_order表的當天數據處理依賴于自身前一日的數據產出，為了確保數據處理的正確性和連續性。

    在調度配置 > 調度依賴 > 跨周期依賴（原上一周期）中勾選本節點的設置自依賴操作。通過配置自依賴，可以保障只有在上一周期的數據成功處理后，才會進行當前周期的數據加載，從而保障了數據處理流程的順利進行。

任務開發：拉鏈表的使用

• 本階段需要創建一個ODPS SQL節點，依賴上述所有任務：

  • 拉鏈表查詢節點。

• 節點間的依賴關系，如圖所示：

  

• 表定義：通過上述步驟已經完成了拉鏈表數據加載，通過創建查詢節點，編寫SQL查詢語句，實現拉鏈存儲結果的查詢。

• 在拉鏈表查詢節點編輯頁面，輸入如下示例代碼：

  -- 1. 拉鏈表使用
  -- 1.1 我們僅需查詢dwd_order表中end_date=9999-12-31的記錄就可以得到全量最新狀態的有效數據。
  SELECT  id
          ,gmt_create
          ,gmt_modified
          ,`status`
          ,start_date
          ,end_date
  FROM    dwd_order
  WHERE   end_date == DATE'9999-12-31'
  ORDER BY id DESC
  LIMIT   100
  ;
  
  -- 1.2 我們僅需查詢dwd_order表中指定的訂單id并按end_date排序的記錄就可以得到該訂單所有的歷史快照。
  SELECT  id
          ,gmt_create
          ,gmt_modified
          ,`status`
          ,start_date
          ,end_date
  FROM    dwd_order
  WHERE   id == 210001
  ORDER BY end_date DESC
  LIMIT   100
  ;
  
  -- 1.3 查詢dwd_order表中全量數據，并按訂單id,end_date降序排序。
  SELECT  id
          ,gmt_create
          ,gmt_modified
          ,`status`
          ,start_date
          ,end_date
  FROM    dwd_order
  ORDER BY id,end_date DESC
  LIMIT   100
  ;

運行業務流程

由于上述的案例測試中，我們將3天的每日新增數據一次性分別插入指定分區"2023-10-04、2023-10-05、2023-10-06"，所以需要在生產環境執行補數據操作，實現業務數據回刷操作。運維中心補數據操作如下。

1. 提交任務。

   1. 單擊工具欄中的圖表。

   2. 在提交對話框中，選中需要提交的節點，輸入變更描述。

   3. 單擊確認，在對話框中出現操作完成，說明任務提交成功。

      如果您使用的是標準模式的工作空間，提交成功后，請單擊右上方的發布。具體操作請參見發布任務。

2. 進入運維中心。

   任務發布成功后，單擊右上角的運維中心。

   您也可以進入業務流程（體驗案例_拉鏈表的實現）的編輯頁面，單擊工具欄中的前往運維，進入運維中心頁面。

3. 周期任務執行補數據操作。

   1. 在左側導航欄，單擊周期任務運維 > 周期任務，進入周期任務頁面，單擊業務流程（體驗案例_拉鏈表的實現）的起始根節點拉鏈表實現說明。

   2. 右鍵單擊拉鏈表實現說明節點，選擇補數據 > 當前節點及下游節點。

      

   3. 在補數據對話框中，選擇業務日期為2023-10-04~2023-10-06，在選擇需要補數據的節點中勾選所有節點，單擊確定，自動跳轉至補數據實例頁面。

   4. 單擊刷新，直至SQL任務全部運行成功即可。

結果查詢

在運維中心運行完所有SQL任務后，您可以在日志中查看運行結果：

1. 在補數據示例頁面的實例列表中，單擊拉鏈表查詢節點操作列的DAG圖，點擊查看日志。

2. 進入拉鏈表查詢的運行日志詳情頁面，在運行詳情 > 任務執行 > 日志中，可以查看到運行的結果。

   

附錄：使用ETL工作流模板

DataWorks ETL工作流模板已內置該案例，您直接導入本案例相關代碼，具體操作如下：

1. 登錄DataWorks控制臺，點擊左側導航欄的大數據體驗 > ETL工作流模板，進入ETL工作流模板頁面。

2. 在ETL工作流模板頁面選擇拉鏈表實現業務流程，單擊查看詳情進入模板頁面，點擊載入模板。

3. 在載入模板對話框中，選擇對應的工作空間，并在MaxCompute配置中選擇在數據源名稱下拉列表中選擇數據源，點擊確認載入模板。

資源釋放

若您在案例測試完成之后，想要清理與釋放當前案例生成的資源，您可參考以下文檔處理：

• 刪除表：批量刪除MaxCompute表。

• 下線任務：下線任務。

相關文檔

• 了解虛擬節點相關操作，詳情請參見：虛擬節點。

• 了解MaxCompute節點的ODPS SQL節點，詳情請參見：創建并管理MaxCompute節點。

• 了解更多開發ODPS SQL任務，詳情請參見：開發ODPS SQL任務。

• 了解更多運維中心的周期任務調度，詳情請參見：周期任務基本運維操作。