實踐1：讀取一個接口數(shù)據(jù)，該接口根據(jù)時間范圍查詢數(shù)據(jù)

示例場景：接口定義

準備工作：創(chuàng)建MaxCompute分區(qū)表

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest2
(
  `axis`  STRING
  ,`value` BIGINT
  ,`createTime` STRING
)
PARTITIONED BY
(
  ds  STRING
)
LIFECYCLE 3650;

配置同步任務(wù)

1. 添加RestAPI數(shù)據(jù)源。

   在DataWorks的工作空間中添加一個RestAPI類型的數(shù)據(jù)源，操作詳情請參見配置RestAPI數(shù)據(jù)源。核心配置要點如下。

   • url：配置為RESTful接口的地址。

   • 驗證方法：您可以根據(jù)數(shù)據(jù)源API實際支持的驗證方式選擇對應(yīng)的驗證方式并配置驗證參數(shù)。

   • 資源組連通性：RestAPI數(shù)據(jù)源僅支持使用獨享數(shù)據(jù)集成資源組，您需要選擇一個獨享數(shù)據(jù)集成資源組，測試數(shù)據(jù)源與此資源組的連通性。

2. 創(chuàng)建離線同步節(jié)點并配置同步任務(wù)。

   在DataWorks的DataStudio中創(chuàng)建一個離線同步節(jié)點，操作詳情請參見通過向?qū)Ｊ脚渲秒x線同步任務(wù)，其中核心配置要點如下。

   • 數(shù)據(jù)來源配置要點：

     • 數(shù)據(jù)源：選擇上述步驟中創(chuàng)建的RestAPI數(shù)據(jù)源。

     • 請求Method：本示例接口為GET接口，此處選擇GET。

     • 返回數(shù)據(jù)結(jié)構(gòu)：本示例接口的返回結(jié)果為一個JSON數(shù)組，此處選擇數(shù)組數(shù)據(jù)。

     • 數(shù)據(jù)存儲json路徑：本示例接口獲取的數(shù)據(jù)存儲于data下，此處配置為data。

     • 請求參數(shù)：請求參數(shù)與調(diào)度參數(shù)搭配使用，實現(xiàn)每天同步當天數(shù)據(jù)的。

       • 請求參數(shù)配置為startTime=${extract_day} ${start_time}&endTime=${extract_day} ${end_time}

       • 后續(xù)調(diào)度配置的調(diào)度參數(shù)中，新增三個調(diào)度參數(shù)：extract_day=${yyyy-mm-dd}、start_time=00:00:00、end_time=23:59:59。

       假設(shè)運行日期為2023-01-05，則extract_day取值為2023-01-04，請求參數(shù)將拼接為：startTime=2023-01-04 00:00:00&endTime=2023-01-04 23:59:59。

   • 數(shù)據(jù)去向配置要點：

     • 數(shù)據(jù)源、表：選擇上述步驟中創(chuàng)建的MaxCompute分區(qū)表。

     • 分區(qū)信息：分區(qū)信息和調(diào)度參數(shù)搭配使用。

       • 分區(qū)信息配置為${bizdate}。

       • 后續(xù)調(diào)度配置的調(diào)度參數(shù)中，新增1個調(diào)度參數(shù)：bizdate=$bizdate。

       假設(shè)運行日期為2023-01-05，則分區(qū)信息的取值為20230104。

   • 字段映射配置要點：根據(jù)接口中的數(shù)據(jù)定義，填寫RestAPI接口中的字段，注意字段名為大小寫敏感。添加好字段后，可以使用同名映射或者手動連線的方式，建立列映射。

測試運行

數(shù)據(jù)檢查

select * from ods_xiaobo_rest2 where ds='20230104' order by createtime;

提交發(fā)布與補數(shù)據(jù)

實踐2：讀取一個接口數(shù)據(jù)，該接口為一個分頁的RestAPI接口

示例場景：接口定義

準備工作：創(chuàng)建MaxCompute分區(qū)表

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest1
(
  `id` BIGINT
  ,`name` STRING
)
PARTITIONED BY
(
  ds  STRING
)
LIFECYCLE 3650;

配置同步任務(wù)

1. 添加RestAPI數(shù)據(jù)源。

   在DataWorks的工作空間中添加一個RestAPI類型的數(shù)據(jù)源，操作詳情請參見配置RestAPI數(shù)據(jù)源。核心配置要點如下。

   • url：配置為RESTful接口的地址。

   • 驗證方法：您可以根據(jù)數(shù)據(jù)源API實際支持的驗證方式選擇對應(yīng)的驗證方式并配置驗證參數(shù)。

   • 資源組連通性：RestAPI數(shù)據(jù)源僅支持使用獨享數(shù)據(jù)集成資源組，您需要選擇一個獨享數(shù)據(jù)集成資源組，測試數(shù)據(jù)源與此資源組的連通性。

2. 創(chuàng)建離線同步節(jié)點并配置同步任務(wù)。

   在DataWorks的DataStudio中創(chuàng)建一個離線同步節(jié)點，操作詳情請參見通過向?qū)Ｊ脚渲秒x線同步任務(wù)，其中核心配置要點如下。

   • 數(shù)據(jù)來源配置要點：

     • 數(shù)據(jù)源：選擇上述步驟中創(chuàng)建的RestAPI數(shù)據(jù)源。

     • 請求Method：本示例接口為GET接口，此處選擇GET。

     • 返回數(shù)據(jù)結(jié)構(gòu)：本示例接口的返回結(jié)果為一個JSON數(shù)組，此處選擇數(shù)組數(shù)據(jù)。

     • 數(shù)據(jù)存儲json路徑：本示例接口獲取的數(shù)據(jù)存儲于data下，此處配置為data。

     • 請求參數(shù)：頁長固定，此處配置為pageSize=50，建議不要單頁特別大，會給RestAPI服務(wù)端和同步任務(wù)帶來壓力。

     • 請求次數(shù)：本示例選擇多次請求。

       本接口的分頁參數(shù)是pageNum，選擇多次請求后，下方的相關(guān)參數(shù)配置為：

       • 多次請求對應(yīng)參數(shù)：配置為pageNum。

       • StartIndex：配置為1。

       • Step：配置為1。

       • EndIndex：配置為100。

   • 數(shù)據(jù)去向配置要點：

     • 數(shù)據(jù)源、表：選擇上述步驟中創(chuàng)建的MaxCompute分區(qū)表。

     • 分區(qū)信息：分區(qū)信息和調(diào)度參數(shù)搭配使用。

       • 分區(qū)信息配置為${bizdate}。

       • 后續(xù)調(diào)度配置的調(diào)度參數(shù)中，新增1個調(diào)度參數(shù)：bizdate=$bizdate。

       假設(shè)運行日期為2023-01-05，則分區(qū)信息的取值為20230104。

   • 字段映射配置要點：根據(jù)接口中的數(shù)據(jù)定義，填寫RestAPI接口中的字段，注意字段名為大小寫敏感。添加好字段后，可以使用同名映射或者手動連線的方式，建立列映射。

測試運行

數(shù)據(jù)檢查

select * from ods_xiaobo_rest1 where ds='20230104' order by id;

實踐3：讀取一個接口數(shù)據(jù)，該接口為POST類型的RestAPI接口

示例場景：接口定義

準備工作：創(chuàng)建MaxCompute分區(qū)表

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest3
(
  `user_id` BIGINT
  ,`name` STRING
  ,`axis`  STRING
  ,`value` BIGINT
  ,`create_time` STRING
)
PARTITIONED BY
(
  ds  STRING
)
LIFECYCLE 3650;

配置同步任務(wù)

1. 添加RestAPI數(shù)據(jù)源。

   在DataWorks的工作空間中添加一個RestAPI類型的數(shù)據(jù)源，操作詳情請參見配置RestAPI數(shù)據(jù)源。核心配置要點如下。

   • url：配置為RESTful接口的地址。

   • 驗證方法：您可以根據(jù)數(shù)據(jù)源API實際支持的驗證方式選擇對應(yīng)的驗證方式并配置驗證參數(shù)。

   • 資源組連通性：RestAPI數(shù)據(jù)源僅支持使用獨享數(shù)據(jù)集成資源組，您需要選擇一個獨享數(shù)據(jù)集成資源組，測試數(shù)據(jù)源與此資源組的連通性。

2. 創(chuàng)建離線同步節(jié)點并配置同步任務(wù)。

   在DataWorks的DataStudio中創(chuàng)建一個離線同步節(jié)點，操作詳情請參見通過向?qū)Ｊ脚渲秒x線同步任務(wù)，其中核心配置要點如下。

   • 數(shù)據(jù)來源配置要點：

     • 數(shù)據(jù)源：選擇上述步驟中創(chuàng)建的RestAPI數(shù)據(jù)源。

     • 請求Method：本示例接口為POST接口，此處選擇POST。

     • 返回數(shù)據(jù)結(jié)構(gòu)：本示例接口的返回結(jié)果為一個JSON數(shù)組，此處選擇數(shù)組數(shù)據(jù)。

     • 數(shù)據(jù)存儲json路徑：本示例接口獲取的數(shù)據(jù)存儲于data下，此處配置為data。

     • Header：本示例的POST接口接受的請求體是JSON格式的，此處配置為{"Content-Type":"application/json"}。

     • 請求參數(shù)：請求參數(shù)與調(diào)度參數(shù)搭配使用，實現(xiàn)每天同步當天數(shù)據(jù)的。

       • 請求參數(shù)配置為

         {
         
             "userId":16,
         
             "startTime":"${extract_day} 00:00:00",
         
             "endTime":"${extract_day} 23:59:59"
         
         }

       • 后續(xù)調(diào)度配置的調(diào)度參數(shù)中，新增1個調(diào)度參數(shù)：extract_day=${yyyy-mm-dd}。

   • 數(shù)據(jù)去向配置要點：

     • 數(shù)據(jù)源、表：選擇上述步驟中創(chuàng)建的MaxCompute分區(qū)表。

     • 分區(qū)信息：分區(qū)信息和調(diào)度參數(shù)搭配使用。

       • 分區(qū)信息配置為${bizdate}。

       • 后續(xù)調(diào)度配置的調(diào)度參數(shù)中，新增1個調(diào)度參數(shù)：bizdate=$bizdate。

       假設(shè)運行日期為2023-01-05，則分區(qū)信息的取值為20230104。

   • 字段映射配置要點：根據(jù)接口中的數(shù)據(jù)定義，填寫RestAPI接口中的字段，多個字段可以使用英文點號分隔，注意字段名為大小寫敏感。添加好字段后，可以使用同名映射或者手動連線的方式，建立列映射。

測試運行

數(shù)據(jù)檢查

select * from ods_xiaobo_rest3 where ds='20230105' order by create_time;

實踐4：循環(huán)某請求參數(shù)讀取RestAPI接口

示例場景：接口定義

本實踐示例的場景為循環(huán)讀取RESTful接口數(shù)據(jù)并寫入一個MaxCompute分區(qū)表中，其中使用的示例RESTful接口為一個自建的測試GET接口，會根據(jù)日期（date）、省份（province）、城市（city）入?yún)⒎祷叵嚓P(guān)的溫度數(shù)據(jù)。

• 請求示例：

  http://TestAPIAddress:Port/rest/test5?date=2023-01-04&province=zhejiang&city=hangzhou

• 返回示例：

  {
    "province": "P1",
    "city": "hz",
    "date": "2023-01-04",
    "minTemperature": "-14",
    "maxTemperature": "-7",
    "unit": "℃",
    "weather": "cool"
  }

• 接口測試工具調(diào)用示例：

準備工作：創(chuàng)建參數(shù)表和MaxCompute分區(qū)表

本實踐將從接口處讀取的數(shù)據(jù)同步至MaxCompute分區(qū)表中，因此首先需要創(chuàng)建一張參數(shù)表，用于存儲需要循環(huán)的province、city，再創(chuàng)建一張用于存儲同步過來的數(shù)據(jù)的分區(qū)表。

建表語句如下：

CREATE TABLE IF NOT EXISTS `citys`
(
  `province` STRING ,
  `city` STRING
);

insert into citys
select 'shanghai','shanghai'
union all select 'zhejiang','hangzhou'
union all select 'sichuan','chengdu';

CREATE TABLE IF NOT EXISTS ods_xiaobo_rest5
(
    `minTemperature` STRING ,
    `maxTemperature` STRING ,
    `unit` STRING ,
    `weather` STRING 
)
PARTITIONED BY 
(
    `province` STRING ,
    `city` STRING ,
    `ds`  STRING
)
LIFECYCLE 3650;

如果您使用的是標準版的DataWorks，并將創(chuàng)建的表提交到生產(chǎn)環(huán)境，后續(xù)您可以在數(shù)據(jù)地圖中查看到創(chuàng)建的此表。

配置同步任務(wù)

1. 添加RestAPI數(shù)據(jù)源。

   在DataWorks的工作空間中添加一個RestAPI類型的數(shù)據(jù)源，操作詳情請參見配置RestAPI數(shù)據(jù)源。核心配置要點如下：

   • url：配置為RESTful接口的地址。

   • 驗證方法：您可以根據(jù)數(shù)據(jù)源API實際支持的驗證方式選擇對應(yīng)的驗證方式并配置驗證參數(shù)。

   • 資源組連通性：選擇指定的資源組，并進行連通性測試。

2. 在數(shù)據(jù)開發(fā)中創(chuàng)建賦值節(jié)點setval_citys。具體操作，請參見賦值節(jié)點。

   核心配置要點如下：

   序號	說明
   ①	賦值語言：ODPS SQL 賦值代碼： SELECT province ,city FROM citys;
   ②	重跑屬性：配置為運行成功或失敗后皆可重跑。

   配置完成后提交發(fā)布賦值節(jié)點。

3. 在數(shù)據(jù)開發(fā)中創(chuàng)建for-each節(jié)點。具體操作，請參見for-each節(jié)點。核心配置要點如下：

   序號	說明
   ①	重跑屬性：配置為運行成功或失敗后皆可重跑。
   ②	依賴的上游節(jié)點：選擇前面步驟的節(jié)點，即setval_citys節(jié)點。
   ③	節(jié)點上下文參數(shù)：選擇輸入?yún)?shù)的來源。
   ④	離線同步節(jié)點：配置for-each內(nèi)部離線同步節(jié)點，詳情請參見下面步驟。

4. 創(chuàng)建離線同步節(jié)點并配置同步任務(wù)。具體操作，請參見通過向?qū)Ｊ脚渲秒x線同步任務(wù)。

   核心配置要點如下：

   序號	說明
   ①	調(diào)度參數(shù)配置如下： bizdate=$[yyyymmdd-1] bizdate_year=$[yyyy-1] bizdate_month=$[mm-1] bizdate_day=$[dd-1]
   ②	配置RestAPI請求參數(shù)。其中province、city參數(shù)來自循環(huán)節(jié)點。 date=${bizdate_year}-${bizdate_month}-${bizdate_day}&province=${dag.foreach.current[0]}&city=${dag.foreach.current[1]}
   ③	配置MaxCompute分區(qū)參數(shù)，其中province參數(shù)來自循環(huán)節(jié)點。 province=${dag.foreach.current[0]}
   ④	配置MaxCompute分區(qū)參數(shù)，其中city參數(shù)來自循環(huán)節(jié)點。 city=${dag.foreach.current[1]}
   ⑤	配置MaxCompute分區(qū)參數(shù)，其中ds參數(shù)來自調(diào)度參數(shù)。 ds=${bizdate}
   ⑥	根據(jù)接口中的數(shù)據(jù)定義，填寫RestAPI中的字段，注意字段名為大小寫敏感。添加好字段后，可以使用同名映射或者手動連線的方式，建立列映射。

   配置完成后提交發(fā)布for-each節(jié)點。

測試運行

1. 在成功提交發(fā)布賦值節(jié)點和for-each節(jié)點后，在運維中心的周期任務(wù)中，對賦值節(jié)點進行補數(shù)據(jù)操作。具體操作，請參見執(zhí)行補數(shù)據(jù)并查看補數(shù)據(jù)實例。

2. 選擇補數(shù)據(jù)的業(yè)務(wù)日期，選中運行的節(jié)點。

3. 任務(wù)運行后，在運行日志中查看調(diào)度參數(shù)渲染是否符合預期。

   如圖中所示，調(diào)度參數(shù)渲染正確，數(shù)據(jù)將被寫入MaxCompute表的province=shanghai,city=shanghai,ds=20231215分區(qū)中。

數(shù)據(jù)檢查

您可以在數(shù)據(jù)開發(fā)的臨時查詢功能中查看數(shù)據(jù)是否正確同步到了MaxCompute，臨時查詢的示例如下：

示例中ods_xiaobo_rest5為上述準備工作中創(chuàng)建的MaxCompute分區(qū)表。

SELECT  weather
        ,mintemperature
        ,maxtemperature
        ,unit
        ,province
        ,city
        ,ds
FROM    ods_xiaobo_rest5
WHERE   ds != 1
ORDER BY ds,province,city;

運行完成后，查看數(shù)據(jù)是否正確同步到MaxCompute中。