前提條件

使用限制

Hologres外部表的使用限制如下：

• MaxCompute不支持對創(chuàng)建的Hologres外部表執(zhí)行更新（UPDATE）、刪除（DELETE）操作。

• Hologres的分區(qū)表和MaxCompute的分區(qū)表沒有對應(yīng)關(guān)系。Hologres外部表不支持分區(qū)。

• 當(dāng)您需要向Hologres外部表寫入大量數(shù)據(jù)時(shí)，采用并行多進(jìn)程寫入方式，會小概率出現(xiàn)某個(gè)寫入進(jìn)程數(shù)據(jù)重寫情況，導(dǎo)致數(shù)據(jù)重復(fù)。

• MaxCompute里建的Hologres外部表，其中DECIMAL數(shù)據(jù)類型默認(rèn)小數(shù)18位，不能修改，只能建成decimal(38,18)。如果小數(shù)位數(shù)比較少，可以在MaxCompute中建外部表時(shí)數(shù)據(jù)類型選擇String，使用的時(shí)候再使用cast函數(shù)強(qiáng)制轉(zhuǎn)換后使用。

• MaxCompute創(chuàng)建的Hologres外部表，不支持Array，Map，Struct復(fù)雜數(shù)據(jù)類型。

• 在MaxCompute創(chuàng)建Hologres外部表時(shí)，Hologres中有的JSON、JSONB、MONEY等數(shù)據(jù)類型，目前在MaxCompute沒有對應(yīng)的數(shù)據(jù)類型，暫時(shí)不支持。

• Hologres外部表不支持cluster屬性。

注意事項(xiàng)

創(chuàng)建Hologres外部表語法

創(chuàng)建Hologres外部表（STS模式）

通過STS模式創(chuàng)建Hologres外部表的步驟如下：

1. 創(chuàng)建RAM角色

   創(chuàng)建RAM角色獲取ARN信息，用于創(chuàng)建外部表時(shí)填寫STS認(rèn)證信息。

   1. 登錄RAM訪問控制創(chuàng)建RAM角色。

      創(chuàng)建RAM角色的可信實(shí)體類型根據(jù)實(shí)際需求選擇阿里云賬號或者身份提供商。

      • 阿里云賬號：

        阿里云賬號下的RAM用戶可以通過扮演RAM角色來訪問云資源，詳情請參見創(chuàng)建可信實(shí)體為阿里云賬號的RAM角色。

      • 身份提供商：

        通過設(shè)置SSO實(shí)現(xiàn)從企業(yè)本地賬號系統(tǒng)登錄至阿里云控制臺，幫您解決企業(yè)的統(tǒng)一用戶登錄認(rèn)證要求。詳情請參見創(chuàng)建可信實(shí)體為身份提供商的RAM角色。

   2. 修改信任策略配置內(nèi)容。

      1. 在角色頁面，單擊已創(chuàng)建完成的RAM角色名稱。

      2. 單擊信任策略頁簽。

      3. 在信任策略頁簽，單擊編輯信任策略。

      4. 參照如下內(nèi)容修改信任策略配置。

         修改信任策略配置內(nèi)容與選擇的可信實(shí)體類型相關(guān)。

         • 可信實(shí)體類型為阿里云賬號：

           {
             "Statement": [
               {
                 "Action": "sts:AssumeRole",
                 "Effect": "Allow",
                 "Principal": {
                   "RAM": [
                     "acs:ram::<UID>:root"
                   ]
                 }
               },
               {
                 "Action": "sts:AssumeRole",
                 "Effect": "Allow",
                 "Principal": {
                   "Service": [
                     "<UID>@odps.aliyuncs.com"
                   ]
                 }
               }
             ],
             "Version": "1"
           }

         • 可信實(shí)體類型為身份提供商：

           {
           "Statement": [
                   {
                       "Action": "sts:AssumeRole",
                       "Condition": {
                           "StringEquals": {
                               "saml:recipient": "https://signin.aliyun.com/saml-role/sso"
                           }
                       },
                       "Effect": "Allow",
                       "Principal": {
                           "Federated": [
                               "acs:ram::<UID>:saml-provider/IDP"
                           ]
                       }
                   },
                   {
                       "Action": "sts:AssumeRole",
                       "Effect": "Allow",
                       "Principal": {
                           "Service": [
                               "<UID>@odps.aliyuncs.com"
                           ]
                       }
                   }
               ],
               "Version": "1"
           }

           說明

           <UID>即阿里云賬號ID，可在用戶信息頁面獲取。

      5. 單擊確定。

2. 添加RAM角色至Hologres實(shí)例并授權(quán)

   RAM角色需要有Hologres實(shí)例的開發(fā)權(quán)限，才能在權(quán)限范圍內(nèi)使用Hologres。由于RAM角色默認(rèn)沒有Hologres管理控制臺的查看和操作實(shí)例的權(quán)限，因此需要阿里云賬號完成RAM相關(guān)權(quán)限授予才能進(jìn)行后續(xù)操作。添加RAM角色至Hologres實(shí)例，您可以通過如下方式進(jìn)行授權(quán)。

   • 通過Hologres管理控制臺授權(quán)。

     1. 登錄Hologres管理控制臺。

     2. 在左側(cè)導(dǎo)航欄單擊實(shí)例列表，單擊需要授權(quán)的Hologres實(shí)例名稱。

     3. 在實(shí)例詳情頁面，單擊賬號管理。

     4. 在用戶管理頁面單擊新增用戶添加RAM角色至Hologres實(shí)例。

     5. 在DB授權(quán)頁簽，為該RAM角色授予實(shí)例的開發(fā)權(quán)限。

   • 通過SQL方式授權(quán)。

     您可以通過SQL方式進(jìn)行授權(quán)，授權(quán)SQL請參見Hologres權(quán)限模型概述。

   • 若是通過RAM用戶扮演RAM角色，RAM用戶默認(rèn)沒有Hologres管理控制臺的權(quán)限，需要阿里云賬號給RAM用戶在訪問控制頁面授予AliyunRAMReadOnlyAccess權(quán)限，否則RAM用戶無法在Hologres管理控制臺進(jìn)行任何操作。詳情請參見文檔授予RAM用戶權(quán)限。

3. 創(chuàng)建Hologres外部表

   完成上述步驟后，基于已準(zhǔn)備好的數(shù)據(jù)信息，您即可登錄MaxCompute客戶端，結(jié)合創(chuàng)建Hologres外部表語法創(chuàng)建Hologres外部表。

   1. 安裝并登錄MaxCompute本地客戶端，進(jìn)入目標(biāo)MaxCompute項(xiàng)目。

      進(jìn)入目標(biāo)項(xiàng)目命令信息，請參見項(xiàng)目空間操作。

   2. 執(zhí)行如下命令創(chuàng)建Hologres外部表。

      命令示例如下。

      create external table if not exists my_table_holo_jdbc
      (
       id bigint,
       name string
      )
      stored by 'com.aliyun.odps.jdbc.JdbcStorageHandler' 
      with serdeproperties (
        'odps.properties.rolearn'='acs:ram::139699392458****:role/aliyunodpsholorole')
      location 'jdbc:postgresql://hgprecn-cn-oew210ut****-cn-hangzhou-internal.hologres.aliyuncs.com:80/mc_test?ApplicationName=MaxCompute&currentSchema=public&useSSL=false&table=holo/'
      tblproperties (
        'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver',
        'odps.federation.jdbc.target.db.type'='holo',
        'odps.federation.jdbc.colmapping'='id:id,name:name'
      );

   3. 執(zhí)行如下命令基于新建的Hologres外部表查詢Hologres源表信息。

      命令示例如下。

      --訪問Hologres外部表需要添加如下屬性。
      set odps.sql.split.hive.bridge=true;
      set odps.sql.hive.compatible=true;
      --查詢Hologres外部表數(shù)據(jù)。
      select * from my_table_holo_jdbc limit 10;

      返回結(jié)果如下。

      +------------+------------+
      | id         | name       |
      +------------+------------+
      | 1          | kate       |
      | 2          | mary       |
      | 3          | bob        |
      | 4          | tom        |
      | 5          | lulu       |
      | 6          | mark       |
      | 7          | haward     |
      | 8          | lilei      |
      | 9          | hanmeimei  |
      | 10         | lily       |
      +------------+------------+

   4. 可選：基于Hologres外部表與Hologres進(jìn)行數(shù)據(jù)交換、聯(lián)合分析。

      例如，將MaxCompute加工后的數(shù)據(jù)利用Hologres外部表，寫入Hologres實(shí)現(xiàn)加速分析、在線服務(wù)。命令示例如下。

      --訪問Hologres外部表需要添加如下屬性。
      set odps.sql.split.hive.bridge=true;
      set odps.sql.hive.compatible=true;
      --向Hologres外部表插入數(shù)據(jù)。
      insert into my_table_holo_jdbc values (12,'alice');
      --查詢Hologres外部表數(shù)據(jù)。
      select * from my_table_holo_jdbc;

      返回結(jié)果如下。

      +------------+------------+
      | id         | name       |
      +------------+------------+
      | 12          | alice      |
      | 1          | kate       |
      | 2          | mary       |
      | 3          | bob        |
      | 4          | tom        |
      | 5          | lulu       |
      | 6          | mark       |
      | 7          | haward     |
      | 8          | lilei      |
      | 9          | hanmeimei  |
      | 10         | lily       |
      | 11         | lucy       |
      +------------+------------+

      頻繁更新的維度表保存在Hologres，滿足實(shí)時(shí)動態(tài)更新需要。MaxCompute通過外部表方式訪問維度表與MaxCompute中事實(shí)表進(jìn)行關(guān)聯(lián)分析，命令示例如下。

      --訪問Hologres外部表需要添加如下屬性。
      set odps.sql.split.hive.bridge=true;
      set odps.sql.hive.compatible=true;
      --創(chuàng)建MaxCompute內(nèi)部表。
      create table holo_test as select * from my_table_holo_jdbc;
      --MaxCompute內(nèi)部表與Hologres外部表進(jìn)行關(guān)聯(lián)分析。
      select * from my_table_holo_jdbc t1 inner join holo_test t2 on t1.id=t2.id;

      返回結(jié)果如下。

      +------------+------------+------------+------------+
      | id         | name       | id2        | name2      |
      +------------+------------+------------+------------+
      | 1          | kate       | 1          | kate       |
      | 2          | mary       | 2          | mary       |
      | 3          | bob        | 3          | bob        |
      | 4          | tom        | 4          | tom        |
      | 5          | lulu       | 5          | lulu       |
      | 6          | mark       | 6          | mark       |
      | 7          | harward    | 7          | harward    |
      | 8          | lilei      | 8          | lilei      |
      | 9          | hanmeimei  | 9          | hanmeimei  |
      | 10         | lily       | 10         | lily       |
      | 11         | lucy       | 11         | lucy       |
      | 12         | alice      | 12         | alice      |
      +------------+------------+------------+------------+

創(chuàng)建Hologres外部表（雙簽名模式）

雙簽名是MaxCompute和Hologres共同研發(fā)的認(rèn)證及鑒權(quán)協(xié)議，在MaxCompute側(cè)使用賬號登錄信息加簽名后，把認(rèn)證數(shù)據(jù)傳遞給Hologres側(cè)，Hologres根據(jù)MaxCompute底層達(dá)成的協(xié)議，進(jìn)行同名認(rèn)證及鑒權(quán)。這樣只需要在MaxCompute和Hologres有相同的賬號，就可以直接進(jìn)行外部表訪問，不需要額外設(shè)置認(rèn)證信息。

• 前提條件。

  Hologres中存在跟MaxCompute相同名稱的賬號，并且該賬號具有Hologres中對應(yīng)表的讀寫權(quán)限。

• 使用限制。

  僅Hologres V1.3及以上版本支持MaxCompute使用雙簽名模式創(chuàng)建Hologres外部表，目前雙簽名模式只支持從Hologres外部表中讀取數(shù)據(jù)，不支持寫入數(shù)據(jù)至Hologres外部表。

• 命令示例。

  您可直接登錄MaxCompute客戶端，結(jié)合創(chuàng)建Hologres外部表語法通過雙簽名模式創(chuàng)建Hologres外部表。

  --創(chuàng)建外部表
  CREATE EXTERNAL TABLE IF NOT EXISTS holo_mc_external_dbl
  (
    id int,
    name string,
    ds string
  )
  STORED BY 'com.aliyun.odps.jdbc.JdbcStorageHandler'
  location 'jdbc:postgresql://hgprecn-cn-zvp2o6aq****-cn-beijing-internal.hologres.aliyuncs.com:80/mc_test?ApplicationName=MaxCompute&currentSchema=public&preferQueryMode=simple&useSSL=false&table=mf_holo_mc_up/'
  TBLPROPERTIES (
    'mcfed.mapreduce.jdbc.driver.class'='org.postgresql.Driver',
    'odps.federation.jdbc.target.db.type'='holo',
    'odps.federation.jdbc.colmapping'='id:id,name:name,ds:ds'
  );
  
  --查詢外部表（必須與打開雙簽名開關(guān)命令一起執(zhí)行）
  set odps.sql.common.table.planner.ext.hive.bridge=true;
  select * from holo_mc_external_dbl;

開啟Hologres外部表存儲直讀功能

背景介紹

使用限制

開啟方式

set odps.table.api.enable.holo.table=true;

直讀驗(yàn)證

可以在Logview里查看日志，判斷查詢是否走了直讀模式，Logview使用詳情請參見使用Logview 2.0查看作業(yè)運(yùn)行信息。

<project_name>.<table_name>:<訪問方式>[<(回退原因)>]