背景信息

表格存儲（Tablestore）是構建在阿里云飛天分布式系統之上的NoSQL數據存儲服務，提供海量結構化數據的存儲和實時訪問，詳情請參見Tablestore文檔。

您可以通過DataWorks配合MaxCompute對外部表進行可視化的創建、搜索、查詢、配置、加工和分析。詳情請參見外部表。

注意事項

• MaxCompute與Tablestore是兩個獨立的大數據計算和存儲服務，所以兩者之間的網絡必須保證連通性。MaxCompute公共云服務訪問Tablestore存儲時，推薦您使用Tablestore私網地址，即Host名以ots-internal.aliyuncs.com作為結尾的地址，例如tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com。

• Tablestore與MaxCompute都有其自身的類型系統。在MaxCompute處理Tablestore數據時，兩者之間的數據類型對應關系如下所示。

  MaxCompute Type	Tablestore Type
  STRING	STRING
  BIGINT	INTEGER
  DOUBLE	DOUBLE
  BOOLEAN	BOOLEAN
  BINARY	BINARY

• Tablestore外部表不支持cluster屬性。

前提條件

• 已授權訪問OTS的權限。具體授權操作詳情，請參見OTS的STS模式授權。

• 已創建Tablestore實例、表和數據。具體操作，請參見通過控制臺使用寬表模型。

創建外部表

MaxCompute通過創建外部表，把對Tablestore表數據的描述引入到MaxCompute的meta系統內部后，即可實現對Tablestore數據的處理。本節通過下述示例為您說明MaxCompute對接Tablestore的一些概念和實現。

DROP TABLE IF EXISTS ots_table_external;
CREATE EXTERNAL TABLE IF NOT EXISTS ots_table_external
(
odps_orderkey bigint,
odps_orderdate string,
odps_custkey bigint,
odps_orderstatus string,
odps_totalprice double,
odps_createdate timestamp
)
STORED BY 'com.aliyun.odps.TableStoreStorageHandler'
WITH SERDEPROPERTIES (
'tablestore.columns.mapping'=':o_orderkey,:o_orderdate,o_custkey,o_orderstatus,o_totalprice',
'tablestore.table.name'='ots_tpch_orders',
'odps.properties.rolearn'='acs:ram::xxxxx:role/aliyunodpsdefaultrole',
'tablestore.read.mode'='permissive',
'tablestore.corrupt.column'='ColumnName',
'tablestore.timestamp.ticks.unit'='seconds',
'tablestore.column.odps_createdate.timestamp.ticks.unit'='millis',
'tablestore.table.put.row'='true'
)
LOCATION 'tablestore://odps-ots-dev.cn-shanghai.ots-internal.aliyuncs.com';

set odps.sql.unstructured.tablestore.put.row=true;

desc extended <table_name>;

查詢外部表

SELECT odps_orderkey, odps_orderdate, SUM(odps_totalprice) AS sum_total
FROM ots_table_external
WHERE odps_orderkey > 5000 AND odps_orderkey < 7000 AND odps_orderdate >= '1996-05-03' AND odps_orderdate < '1997-05-01'
GROUP BY odps_orderkey, odps_orderdate
HAVING sum_total> 400000.0;

使用常見的MaxCompute SQL語句訪問Tablestore時，所有的操作細節（例如列名的選擇）是在MaxCompute內部處理完成的。上述SQL示例中，使用的列名是odps_orderkey、odps_totalprice等，而不是原始Tablestore中的主鍵名o_orderkey或屬性列名o_totalprice。這是因為在創建外部表的DDL語句中，已經完成了對應的Mapping。您也可以在創建外部表時，按需選擇保留原始的Tablestore主鍵/列名。

CREATE TABLE internal_orders AS
SELECT odps_orderkey, odps_orderdate, odps_custkey, odps_totalprice
FROM ots_table_external
WHERE odps_orderkey > 5000 ;

現在internal_orders就是一個MaxCompute表了，也擁有所有MaxCompute內部表的特性，包括高效的壓縮列存儲數據格式、完整的內部宏數據以及統計信息等。同時因為表存儲在MaxCompute內部，所以訪問速度會比訪問外部的Tablestore更快。這種方法非常適用于需要進行多次計算的熱點數據。

MaxCompute導出數據到Tablestore

INSERT OVERWRITE TABLE ots_table_external
SELECT odps_orderkey, odps_orderdate, odps_custkey, CONCAT(odps_custkey, 'SHIPPED'), CEIL(odps_totalprice)
FROM internal_orders;

INSERT OVERWRITE TABLE ots_table_external
SELECT odps_orderkey, odps_orderdate, odps_custkey, CONCAT(odps_custkey, 'SHIPPED'), CEIL(odps_totalprice)
FROM (SELECT * FROM internal_orders DISTRIBUTE BY rand()) t;

對于Tablestore這種KV數據的NoSQL存儲介質，MaxCompute的輸出將只影響相對應主鍵所在的行，例如示例中只影響所有odps_orderkey + odps_orderdate這兩個主鍵值對應行上的數據。而且在這些Tablestore行上，也只會更新在創建外部表（ots_table_external）時指定的屬性列，而不會修改未在外部表中出現的數據列。

更多詳情請參見MaxCompute訪問TableStore（OTS）數據。

臟數據處理示例

1. 準備Tablestore表mf_ots_test和數據。具體操作，請參見通過控制臺使用寬表模型。

   默認Tablestore的表格數據如下所示。

   +----+------+------+
   | id | name | desc |
   +----+------+------+
   | 1  | 張三 | 張三的描述 |
   +----+------+------+

2. 創建MaxCompute外部表。

   CREATE EXTERNAL TABLE IF NOT EXISTS mf_ots_external_permi
   (
    id string,
   	name bigint,
   	desc string,
   	corrupt_col string
   )
   STORED BY 'com.aliyun.odps.TableStoreStorageHandler'
   WITH SERDEPROPERTIES (
   'tablestore.columns.mapping'=':id,name,desc',
   'tablestore.table.name'='mf_ots_test',
   'tablestore.read.mode'='permissive',
   'tablestore.corrupt.column'='corrupt_col',
   'odps.properties.rolearn'='acs:ram::139699392458****:role/aliyunodpsdefaultrole'
   )
   LOCATION 'tablestore://santie-doc.cn-shanghai.ots-internal.aliyuncs.com';

3. 執行以下代碼，查詢MaxCompute外部表數據。

   ---查詢數據
   select * from mf_ots_external_permi;

   返回結果如下，錯誤字段會以JSON格式寫入至corrupt_col列中。

   --
   +------------+------------+------------+-------------+
   | id         | name       | desc       | corrupt_col |
   +------------+------------+------------+-------------+
   | 1          | NULL       | 張三的描述      | {"name": "\"張三\""} |
   +------------+------------+------------+-------------+

   說明

   若tablestore.read.mode未配置或配置為permissive，但未配置tablestore.corrupt.column指定臟數據存入列，查詢外表時會報錯“Columns not match with columns mapping and corrupt column”。