配置HDFS數據源

前提條件

• 自建Hadoop集群或具有Hadoop-Common、HDFS和YARN服務的E-MapReduce集群需與AnalyticDB PostgreSQL版實例在同一VPC。

• 已將AnalyticDB PostgreSQL版實例的專有網絡交換機IP添加至Hadoop集群所在的安全組。為確保AnalyticDB PostgreSQL版與Hadoop間的網絡端口暢通，需將以下異構數據源訪問功能會用到的Hadoop服務默認的端口全部加入安全組。具體操作，請參見添加安全組規則。

  服務	端口號
  Namenode IPC	Hadoop2.x版本：8020 Hadoop3.x版本：9820 E-MapReduce集群：9000 具體端口號請參見配置文件hdfs-site.xml -> dfs.namenode.rpc-address中的端口號。
  DataNode IPC	Hadoop2.x版本：50020 Hadoop3.x版本：9867 具體端口號請參見配置文件hdfs-site.xml -> dfs.datanode.ipc.address中的端口號。
  DataNode	Hadoop2.x版本：50010 Hadoop3.x版本：9866 具體端口號請參見配置文件hdfs-site.xml -> dfs.datanode.address中的端口號。
  Hive metastore	9083 具體端口號請參見配置文件hive-site.xml -> hive.metastore.uris中的端口號。
  Hive HiveServer	10000 具體端口號請參見配置文件hive-site.xml -> hive.server2.thrift.port中的端口號。
  Zookeeper	2181 具體端口號請參見配置文件zoo.cfg -> clientPort=xxxx中的端口號。
  Kerberos Server	88（傳輸加密和認證） 和749（kadmin） 具體端口號請參見配置文kdc.conf -> kdc_ports和kdc.conf -> kadmind_port中的端口號。
  JDBC（MySQL或PostgreSQL）	3306、1521、5432等
  ICMP協議	用于網絡連通性校驗，在安全組規則的入方向與出方向放行ICMP協議。

  說明

  AnalyticDB PostgreSQL版實例的專有網絡交換機IP可在外部數據源管理頁面獲取。

準備測試數據集

準備測試數據集，并執行hadoop fs -put <本地文件名稱> <文件保存在Hadoop集群的路徑>命令將數據集保存在Hadoop集群路徑。

例如，將本地文件/home/user/file.txt上傳到HDFS的/tmp目錄下，執行hadoop fs -put /home/user/file.txt /tmp/file.tx即可。測試數據集內容如下：

1,test1,1,100
2,test2,2,90

操作步驟

1. 在異構數據源訪問頁簽，單擊新增數據源的下拉菜單，選擇Hadoop數據源。

2. 在新增Hadoop數據源頁面頁面依次配置網絡&安全組、配置文件、初始化。

   1. 配置網絡&安全組。

      參數	說明
      數據源名稱	可包含英文大小寫字母、數字、中劃線（-）、下劃線（_）。 以數字或者英文字母開始和結尾。 長度不超過50字符。
      數據源描述	數據源描述。
      數據源類型	當目標數據源為E-MapReduce集群，選擇阿里云E-MapReduce。 當目標數據源為自建Hadoop集群，選擇自建Hadoop。
      數據庫類型	選擇HDFS。
      數據來源	E-MapReduce集群ID。 說明 自建Hadoop集群無此參數。
      網絡校驗	單擊網絡校驗，提示網絡連通。

   2. 單擊下一步，填寫配置文件。

      參數	說明	獲取方式
      參數配置	無	若目標數據源為E-MapReduce集群，支持自動配置獲取。 若目標數據源為自建Hadoop集群需要自行粘貼配置文件信息。
      hdfs-site.xml	HDFS配置項，如副本因子和塊大小等。	自建Hadoop集群xml文件一般位于以下兩個位置之一： conf目錄：在早期版本的Hadoop中，這些配置文件通常放在Hadoop安裝目錄下的conf子目錄中。 etc/hadoop目錄：在較新版本的Hadoop中，配置文件通常放在 etc/hadoop目錄下。這個目錄位于 Hadoop的主安裝目錄下。
      core-site.xml	Hadoop核心配置項，如I/O設置和文件系統的配置等。
      yarn-site.xml	YARN配置項，負責集群資源管理和作業調度等。
      mapred-site.xml	用于配置MapReduce作業的參數，如作業執行器和任務優化參數等。
      /etc/host文件	解析Hadoop集群中每個節點的主機名到IP。	有以下兩種獲取方式： 方式一：依次登錄Hadoop集群的每臺機器，獲取/etc/hosts文件中的本節點IP和主機名的映射關系并填寫。 方式二：登錄Hadoop namenode所在的機器，運行#!/bin/bash腳本，填寫返回結果。返回結果如下： echo $(hostname -i) $(hostname -f) hdfs dfsadmin -report | awk -F':' '/^Name:/ {printf $2} /^Hostname:/ {print $2}'

   3. 單擊保存，并單擊左下角完成。

      等待3~5分鐘，數據源狀態為運行中時，HDFS數據源可用。

3. 單擊目標數據源操作列的校驗。

4. 在服務配置校驗窗口中，填寫數據集所在Hadoop集群路徑（例如：/tmp/file.txt），并單擊校驗。

   提示配置校驗成功后，您可以繼續操作讀寫HDFS外表。

配置Hive數據源

前提條件

• 自建Hive集群或具有Hadoop-Common、HDFS、Hive和YARN服務的E-MapReduce集群需與AnalyticDB PostgreSQL版實例在同一VPC。

• 已將AnalyticDB PostgreSQL版實例的專有網絡交換機IP添加至Hive集群所在的安全組。具體操作，請參見添加安全組規則。

  說明

  AnalyticDB PostgreSQL版實例的專有網絡交換機IP可在外部數據源管理頁面獲取。

準備測試數據集

準備測試數據集，并執行hadoop fs -put <本地文件名稱> <文件保存在Hadoop集群的路徑>命令將數據集保存在Hadoop集群路徑。

例如，將本地文件/home/user/file.txt上傳到Hive的/tmp目錄下，執行hadoop fs -put /home/user/file.txt /tmp/file.tx即可。測試數據集內容如下：

1,test1,1,100
2,test2,2,90

操作步驟

1. 在異構數據源訪問頁簽，單擊新增數據源的下拉菜單，選擇Hadoop數據源。

2. 在新增Hadoop數據源頁面頁面依次配置網絡&安全組、配置文件、初始化。

   1. 配置網絡&安全組。

      參數	說明
      數據源名稱	可包含英文大小寫字母、數字、中劃線（-）、下劃線（_）。 以數字或者英文字母開始和結尾。 長度不超過50字符。
      數據源描述	數據源描述。
      數據源類型	當目標數據源為E-MapReduce集群，選擇阿里云E-MapReduce。 當目標數據源為自建Hive集群，選擇自建Hadoop。
      數據庫類型	選擇Hive。
      實例名稱	E-MapReduce集群ID。 說明 自建Hive集群無此參數。
      網絡校驗	單擊網絡校驗，提示網絡連通。

   2. 單擊下一步，填寫配置文件。

      參數	說明	獲取方式
      參數配置	無	若目標數據源為E-MapReduce集群，支持自動配置獲取。 若目標數據源為自建Hive集群需要自行粘貼配置文件信息。
      hdfs-site.xml	HDFS配置項，如副本因子和塊大小。	自建Hive集群xml文件一般位于以下兩個位置之一： conf目錄：在標準安裝中，這些配置文件通常放在Hive安裝目錄下的conf子目錄中。 etc/hadoop目錄：在集成了Hadoop和Hive的安裝中，也可能放在Hadoop的配置目錄中，以確保Hive能夠正確地與Hadoop集群進行交互。
      core-site.xml	Hadoop核心配置項，如I/O設置和文件系統的配置等。
      yarn-site.xml	YARN配置項，負責集群資源管理和作業調度等。
      mapred-site.xml	用于配置MapReduce作業的參數，如作業執行器和任務優化參數等。
      hive-site.xml	Hive配置項，如元數據存儲的連接信息、Hive運行時的內存和性能設置等。
      /etc/host文件	解析Hive集群中每個節點的主機名到IP。	有以下兩種獲取方式： 方式一：依次登錄Hive集群的每臺機器，獲取/etc/hosts文件中的本節點IP和主機名的映射關系并填寫。 方式二：登錄Hive namenode所在的機器，運行#!/bin/bash腳本，填寫返回結果。返回結果如下： echo $(hostname -i) $(hostname -f) hive dfsadmin -report | awk -F':' '/^Name:/ {printf $2} /^Hostname:/ {print $2}'

   3. 單擊保存，并單擊左下角完成。

      等待3~5分鐘，數據源狀態為運行中時，Hive數據源可用。

3. 單擊目標數據源操作列的校驗。

4. 在服務配置校驗窗口中，填寫數據集所在Hadoop集群路徑（例如：/tmp/file.txt），并單擊校驗。

   提示配置校驗成功后，您可以繼續操作讀寫Hive外表。

配置JDBC數據源

JDBC數據源指兼容MySQL和PostgreSQL的數據源，如RDS MySQL、RDS PostgreSQL、PolarDB MySQL、PolarDB PostgreSQL等。

本文以配置RDS MySQL數據源為例。

前提條件

• 數據源所在實例（RDS MySQL實例）需與AnalyticDB PostgreSQL版實例在同一VPC。

• 已在RDS MySQL實例中創建數據庫和賬號。具體操作，請參見創建數據庫和賬號。

• 已將AnalyticDB PostgreSQL版實例的專有網絡交換機IP添加至RDS MySQL實例的白名單中。具體操作，請參見設置IP白名單。

  說明

  AnalyticDB PostgreSQL版實例的專有網絡交換機IP可在外部數據源管理頁面獲取。

操作步驟

1. 在異構數據源訪問頁簽，單擊新增數據源的下拉菜單，選擇JDBC數據源。

2. 在新增JDBC數據源頁面頁面配置如下參數。

   參數	說明
   數據源名稱	可包含英文大小寫字母、數字、中劃線（-）、下劃線（_）。 以數字或者英文字母開始和結尾。 長度不超過50字符。
   數據庫類型	選擇MySQL。
   數據源描述	數據源描述。
   JDBC連接串	連接RDS MySQL實例的JDBC連接串，格式如下： jdbc:mysql://<servername>:<port>/<dbName> <servername>:<port>：RDS MySQL實例的連接地址和對應的端口。 若通過內網連接，需輸入RDS MySQL實例的內網地址和內網端口。 若使用外網連接，需輸入RDS MySQL實例的外網地址和外網端口。 您可以在RDS MySQL實例的數據庫連接頁面查看。 更多信息，請參見查看或修改連接地址和端口。 <dbName>：RDS MySQL實例的數據庫。
   用戶名	RDS MySQL實例的賬號。
   登錄密碼	賬號對應的密碼。

3. 單擊測試連接，提示網絡連通后，單擊左下角確定。

   如果網絡不通，請檢查JDBC連接串地址填寫是否正確。

   等待3~5分鐘，數據源狀態為運行中時，JDBC數據源可用。您可以繼續操作讀寫JDBC外表。

HDFS外表

讀寫文本數據

語法

CREATE [WRITABLE | READABLE] EXTERNAL TABLE <table_name>
    ( <column_name> <data_type> [, ...] | LIKE <other_table> )
LOCATION ('pxf://<path-to-hdfs-dir>
    ?PROFILE=hdfs:text[&SERVER=<server_name>][&<custom-option>=<value>[...]]')
FORMAT '[TEXT|CSV]' (delimiter[=|<space>][E]'<delim_value>');
[DISTRIBUTED BY (<column_name> [, ... ] ) | DISTRIBUTED RANDOMLY];

參數

示例

• 示例一：創建一個可寫外表，在建表語句中指定好HDFS協議、格式及路徑，并向表中寫入數據。

  CREATE WRITABLE EXTERNAL TABLE pxf_hdfs_writable_table
  ( 
  a int,
  b int,
  c int
  )
  LOCATION ('pxf://data/demo/pxf_hdfs_demo_table?PROFILE=hdfs:text&SERVER=test2')
  FORMAT 'TEXT' (delimiter='|');
  
  INSERT INTO pxf_hdfs_writable_table 
  SELECT generate_series(1, 9000), generate_series(1, 9000), generate_series(1, 9000);

• 示例二：創建一個可讀外表，在建表語句中指定好HDFS協議、格式及路徑，并查詢外表數據。

  CREATE READABLE EXTERNAL TABLE pxf_hdfs_readable_table
  ( 
  a int,
  b int,
  c int
  )
  LOCATION ('pxf://data/demo/pxf_hdfs_demo_table?PROFILE=hdfs:text&SERVER=test2')
  FORMAT 'TEXT' (delimiter='|');
  
  SELECT * FROM pxf_hdfs_readable_table order by 1;

讀寫Parquet數據

語法

CREATE [WRITABLE |READABLE] EXTERNAL TABLE <table_name>
    ( <column_name> <data_type> [, ...] | LIKE <other_table> )
LOCATION ('pxf://<hdfs_dbName>.<hdfs_tableName>
    ?PROFILE=hdfs:parquet[&SERVER=<server_name>][&<custom-option>=<value>[...]]')
FORMAT 'CUSTOM' (FORMATTER='pxfwritable_import'|'pxfwritable_export');
[DISTRIBUTED BY (<column_name> [, ... ] ) | DISTRIBUTED RANDOMLY];

參數

hdfs:parquet配置文件支持與編碼和壓縮有關的寫入選項，可以在CREATE WRITABLE EXTERNAL TABLE LOCATION子句中指定以下自定義選項：

示例

• 示例一：創建一個可寫外表，并在建表語句中指定好HDFS協議、Parquet格式及路徑，并向表中寫入數據。

  CREATE WRITABLE EXTERNAL TABLE pxf_hdfs_writable_parquet_table
  ( 
  a int,
  b int,
  c int
  )
  LOCATION ('pxf://data/demo/pxf_hdfs_writable_parquet_table?PROFILE=hdfs:parquet&SERVER=test2')
  FORMAT 'CUSTOM' (FORMATTER='pxfwritable_export');
  
  INSERT INTO pxf_hdfs_writable_parquet_table 
  SELECT generate_series(1, 9000), generate_series(1, 9000), generate_series(1, 9000);

• 示例二：創建一個可讀外表，并在建表語句中指定好HDFS協議、Parquet格式及路徑，并查詢表中數據。

  CREATE READABLE EXTERNAL TABLE pxf_hdfs_readable_parquet_table
  ( 
  a int,
  b int,
  c int
  )
  LOCATION ('pxf://data/demo/pxf_hdfs_writable_parquet_table?PROFILE=hdfs:parquet&SERVER=test2')
  FORMAT 'CUSTOM' (FORMATTER='pxfwritable_import');
  
  SELECT * FROM pxf_hdfs_readable_parquet_table;

Hive外表

若需在AnalyticDB PostgreSQL版數據庫中展示Hive數據，請將Hive數據值映射到相同類型的AnalyticDB PostgreSQL版數據庫列。映射關系，請參見附錄4：Hive數據類型與AnalyticDB PostgreSQL數據類型映射關系。

語法

可寫Hive外表與可讀Hive外表支持的功能有差異，請根據需要選擇合適的語法。

• 可寫外表

  由于在新版本中Hive相關數據寫入接口進行了較大變更，與早期版本的底層邏輯不同，可能在使用新版本Hive外表進行創建或寫入數據時報錯，建議使用HDFS方式創建外表進行寫入。語法詳情請參見HDFS外表。

• 可讀外表

  CREATE [READABLE] EXTERNAL TABLE <table_name>
      ( <column_name> <data_type> [, ...] | LIKE <other_table> )
  LOCATION ('pxf://<hive-db-name>.<hive-table-name>
      ?PROFILE=Hive|HiveText|HiveRC|HiveORC|HiveVectorizedORC[&SERVER=<server_name>]'])
  FORMAT 'CUSTOM|TEXT' (FORMATTER='pxfwritable_import' | delimiter='<delim>')

參數

示例

1. 登錄Hive集群，創建Hive表。

   hive> CREATE EXTERNAL TABLE IF NOT EXISTS pxf_hive_demo_table
   (
   a int,
   b int,
   c int
   )
   row format delimited fields terminated by '|'
   stored as textfile
   location '/data/demo/pxf_hdfs_demo_table';

2. 登錄AnalyticDB PostgreSQL版數據庫，創建可寫Hive外表，并向外表插入數據。

   postgres> CREATE WRITABLE EXTERNAL TABLE pxf_hive_writable_table
   ( 
   a int,
   b int,
   c int
   )
   LOCATION ('pxf://default.pxf_hive_demo_table?PROFILE=Hive&SERVER=test2')
   FORMAT 'TEXT' (delimiter='|');
   
   INSERT INTO pxf_hive_writable_table 
   SELECT generate_series(1, 9000), generate_series(1, 9000), generate_series(1, 9000);

3. 創建可讀Hive外表，并查詢外表數據。

   postgres> CREATE EXTERNAL TABLE pxf_hive_readable_table
   ( 
   a int,
   b int,
   c int
   )
   LOCATION ('pxf://default.pxf_hive_demo_table?PROFILE=Hive&SERVER=test2')
   FORMAT 'TEXT' (delimiter='|');
   
   SELECT * FROM pxf_hive_readable_table;

JDBC外表

支持的數據類型

JDBC連接器支持以下數據類型：

• INTEGER，BIGINT，SMALLINT

• REAL，FLOAT8

• NUMERIC

• BOOLEAN

• VARCHAR，BPCHAR，TEXT

• DATE

• TIMESTAMP

• BYTEA

語法

使用以下語法創建外表并使用JDBC連接器讀取或寫入數據，如需訪問遠程SQL數據庫中的數據，可以創建一個引用該遠程數據庫表的可讀或可寫的

外表。

外表、遠程數據庫表和查詢結果元組必須具有相同的列名稱和列類型。

CREATE [READABLE | WRITABLE] EXTERNAL TABLE <table_name>
    ( <column_name> <data_type> [, ...] | LIKE <other_table> )
LOCATION ('pxf://<external_tableName>?PROFILE=Jdbc[&SERVER=<server_name>][&<custom-option>=<value>[...]]')
FORMAT 'CUSTOM' (FORMATTER='pxfwritable_import'|'pxfwritable_export');

參數

JDBC自定義選項

您可以在LOCATION URI中添加JDBC連接器自定義選項，并在每個選項前加上&符號。JDBC支持的custom-option包括：

&PARTITION_BY=id:int&RANGE=1:100&INTERVAL=5
&PARTITION_BY=year:int&RANGE=2011:2013&INTERVAL=1
&PARTITION_BY=createdate:date&RANGE=2013-01-01:2016-01-01&INTERVAL=1:month
&PARTITION_BY=color:enum&RANGE=red:yellow:blue

示例

1. 在MySQL或PostgreSQL數據庫中，創建數據表，并插入數據。

CREATE TABLE test(id int, name VARCHAR(255));
INSERT INTO test(id,name) VALUES(1,'qingzhi');
INSERT INTO test(id,name) VALUES(2,'jianli');

2. 登錄AnalyticDB PostgreSQL版數據庫，創建JDBC外表，并查詢外表數據。

CREATE EXTERNAL TABLE pxf_jdbc_textsimple(id int, name varchar)
LOCATION ('pxf://$test?PROFILE=Jdbc&SERVER=$test01')
FORMAT 'CUSTOM' (FORMATTER='pxfwritable_import')
ENCODING 'UTF8';
SELECT * FROM pxf_jdbc_textsimple;