免責聲明

功能介紹

前提條件

地域支持情況

訪問公網方案

通過項目管理編輯外部網絡地址

提交申請

SQL自定義函數（UDF）任務

• 參數設置如下：

  --設置網絡連接申請表單中配置的公網IP或域名、端口。即下方SQL語句要訪問的公網IP或域名。
  --如果需要訪問多個域名或端口，請使用英文逗號（,）分隔
  set odps.internet.access.list=<ip_address:port|realm_name:port>;
  --執行SQL語句調用UDF。
  select <UDF_name>("<http://ip_address|realm_name>");

• ip_address:port | realm_name:port：必填。目標公網IP或域名、端口。

• UDF_name：訪問公網IP或域名的UDF。

• 任務示例代碼如下：

  package com.aliyun.odps.test.udf;
  import com.aliyun.odps.udf.UDF;
  import java.io.BufferedReader;
  import java.io.IOException;
  import java.io.InputStreamReader;
  import java.net.URL;
  public class <UDF_name> extends UDF {
      public String evaluate(String urlStr) throws IOException {
          URL url = new URL(urlStr);
          StringBuilder sb = new StringBuilder();
          try (BufferedReader reader = new BufferedReader(new InputStreamReader(url.openStream()))) {
              String line;
              while ((line = reader.readLine()) != null) {
                  sb.append(line).append('\n');
              }
          }
          return sb.toString();
      }
  }

• 執行：基于UDF示例代碼創建的自定義函數名稱為url_fetch，網絡連接審核通過后，執行命令示例如下。

  set odps.internet.access.list=www.aliyun.com:80;
  select url_fetch("http://www.aliyun.com");

Spark on MaxCompute任務

spark.hadoop.odps.cupid.smartnat.enable = true;
spark.hadoop.odps.cupid.internet.access.list=<ip_address:port>

白名單

如果用戶服務端有訪問控制，需要將MaxCompute訪問公網方案的出口IP添加到用戶服務白名單，出口IP請提交工單申請獲取。

訪問VPC方案（專線直連）

1. 開通專線網絡連接

   操作流程

   1. 授權操作：

      • 需要針對登錄用戶授予能夠創建網絡連接對象Networklink（詳情請參見Networklink），授權的用戶需要是項目所有者（Project Owner），以及具備租戶級別的Super_Administrator或Admin角色的用戶（詳情請參見角色規劃），授權過程可參見租戶內對象權限一覽表。

      • 對MaxCompute進行授權：授權的目的在于允許MaxCompute在VPC內創建ENI網卡，以實現MaxCompute到用戶VPC的連通。用戶只要在阿里云賬號登錄態下單擊授權即可。

        說明

        MaxCompute訪問VPC時的計費規則請參考功能計費。

   2. 配置安全組規則：在VPC實例下，創建獨立安全組用于控制MaxCompute對VPC網絡內的各種資源的訪問權限。

      1. 登錄專有網絡管理控制臺，單擊目標VPC實例ID后，單擊資源管理頁簽。

      2. 在資源管理頁簽的專有網絡資源區域，將鼠標懸停至安全組數值上方后，單擊添加（注意：選擇安全組為普通安全組，不是企業安全組。普通安全組的出口是默認開啟的。企業安全組的出口是默認關閉的，會導致無法訪問VPC內的任何服務）為MaxCompute創建獨立安全組并記錄安全組ID。需要選擇與連通服務相同的VPC網絡。更多創建安全組操作，請參見創建安全組。

         • 添加安全組：

         • 配置安全組：

      說明

      MaxCompute在后續的創建網絡通路過程中會默認自動根據帶寬需求創建2個ENI，不收取費用，由MaxCompute創建的ENI將位于這個安全組內。在HBase場景，如果用戶的HBase無法對某個安全組開放網絡權限，您可以將MaxCompute創建的ENI IP添加至白名單即可。由于ENI IP可能會發生變化，推薦您添加VPC實例對應交換機的IP網段至白名單。您可以登錄ECS管理控制臺，在左側導航欄，單擊彈性網卡，獲取ENI IP。

   3. 創建MaxCompute與目標VPC網絡間的網絡連接。

      阿里云賬號（主賬號）或擁有MaxCompute租戶級別的Super_Administrator或Admin角色的RAM子賬號（詳情請參見MaxCompute租戶級別角色），可以在MaxCompute控制臺創建MaxCompute與VPC網絡之間的連接。操作如下：

      1. 登錄MaxCompute控制臺。

      2. 在MaxCompute控制臺的左側導航欄單擊租戶管理 > 網絡連接 > 新增網絡連接。

      3. 在新增網絡連接對話框中，按下表填寫參數后單擊確定。

         參數名稱	說明
         連接名稱	自定義網絡鏈接名稱。格式如下： 字母開頭。 只能包含字母、下劃線（_）和數字。 長度在1-63個字符。
         類型	網絡連接類型。默認為直通鏈接（passthrough）。 說明 直通鏈接對應的即是專有網絡連接方案。
         區域	MaxCompute支持的通過專有網絡連接方案開通網絡連接的地域。詳情請參見開通地域。
         已選擇VPC	VPC實例ID。 獲取方式如下： 連接HBase、Hadoop集群時：您可以在對應控制臺的網絡連接信息處獲取該信息。 其他情況：登錄專有網絡管理控制臺，在專有網絡頁面即可獲取VPC ID。
         交換機	VPC網絡綁定的交換機ID。 獲取方式如下： 連接HBase、Hadoop集群時：您可以在對應控制臺的網絡連接信息處獲取該信息。 其他情況：登錄專有網絡管理控制臺，在左側導航欄單擊交換機，即可在右側通過VPC實例ID獲取到交換機ID。
         安全組	步驟【開通專線網絡連接】中記錄的安全組ID。

   4. 配置目標服務的安全組。

      在完成ENI專線開通后，用戶還需要在待訪問的服務中增加相關安全規則，授權代表MaxCompute的安全組，即就上述第二步中提供的安全組能訪問哪些服務的具體端口。例如9200、31000等。例如，用戶需要訪問阿里云RDS，則需要在RDS中增加規則，允許第二步中創建的安全組訪問。如果用戶需要訪問的服務無法添加安全組，只能添加IP，那么需要將目標服務所在vSwitch網段都添加進來。

      • 配置Hadoop集群安全組。

        • 為Hadoop集群的安全組配置如下信息，確保MaxCompute可以訪問Hadoop集群。安全組配置內容如下：

          • 配置Hadoop集群所在安全組的入方向訪問規則。

          • 授權對象為ENI所在的安全組，即步驟2中創建的安全組。

          • HiveMetaStore端口：9083。

          • HDFS NameNode端口：8020。

          • HDFS DataNode端口：50010。

        • 例如，當您連接在阿里云E-MapReduce上創建的Hadoop集群時，您需要配置的安全組規則如下圖所示。更多配置操作，請參見創建安全組。

      • 配置HBase集群安全組。

        • 將為MaxCompute創建的安全組或ENI IP加入HBase集群的安全組或IP白名單中。

        • 例如，當您連接阿里云HBase集群時，可以登錄HBase管理控制臺，在集群列表頁面單擊目標集群名稱后，在左側導航欄單擊訪問控制，即可在安全組或白名單設置頁簽添加安全組或IP白名單。更多添加安全組或IP白名單操作，請參見設置白名單和安全組。

          說明

          如果不允許添加安全組，您可以在白名單設置頁簽添加MaxCompute創建的ENI IP。當MaxCompute配置變更時，ENI IP可能會發生變化，推薦您添加交換機ID的IP網段添加至白名單。

      • 配置RDS安全組。

        • 將為MaxCompute創建的安全組或ENI IP加入RDS安全組或IP白名單中。

        • 例如，當您連接阿里云RDS時，可以登錄RDS管理控制臺，在實例列表頁面單擊目標實例名稱后，在左側導航欄單擊白名單與安全組，即可在安全組或白名單設置頁簽添加安全組或IP白名單。更多添加安全組或IP白名單設置操作，請參見設置安全組或設置IP白名單。

        說明

        當MaxCompute配置變更時，ENI IP可能會發生變化，推薦您將交換機ID的IP網段添加至白名單。

2. SQL任務

   添加配置項

   • UDF訪問VPC網絡（詳情請參見：通過UDF訪問VPC網絡資源）。代碼如下：

     --設置網絡連接名稱，即基于專有網絡連接方案配置的網連接名稱，僅本Session有效：
     set odps.session.networklink=testLink;

   • 外部表訪問VPC網絡（詳情請參見：RDS外部表、HBase外部表、Lindorm外部表）。代碼如下：

     -- 在建表語句中設置參數
      TBLPROPERTIES(
     'networklink'='<networklink_name>')

   • 湖倉一體配置Networklink（詳情請參見：MaxCompute湖倉一體概述）。

3. Spark on MaxCompute 任務

   • 完成上述【開通專線網絡連接】操作后，可添加以下配置。

   • 運行Spark作業，需要增加如下配置，即可使用ENI專線連通目標VPC內的服務（詳情請參見：Spark訪問VPC實例）。

     • spark.hadoop.odps.cupid.eni.enable = true

     • spark.hadoop.odps.cupid.eni.info=regionid:vpc id

4. 白名單

   如果用戶服務端有訪問控制，需要將創建專線網絡連接的安全組添加進服務端白名單。

訪問部分阿里云服務

適用于通過MaxCompute SQL、UDF、Spark 、MR、PyODPS/Mars、外部表或基于湖倉一體架構訪阿里云OSS、DLF、OTS（Tablestore）、Hologres等服務的場景，連接使用阿里云內部服務提供的經典網絡地址。

通過外部表訪問OSS、OTS

通過UDF訪問OSS、OTS