背景信息

公網(wǎng)NAT網(wǎng)關(guān)可以提供公網(wǎng)地址轉(zhuǎn)換功能，您可以為專有網(wǎng)絡(luò)VPC創(chuàng)建公網(wǎng)NAT網(wǎng)關(guān)服務(wù)，使VPC（Virtual Private Cloud）內(nèi)的實例能夠訪問互聯(lián)網(wǎng)和提供互聯(lián)網(wǎng)訪問服務(wù)，更多信息請參見什么是公網(wǎng)NAT網(wǎng)關(guān)。

注意事項

若自建數(shù)據(jù)庫或其他云廠商數(shù)據(jù)服務(wù)存在網(wǎng)絡(luò)安全設(shè)置（例如防火墻、IP白名單等），您需要手動將SNAT條目的公網(wǎng)IP地址添加到網(wǎng)絡(luò)安全設(shè)置中，或者將交換機IP網(wǎng)段添加至網(wǎng)絡(luò)安全設(shè)置中，Spark應(yīng)用才能成功訪問數(shù)據(jù)源。

操作步驟

1. 創(chuàng)建公網(wǎng)NAT網(wǎng)關(guān)，具體操作請參見創(chuàng)建公網(wǎng)NAT網(wǎng)關(guān)。

   公網(wǎng)NAT網(wǎng)關(guān)需要與AnalyticDB for MySQL實例為同一個地域。

2. 綁定彈性公網(wǎng)IP（EIP），具體操作請參見綁定EIP。

3. 創(chuàng)建SNAT條目，具體操作請參見創(chuàng)建SNAT條目。

   推薦按交換機粒度創(chuàng)建SNAT條目，指定任意交換機即可。

4. 在Spark應(yīng)用中，配置下述關(guān)鍵參數(shù)，示例如下。

   {
       "comments": ["-- Here is just an example of SparkPi. Modify the content and run your spark program."],
       "args": ["1000"],
       "file": "local:///tmp/spark-examples.jar",
       "name": "SparkPi",
       "className": "org.apache.spark.examples.SparkPi",
       "conf": {
           "spark.driver.resourceSpec": "small",
           "spark.executor.instances": 1,
           "spark.executor.resourceSpec": "small",
           "spark.adb.eni.enabled": "true",
           "spark.adb.eni.vswitchId": "vsw-bp1ghmwrkeaw3xvnd****",
           "spark.adb.eni.securityGroupId": "sg-bp1airvjxl5vpr2****"	
       }
   }

   關(guān)鍵參數(shù)說明：

   關(guān)鍵參數(shù)	說明
   spark.adb.eni.enabled	通過外表訪問其他外部數(shù)據(jù)源，開啟ENI訪問開關(guān)，需配置為true。
   spark.adb.eni.vswitchId	彈性網(wǎng)卡的交換機ID，需配置為SNAT條目中指定的交換機ID。
   spark.adb.eni.securityGroupId	彈性網(wǎng)卡的安全組ID，需配置公網(wǎng)NAT網(wǎng)關(guān)所屬VPC中的安全組ID。

   更多關(guān)于Spark應(yīng)用的信息，請參見Spark應(yīng)用開發(fā)介紹。