操作步驟

您可以使用PyODPS與MaxCompute或Designer中的數(shù)據(jù)進(jìn)行通信。PyODPS是阿里云提供的Python SDK，詳情請參見PyODPS開發(fā)文檔。

1. 安裝PyODPS。

   在DSW的Terminal中，執(zhí)行如下命令。

   pip install pyodps

2. 執(zhí)行如下命令檢查安裝是否成功。若無返回值和報(bào)錯(cuò)信息表示安裝成功。

   python -c "from odps import ODPS"

3. 如果您使用的Python不是系統(tǒng)默認(rèn)的Python版本，安裝完P(guān)IP后，您可以執(zhí)行如下命令進(jìn)行Python版本切換。

   /home/tops/bin/python3.7 -m pip install setuptools>=3.0
   #/home/tops/bin/python3.7為安裝的python路徑

4. 通過SQL讀取MaxCompute數(shù)據(jù)。

   import numpy as np
   import pandas as pd
   import os
   
   from odps import ODPS
   from odps.df import DataFrame
   # 建立鏈接。
   o = ODPS(
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_ID'),
       os.getenv('ALIBABA_CLOUD_ACCESS_KEY_SECRET'),
       project='your-default-project',
       endpoint='your-end-point',
   )
   
   # 讀取數(shù)據(jù)。
   sql = '''
   SELECT  
       *
   FROM
       your-default-project.<table>
   LIMIT 100
   ;
   '''
   query_job = o.execute_sql(sql)
   result = query_job.open_reader(tunnel=True)
   df = result.to_pandas(n_process=1) #n_process配置可參考機(jī)器配置，取值大于1時(shí)可以開啟多線程加速。

   其中：

   • ALIBABA_CLOUD_ACCESS_KEY_ID和ALIBABA_CLOUD_ACCESS_KEY_SECRET：需將該環(huán)境變量設(shè)置為您的阿里云賬號的AccessKey ID和 AccessKey Secret。

     說明

     不建議直接使用AccessKey ID和 AccessKey Secret字符串。

   • your-default-project和your-end-point：需替換為您設(shè)置的默認(rèn)項(xiàng)目名稱與Endpoint信息，各地域的Endpoint請參見Endpoint。

   關(guān)于如何使用PyODPS對MaxCompute表進(jìn)行其他操作（例如寫入數(shù)據(jù)），詳情請參見表。

相關(guān)文檔