操作步驟

1. 在Elasticsearch上創(chuàng)建源表。詳情請(qǐng)參見(jiàn)通過(guò)DataWorks將MaxCompute數(shù)據(jù)同步至Elasticsearch。

2. 在MaxCompute上創(chuàng)建目標(biāo)表。

   1. 登錄DataWorks控制臺(tái)，單擊左側(cè)導(dǎo)航欄的數(shù)據(jù)建模與開(kāi)發(fā) > 數(shù)據(jù)開(kāi)發(fā)，在下拉框中選擇對(duì)應(yīng)工作空間后單擊進(jìn)入數(shù)據(jù)開(kāi)發(fā)。

   2. 在數(shù)據(jù)開(kāi)發(fā)頁(yè)面，右鍵單擊目標(biāo)工作流程，選擇新建表 > MaxCompute > 表。

   3. 在彈出的新建表對(duì)話框中，填寫名稱，并單擊新建。

      說(shuō)明

      如果綁定多個(gè)實(shí)例，則需要選擇MaxCompute引擎實(shí)例。

   4. 在表的編輯頁(yè)面，單擊DDL。

   5. 在DDL對(duì)話框，輸入如下建表語(yǔ)句，單擊生成表結(jié)構(gòu)。

      create table elastic2mc_bankdata 
      (
      age             string,
      job             string,
      marital         string,
      education       string,
      default         string,
      housing         string,
      loan            string,
      contact         string,
      month           string,
      day of week     string
      );

   6. 單擊提交到生產(chǎn)環(huán)境。

3. 同步數(shù)據(jù)。

   1. 進(jìn)入數(shù)據(jù)開(kāi)發(fā)頁(yè)面，右鍵單擊指定業(yè)務(wù)流程，選擇新建節(jié)點(diǎn) > 數(shù)據(jù)集成 > 離線同步。

   2. 在新建節(jié)點(diǎn)對(duì)話框中，輸入名稱，并單擊確認(rèn)。

   3. 在頂部菜單欄上，單擊圖標(biāo)。

   4. 在腳本模式下，單擊頂部菜單欄上的圖標(biāo)。

   5. 在導(dǎo)入模板對(duì)話框中選擇來(lái)源類型、數(shù)據(jù)源、目標(biāo)類型及數(shù)據(jù)源，并單擊確定。

   6. 配置腳本。

      示例代碼如下。代碼釋義請(qǐng)參見(jiàn)Elasticsearch Reader。

      {
       "type": "job",
       "steps": [
       {
       "stepType": "elasticsearch",
       "parameter": {
       "retryCount": 3,
       "column": [
       "age",
       "job",
       "marital",
       "education",
       "default",
       "housing",
       "loan",
       "contact",
       "month",
       "day_of_week",
       "duration",
       "campaign",
       "pdays",
       "previous",
       "poutcome",
       "emp_var_rate",
       "cons_price_idx",
       "cons_conf_idx",
       "euribor3m",
       "nr_employed",
       "y"
       ],
       "scroll": "1m",
       "index": "es_index",
       "pageSize": 1,
       "sort": {
       "age": "asc"
      },
       "type": "elasticsearch",
       "connTimeOut": 1000,
       "retrySleepTime": 1000,
       "endpoint": "http://es-cn-xxxx.xxxx.xxxx.xxxx.com:9200",
       "password": "xxxx",
       "search": {
       "match_all": {}
       },
       "readTimeOut": 5000,
       "username": "xxxx"
       },
       "name": "Reader",
       "category": "reader"
       },
       {
       "stepType": "odps",
       "parameter": {
       "partition": "",
       "truncate": true,
       "compress": false,
       "datasource": "odps_first",
       "column": [
       "age",
       "job",
       "marital",
       "education",
       "default",
       "housing",
       "loan",
       "contact",
       "month",
       "day_of_week",
       "duration",
       "campaign",
       "pdays",
       "previous",
       "poutcome",
       "emp_var_rate",
       "cons_price_idx",
       "cons_conf_idx",
       "euribor3m",
       "nr_employed",
       "y"
       ],
       "emptyAsNull": false,
       "table": "elastic2mc_bankdata"
       },
       "name": "Writer",
       "category": "writer"
       }
       ],
       "version": "2.0",
       "order": {
       "hops": [
       {
       "from": "Reader",
       "to": "Writer"
       }
       ]
       },
       "setting": {
       "errorLimit": {
       "record": "0"
       },
       "speed": {
       "throttle": false,
       "concurrent": 1,
       "dmu": 1
       }
       }
      }

      說(shuō)明

      您可以在創(chuàng)建的阿里云Elasticsearch集群的基本信息中，查看公網(wǎng)地址和公網(wǎng)端口信息。

   7. 單擊圖標(biāo)運(yùn)行代碼。

   8. 您可以在運(yùn)行日志查看運(yùn)行結(jié)果。

4. 查看結(jié)果。

   1. 右鍵單擊業(yè)務(wù)流程，選擇新建節(jié)點(diǎn) > MaxCompute > ODPS SQL。

   2. 在新建節(jié)點(diǎn)對(duì)話框中輸入節(jié)點(diǎn)名稱，并單擊確認(rèn)。

   3. 在ODPS SQL節(jié)點(diǎn)編輯頁(yè)面輸入如下語(yǔ)句。

      SELECT * FROM elastic2mc_bankdata;

   4. 單擊圖標(biāo)運(yùn)行代碼。

   5. 您可以在運(yùn)行日志查看運(yùn)行結(jié)果。