為了快速實(shí)現(xiàn)自建Elasticsearch集群遷移上云、集群索引重建（reindex）和跨集群數(shù)據(jù)遷移，阿里云Elasticsearch提供了一鍵索引遷移功能。本文介紹一鍵索引遷移功能的應(yīng)用場景及使用方法。

前提條件

已創(chuàng)建滿足條件的源和目標(biāo)端Elasticsearch集群：
  • 源端為6.7.0版本的自建或阿里云Elasticsearch集群。
  • 目標(biāo)端為6.3.2或6.7.0版本的阿里云Elasticsearch集群。
創(chuàng)建阿里云Elasticsearch集群的具體操作，請參見創(chuàng)建阿里云Elasticsearch實(shí)例。
重要 如果您需要進(jìn)行跨賬號(hào)遷移，那么在創(chuàng)建阿里云Elasticsearch集群時(shí)，源端和目標(biāo)端必須在同一專有網(wǎng)絡(luò)下。

使用限制

阿里云Elasticsearch集群需要滿足以下條件，才會(huì)顯示一鍵索引遷移功能入口：
  • 版本：6.3.2或6.7.0版本
  • 地域：華北2（北京）地域
  • 集群創(chuàng)建時(shí)間：2023年2月15日之前創(chuàng)建的集群
重要 一鍵索引遷移功能即將進(jìn)入升級維護(hù)狀態(tài)，產(chǎn)品將關(guān)閉該功能入口。待升級完成后，會(huì)通過產(chǎn)品動(dòng)態(tài)告知，請耐心等待。目前推薦您使用快照、reindex、Logstash等方式進(jìn)行集群遷移數(shù)據(jù)，詳細(xì)信息請參見遷移方案選取指南。

應(yīng)用場景

  • 同集群索引重建（reindex）。支持修改索引的主分片數(shù)量和Mapping。
  • 阿里云Elasticsearch集群間，批量或單個(gè)索引遷移。
  • 自建Elasticsearch集群與阿里云Elasticsearch集群間，批量或單個(gè)索引遷移。

操作步驟

  1. 登錄阿里云Elasticsearch控制臺(tái)。
  2. 在左側(cè)導(dǎo)航欄，單擊Elasticsearch實(shí)例。
  3. 進(jìn)入目標(biāo)實(shí)例。
    1. 在頂部菜單欄處，選擇資源組和地域。
    2. 在Elasticsearch實(shí)例中單擊目標(biāo)實(shí)例ID。
  4. 在基本信息頁面，選擇右上角的一鍵索引遷移 > 創(chuàng)建遷移任務(wù)。
    阿里云Elasticsearch集群需要滿足以下條件，才會(huì)顯示一鍵索引遷移功能入口：
    • 版本：6.3.2或6.7.0版本
    • 地域：華北2（北京）地域
  5. 在一鍵索引遷移頁面，選擇源和目標(biāo)Elasticsearch集群。
    選擇源和目標(biāo)端集群
    所選遷移方式不同，源端集群的要求不同，具體如下。
    說明 目標(biāo)端集群為當(dāng)前集群，集群ID和版本（僅支持6.3.2和6.7.0）不可變更，僅需填入用戶名和密碼。在配置時(shí)，需要重點(diǎn)關(guān)注源端。
    • 從現(xiàn)有阿里云Elasticsearch集群遷移
      參數(shù)說明
      選擇源集群選擇與目標(biāo)端集群在同一專有網(wǎng)絡(luò)下的阿里云Elasticsearch實(shí)例的ID。
      源集群版本僅支持6.7.0版本。
      用戶名阿里云Elasticsearch的用戶名，默認(rèn)為elastic。
      密碼elastic用戶的密碼。一般在創(chuàng)建實(shí)例時(shí)設(shè)定，如果忘記可重置，詳情請參見重置實(shí)例訪問密碼。
    • 從自建Elasticsearch集群遷移

      集群類型不同，需要配置的參數(shù)不同。當(dāng)集群類型為專有網(wǎng)絡(luò)下的自建集群時(shí)，源端集群需要選擇與目標(biāo)端集群在同一地域中，任意專有網(wǎng)絡(luò)下的自建或阿里云Elasticsearch集群（僅支持6.7.0版本）；當(dāng)集群類型為開啟公網(wǎng)訪問的自建集群時(shí)，源端集群需要選擇任意公網(wǎng)網(wǎng)絡(luò)下的自建或阿里云Elasticsearch集群（僅支持6.7.0版本）。詳細(xì)參數(shù)說明如下。

      集群類型參數(shù)說明
      專有網(wǎng)絡(luò)下的自建集群所在區(qū)域集群所在地域，需要與目標(biāo)端實(shí)例保持一致。
      專有網(wǎng)絡(luò)集群所在的專有網(wǎng)絡(luò)ID。不需要與目標(biāo)端實(shí)例保持一致。
      源集群訪問IP專有網(wǎng)絡(luò)下，集群中任一節(jié)點(diǎn)的IP地址，例如192.168.xx.xx。
      端口集群的訪問端口，例如9200。
      用戶名（選填）如果自建Elasticsearch集群開啟了用戶登錄認(rèn)證，則需要輸入用戶名和密碼。
      密碼（選填）對應(yīng)用戶的密碼。
      開啟公網(wǎng)訪問的自建集群源集群公網(wǎng)訪問地址集群的公網(wǎng)訪問地址，例如http://10.37.xx.xx:9200。如果為阿里云Elasticsearch集群，需要配置為http://<集群的外網(wǎng)地址>:9200。
      用戶名（選填）如果自建Elasticsearch集群開啟了用戶登錄認(rèn)證，則需要輸入用戶名和密碼。
      密碼（選填）對應(yīng)用戶的密碼。
    選擇了源端和目標(biāo)端集群后，您可以進(jìn)行連通性測試。如果不通過，可以從以下幾方面排查：
    • 如果源端是阿里云ECS上自建的Elasticsearch集群，需要檢查阿里云ECS實(shí)例的安全組是否對外開放9200端口。如果沒有開放，請參見添加安全組規(guī)則，開放9200端口。
    • 檢查源端和目標(biāo)端集群的白名單是否有限制。如果有限制，請取消限制或修改白名單配置。具體操作，請參見配置實(shí)例公網(wǎng)或私網(wǎng)訪問白名單。
    • 阿里云Elasticsearch的用戶名默認(rèn)為elastic，請檢查用戶名和密碼是否配置正確。
      重要 如果自建Elasticsearch集群開啟了用戶登錄認(rèn)證（即用戶必須通過用戶名和密碼認(rèn)證，才被允許訪問集群。無論是通過Kibana、客戶端還是API等方式訪問集群，都需要經(jīng)過認(rèn)證），則需要輸入用戶名和密碼，否則可能導(dǎo)致遷移任務(wù)失敗。
  6. 單擊下一步，配置索引遷移任務(wù)。
    配置索引遷移任務(wù)
    參數(shù)說明
    選擇源索引和Type選擇待遷移的索引和索引類型。
    創(chuàng)建目標(biāo)索引和Type填入目標(biāo)索引的名稱和類型。請確保目標(biāo)集群中不存在同名索引。
    自定義Routing支持自定義路由字段。不填時(shí)，_routing默認(rèn)使用主鍵字段。
    Mapping配置默認(rèn)讀取源索引的Mapping配置。可自定義修改索引類型、屬性的名稱和類型等。
    重要 如果您修改了目標(biāo)索引類型，需要在Mapping中同步修改，否則會(huì)報(bào)錯(cuò)SinkTypenameNotMatchMappings。
    Settings配置默認(rèn)讀取源索引的Settings配置。可自定義修改索引的主分片和副本分片數(shù)等。
    說明 您也可以單擊頁面底部的添加索引遷移任務(wù)，添加多個(gè)索引遷移任務(wù)。添加后，可單擊刪除，刪除對應(yīng)的索引遷移任務(wù)。
  7. 單擊提交。
  8. 查看索引遷移任務(wù)的詳細(xì)信息。
    1. 在基本信息頁面，選擇一鍵索引遷移 > 查看任務(wù)。
    2. 在索引構(gòu)建任務(wù)列表對話框中，查看遷移任務(wù)的執(zhí)行狀態(tài)、進(jìn)度、日志等。
      索引構(gòu)建任務(wù)列表中，展示所有已完成和正在進(jìn)行中的任務(wù)的詳細(xì)信息。可單擊查看日志查看任務(wù)的詳細(xì)日志。查看遷移任務(wù)信息