遷移方案

適用場景

使用限制

場景示例

OSS快照

• 源端數據量較大（GB、TB、PB級別）的場景。

• 同賬號或跨賬號下，同地域或跨地域快照數據遷移的場景。

  說明

  對于跨地域的數據遷移場景，可以通過Elasticsearch的快照備份與恢復命令結合OSS的跨區域復制概述功能實現。

• 通過OSS快照方式遷移增量數據，可能需要停止服務。且在新集群恢復增量數據時，需要關閉索引。

• 使用阿里云Elasticsearch的跨集群OSS倉庫設置功能，對源端和目標端實例有以下限制：

  • 相同地域。

  • 歸屬于相同賬號，即源和目標實例在同一阿里云賬號（主賬號）或RAM用戶（子賬號）下。

  • 源端實例的版本低于或等于目標端實例的版本。版本兼容性的詳細信息請參見兼容性說明。

• 使用API跨賬號遷移快照數據時，需要確保源端和目標端使用相同的AccessKey，即添加倉庫時都需要使用Bucket所屬賬號的AccessKey。

• 設置跨集群OSS倉庫（遷移自動快照備份的數據）

• 手動備份與恢復（遷移手動快照備份的數據）

Logstash

• 遷移全量或同步增量數據，對實時性要求不高的場景。

  重要

  對于跨賬號、跨地域的數據遷移場景，由于Elasticsearch和Logstash不在同一專有網絡下，需要配置Logstash的NAT公網數據傳輸，具體實現方案可參見騰訊云Elasticsearch數據遷移至阿里云。

• 僅對查詢結果進行遷移的場景。

• 需對待遷移數據進行過濾的場景。

• 版本跨度較大的數據遷移場景，例如5.x遷移到6.x或7.x。版本兼容性說明請參見產品兼容性。

• 源Elasticsearch、Logstash和目標Elasticsearch實例在同一專有網絡。如果不在同一專有網絡，需要通過配置NAT網關實現與公網的連通，詳細信息請參見配置NAT公網數據傳輸。

• 源Elasticsearch、Logstash和目標Elasticsearch實例版本需滿足兼容性要求，詳細信息請參見產品兼容性。

• 如果需要同步增量數據，需確保源端數據的ID和目標端ID一致，并且需配置schedule定時任務。

• 阿里云Elasticsearch間同步數據

• 基于reindex實現低版本多type數據遷移

reindex

• 源端數據量較小，且對遷移速度要求不高的場景。

• 僅對查詢結果（使用查詢語句在Kibana中查詢出來的結果）進行遷移的場景。

兩個Elasticsearch集群在同一網絡架構下，詳細信息請參見注意事項。

通過reindex遷移數據

elasticsearch-dump工具

數據量較小，索引數量不多的遷移場景。

源Elasticsearch集群、目標Elasticsearch集群、安裝elasticsearch-dump工具的服務器的網絡要互通。

通過elasticsearch-dump工具遷移數據

OSS快照結合reindex

• 全量和增量數據寫入場景。

• 跨大版本間ES文件格式可能不兼容，不支持直接快照的場景。

  例如，6.x遷移到8.x，可先快照到7.x版本，在7.x版本上reindex索引，最后通過7.x快照恢復到8.x。

中間版本與原版本和目標版本都滿足版本兼容性要求。詳細信息，請參見elastic版本間的改變及兼容性文檔。

• 手動備份與恢復（遷移手動快照備份的數據）

• 通過reindex遷移數據

遷移方案

適用場景

使用限制

場景示例

OSS快照

將自建或阿里云商業版Elasticsearch集群中的數據遷移到Openstore自定義冷熱分離存儲中的場景。

• 云對象存儲OSS必須是標準存儲類型的Bucket（不支持歸檔存儲類型）。

• 云對象存儲OSS中Bucket的地域與Elasticsearch實例的地域保持一致。

將Elasticsearch數據遷移至OpenStore冷熱分離存儲

手動備份

將自建或阿里云商業版Elasticsearch集群中的數據遷移到OpenStore智能混合存儲中的場景。

云對象存儲OSS中Bucket的地域與Elasticsearch實例的地域保持一致。

將Elasticsearch數據遷移至OpenStore智能混合存儲

遷移方案

適用場景

使用限制

場景示例

OSS快照

• 源端數據量較大（GB、TB、PB級別）的場景。

• 同賬號或跨賬號下，同地域或跨地域快照數據遷移的場景。

• 需要獲取與源Elasticsearch版本一致的elasticsearch-repository-oss插件。

• 通過OSS快照方式遷移增量數據，可能需要停止服務。且在新集群恢復增量數據時，需要關閉索引。

通過OSS將自建Elasticsearch數據遷移至阿里云

Logstash

• 遷移數據時，對實時性要求不高的場景。

• 僅對查詢結果進行遷移的場景。

• 需對待遷移數據進行過濾的場景。

• 版本跨度較大的數據遷移場景，例如5.x遷移到6.x或7.x。版本兼容性說明請參見產品兼容性。

• 源Elasticsearch、Logstash和目標Elasticsearch實例在同一專有網絡。如果不在同一專有網絡，需要通過配置NAT網關實現與公網的連通，詳細信息請參見配置NAT公網數據傳輸。

• 源Elasticsearch、Logstash和目標Elasticsearch實例版本需滿足兼容性要求，詳細信息請參見產品兼容性。

• 如果需要同步增量數據，需確保源端數據的ID和目標端ID一致，并且需配置schedule定時任務。

• 通過阿里云Logstash將自建Elasticsearch數據遷移至阿里云

• 基于reindex實現低版本多type數據遷移

reindex

• 源數據量較小，且對遷移速度要求不高的場景。

• 僅對查詢結果（使用查詢語句在Kibana中查詢出來的結果）進行遷移的場景。

• 低版本自建ES遷移到阿里云高版本ES，如6.x遷移到8.x, 通過privatelink打通網絡做遠程reindex遷移。

兩個Elasticsearch集群在同一網絡架構下，詳細信息請參見注意事項。

通過reindex將自建Elasticsearch數據遷移至阿里云

elasticsearch-dump工具

數據量較小，索引數量不多的遷移場景。

源Elasticsearch集群、目標Elasticsearch集群、安裝elasticsearch-dump工具的服務器的網絡要互通。

通過elasticsearch-dump工具遷移數據

遷移方案

適用場景

使用限制

場景示例

Logstash

• 遷移全量數據的場景。

• 遷移滿足某些查詢需求的場景。

• 跨賬號、跨地域的阿里云Elasticsearch間數據遷移的場景。

• Logstash需要配置NAT網關實現與公網連通，詳細信息請參見配置NAT公網數據傳輸。

• 源Elasticsearch、Logstash和目標Elasticsearch實例版本需滿足兼容性要求，詳細信息請參見產品兼容性。

騰訊云Elasticsearch數據遷移至阿里云

OSS快照

源端數據量較大（GB、TB、PB級別）的場景。

通過OSS快照方式遷移增量數據，可能需要停止服務。且在新集群恢復增量數據時，需要關閉索引。

將Amazon OpenSearch Service中的Elasticsearch索引遷移至阿里云

elasticsearch-dump工具

數據量較小，索引數量不多的遷移場景。

源Elasticsearch集群、目標Elasticsearch集群、安裝elasticsearch-dump工具的服務器的網絡要互通。

通過elasticsearch-dump工具遷移數據