秋霞影院亚洲国产中文精品,人人超碰97尤物,影视先锋资源无码

當您需要將自建Elasticsearch中的數據遷移到阿里云Elasticsearch中時，可以通過阿里云Logstash的管道配置功能實現。本文介紹具體的實現方法。

使用限制

自建Elasticsearch集群所在的ECS的網絡類型必須是專有網絡，不支持Classiclink方式打通的ECS。
由于阿里云Logstash實例部署在專有網絡下，如果自建Elasticsearch集群與阿里云Logstash集群在同一專有網絡下，可直接配置；如果不在，需要通過配置NAT網關實現與公網的連通，具體操作請參見配置NAT公網數據傳輸。
自建Elasticsearch集群所在的ECS的安全組不能限制Logstash集群的各節(jié)點IP（可在基本信息頁面查看），并且需要開啟9200端口。
本文以自建Elasticsearch 5.6.16 > 阿里云Logstash 6.7.0 > 阿里云Elasticsearch 6.7.0為例，提供的腳本僅適用于該數據遷移方案，其他方案不保證兼容。如果您使用的是其他方案，可參見產品兼容性判斷是否存在兼容性問題。如果存在，可升級實例版本或新購實例。

步驟一：環(huán)境準備

搭建自建Elasticsearch集群。
建議您使用阿里云ECS搭建自建Elasticsearch集群，本文以5.6.16版本為例，具體操作請參見安裝并運行Elasticsearch。
創(chuàng)建阿里云Logstash實例。
建議創(chuàng)建與部署自建Elasticsearch集群的ECS實例在同一專有網絡下的Logstash實例，具體操作請參見創(chuàng)建阿里云Logstash實例。
創(chuàng)建目標阿里云Elasticsearch實例，并開啟實例的自動創(chuàng)建索引功能。
- 建議創(chuàng)建與Logstash實例在同一專有網絡下，且版本相同的Elasticsearch實例。本文以6.7.0版本為例，具體操作請參見創(chuàng)建阿里云Elasticsearch實例。
- 開啟自動創(chuàng)建索引功能的具體操作，請參見配置YML參數。
  說明
  因為Logstash只同步數據，不同步數據結構特征，所以開啟自動創(chuàng)建索引功能后，可能會存在同步前后數據結構不一致的情況。如果您需要同步前后的數據結構一致，那么建議您先手動在目標端Elasticsearch中創(chuàng)建空索引，創(chuàng)建時，復制源端的mappings和settings結構，并合理分配shard數量。

步驟二：配置并運行Logstash管道

進入阿里云Elasticsearch控制臺的Logstash頁面。
進入目標實例。
1. 在頂部菜單欄處，選擇地域。
2. 在Logstash實例中單擊目標實例ID。
在左側導航欄，單擊管道管理。
單擊創(chuàng)建管道。

在創(chuàng)建管道任務頁面，輸入管道ID并配置管道。

本文使用的管道配置如下。

input {
  elasticsearch {
    hosts => ["http://<自建Elasticsearch Master節(jié)點的IP地址>:9200"]
    user => "elastic"
    index => "*,-.monitoring*,-.security*,-.kibana*"
    password => "your_password"
    docinfo => true
  }
}
filter {
}
output {
  elasticsearch {
    hosts => ["http://es-cn-mp91cbxsm000c****.elasticsearch.aliyuncs.com:9200"]
    user => "elastic"
    password => "your_password"
    index => "%{[@metadata][_index]}"
    document_type => "%{[@metadata][_type]}"
    document_id => "%{[@metadata][_id]}"
  }    
  file_extend {
        path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
    }
}

表 1. 參數說明
參數	描述
hosts	自建或阿里云Elasticsearch服務的訪問地址。input中為`http://<自建Elasticsearch Master節(jié)點的IP地址>:<端口>`；output中為`http://<阿里云Elasticsearch實例ID>.elasticsearch.aliyuncs.com:9200`。重要配置時，請按照格式要求，將<自建Elasticsearch Master節(jié)點的IP地址>、<端口>和<阿里云Elasticsearch實例ID>替換為對應的值。
user	訪問自建或阿里云Elasticsearch服務的用戶名。重要 user和password為必選參數。如果自建Elasticsearch未安裝X-Pack，可將這兩個參數值設置為空。訪問阿里云Elasticsearch實例的用戶名默認為elastic（本文以此為例）。如果想使用自建用戶，需要為自建用戶分配相應的角色和權限，詳情請參見通過Elasticsearch X-Pack角色管理實現用戶權限管控。
password	訪問自建或阿里云Elasticsearch服務的密碼。
index	指定同步索引名。input中設置為,-.monitoring,-.security,-.kibana，表示同步除過`.`開頭的系統(tǒng)索引；output中設置為%{[@metadata][_index]}，表示匹配元數據中的index，即阿里云Elasticsearch生成的索引和自建Elasticsearch的索引相同。
docinfo	設置為true，阿里云Elasticsearch會提取自建Elasticsearch文檔的元數據信息，例如index、type和id。
document_type	設置為%{[@metadata][_type]}。表示匹配元數據中索引的type，即阿里云Elasticsearch生成的索引的類型和自建Elasticsearch的索引類型相同。說明如果源端為ES 6.x版本，目標端為ES 7.x版本，document_type需要設置為`_doc`。
document_id	設置為%{[@metadata][_id]}，表示匹配元數據中文檔的id，即阿里云Elasticsearch生成的文檔ID和自建Elasticsearch的文檔ID相同。
file_extend	可選，用來開啟調試日志功能，并通過path參數配置調試日志的輸出路徑。建議您配置該參數，配置后，可直接在控制臺上查看輸出結果。如果未配置，需要去目標端確認輸出結果，再返回控制臺修改，這樣會耗費大量的時間和人力。詳細信息，請參見使用Logstash管道配置調試功能。重要使用file_extend參數前，需要先安裝logstash-output-file_extend插件。具體操作，請參見安裝或卸載插件。其中的path參數默認為系統(tǒng)指定路徑，請勿修改。您也可以單擊開啟配置調試獲取path路徑。

Elasticsearch input插件可以根據配置的查詢語句，從Elasticsearch集群讀取文檔數據，適用于批量導入測試日志等操作。默認讀取完數據后，同步動作會自動關閉，而阿里云Logstash需保證進程一直運行，關閉后將會重新啟動進程，導致某些單一任務場景（如logstash input es）存在重復寫數據的情況。設置長時間范圍的定時任務可繞過寫重復的情況，如每年3月5日13點20分觸發(fā)任務執(zhí)行，執(zhí)行完第一次任務后停止管道運行，可避免重復寫情況。可以通過cron語法配合schedule參數實現，詳情請參見Logstash官網Scheduling介紹。

例如，設置3月5日13點20分執(zhí)行任務：

schedule => "20 13 5 3 *"

更多Config配置說明，請參見Logstash配置文件說明。

單擊下一步，配置管道參數。

管道參數配置

參數	說明
管道工作線程	并行執(zhí)行管道的Filter和Output的工作線程數量。當事件出現積壓或CPU未飽和時，請考慮增大線程數，更好地使用CPU處理能力。默認值：實例的CPU核數。
管道批大小	單個工作線程在嘗試執(zhí)行Filter和Output前，可以從Input收集的最大事件數目。較大的管道批大小可能會帶來較大的內存開銷。您可以設置LS_HEAP_SIZE變量，來增大JVM堆大小，從而有效使用該值。默認值：125。
管道批延遲	創(chuàng)建管道事件批時，將過小的批分派給管道工作線程之前，要等候每個事件的時長，單位為毫秒。默認值：50ms。
隊列類型	用于事件緩沖的內部排隊模型。可選值： MEMORY：默認值。基于內存的傳統(tǒng)隊列。 PERSISTED：基于磁盤的ACKed隊列（持久隊列）。
隊列最大字節(jié)數	請確保該值小于您的磁盤總容量。默認值：1024 MB。
隊列檢查點寫入數	啟用持久性隊列時，在強制執(zhí)行檢查點之前已寫入事件的最大數目。設置為0，表示無限制。默認值：1024。

警告

配置完成后，需要保存并部署才能生效。保存并部署操作會觸發(fā)實例重啟，請在不影響業(yè)務的前提下，繼續(xù)執(zhí)行以下步驟。

單擊保存或者保存并部署。
- 保存：將管道信息保存在Logstash里并觸發(fā)實例變更，配置不會生效。保存后，系統(tǒng)會返回管道管理頁面。可在管道列表區(qū)域，單擊操作列下的立即部署，觸發(fā)實例重啟，使配置生效。
- 保存并部署：保存并且部署后，會觸發(fā)實例重啟，使配置生效。

步驟三：查看數據遷移結果

登錄目標阿里云Elasticsearch實例的Kibana控制臺，根據頁面提示進入Kibana主頁。
登錄Kibana控制臺的具體操作，請參見登錄Kibana控制臺。
說明本文以阿里云Elasticsearch 6.7.0版本為例，其他版本操作可能略有差別，請以實際界面為準。
在左側導航欄，單擊Dev Tools。
在Console中，執(zhí)行GET /_cat/indices?v命令，查看遷移成功的索引。

常見問題

Q：自建Elasticsearch所在的ECS與阿里云Logstash不在同一賬號下，遷移數據時，如何配置網絡互通？
A：由于ECS和Logstash不在同一賬號下，那么兩者的專有網絡必然不同，因此需要配置兩個專有網絡互通。可通過云企業(yè)網來實現，具體操作請參見步驟三：加載網絡實例。
Q：Logstash數據寫入時出現問題，如何處理？
A：參見Logstash數據寫入問題排查方案進行排查處理。

日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

通過阿里云Logstash將自建Elasticsearch數據遷移至阿里云