當(dāng)您在使用PolarDB-X(DRDS),需要進(jìn)行全文檢索和語(yǔ)義分析時(shí),可將PolarDB-X中的數(shù)據(jù)同步至阿里云Elasticsearch進(jìn)行查詢分析。阿里云Elasticsearch是一個(gè)基于Lucene的實(shí)時(shí)分布式的搜索與分析引擎,可近乎于準(zhǔn)實(shí)時(shí)地存儲(chǔ)、查詢和分析超大數(shù)據(jù)集。您可以通過Logstash和DataWorks兩種方式將PolarDB-X中的數(shù)據(jù)同步至阿里云Elasticsearch。本文介紹各同步方案適用的場(chǎng)景,幫助您根據(jù)業(yè)務(wù)選擇合適的方案同步數(shù)據(jù)。
同步方案 | 原理說明 | 適用場(chǎng)景 | 使用限制 | 相關(guān)文檔 |
---|---|---|---|---|
Logstash JDBC數(shù)據(jù)同步 | 通過logstash-input-jdbc插件實(shí)現(xiàn)通過Logstash批量查詢PolarDB-X中的數(shù)據(jù),并將數(shù)據(jù)遷移到Elasticsearch。實(shí)現(xiàn)的本質(zhì)是該插件會(huì)定期對(duì)PolarDB-X中的數(shù)據(jù)進(jìn)行循環(huán)輪詢,從而在當(dāng)前循環(huán)中找到上次插入或更改的記錄,然后批量查詢這些記錄并遷移至Elasticsearch。 |
|
|
通過Logstash將PolarDB-X(DRDS)數(shù)據(jù)同步至Elasticsearch |
DataWorks實(shí)現(xiàn)離線數(shù)據(jù)同步 | DataWorks是一款提供數(shù)據(jù)集成、數(shù)據(jù)開發(fā)及數(shù)據(jù)質(zhì)量等全方位的產(chǎn)品服務(wù)。支持引入并存儲(chǔ)關(guān)系型數(shù)據(jù),然后進(jìn)行轉(zhuǎn)化和開發(fā),最后將處理后的數(shù)據(jù)同步到Elasticsearch或其他數(shù)據(jù)系統(tǒng)。 |
|
|
通過DataWorks將PolarDB-X(DRDS)數(shù)據(jù)離線同步至Elasticsearch |