排查方案

常見錯誤案例

建議解決方案

分別檢查Logstash是否與源端和目標(biāo)端服務(wù)在同一網(wǎng)絡(luò)下。

源端服務(wù)在公網(wǎng)環(huán)境下，而Logstash在專有網(wǎng)絡(luò)環(huán)境下。

選擇以下任意一種方式處理：

• 借助網(wǎng)絡(luò)產(chǎn)品功能，打通網(wǎng)絡(luò)環(huán)境。

• 參見配置NAT公網(wǎng)數(shù)據(jù)傳輸，配置NAT網(wǎng)關(guān)實現(xiàn)公網(wǎng)數(shù)據(jù)傳輸。

• 重新購買同一專有網(wǎng)絡(luò)下的Logstash和Elasticsearch實例，并重新配置管道。

檢查NAT配置是否錯誤。

• NAT條目地址或端口定義錯誤。

• NAT網(wǎng)關(guān)類型不符合場景。

根據(jù)具體情況，按照以下方式處理：

• 檢查NAT條目地址和端口，確保網(wǎng)絡(luò)互通。

• SNAT和DNAT使用場景不一樣，結(jié)合業(yè)務(wù)場景選擇正確的網(wǎng)關(guān)轉(zhuǎn)換方式：

  • SNAT：Logstash主動訪問公網(wǎng)。

  • DNAT：公網(wǎng)服務(wù)向Logstash節(jié)點推送數(shù)據(jù)。

檢查是否上傳了正確的JDBC驅(qū)動插件。

PolarDB數(shù)據(jù)同步場景中，使用高版本的JDBC驅(qū)動，日志無報錯，但數(shù)據(jù)寫不到目標(biāo)端，換成低版本后正常。

選擇正確版本的JDBC驅(qū)動，詳細(xì)信息請參見配置擴展文件。

檢查白名單或安全組是否有限制。

通過Filebeat將數(shù)據(jù)采集到Logstash中處理，F(xiàn)ilebeat部署在用戶側(cè)ECS上，但ECS未在安全組開放監(jiān)聽端口。

根據(jù)具體情況，按照以下方式處理：

• 在對應(yīng)服務(wù)的白名單中，加入Logstash節(jié)點的IP地址。

  說明

  獲取Logstash的IP地址的具體操作，請參見查看實例的基本信息。

• 在安全組中開啟服務(wù)監(jiān)聽端口，具體操作請參見添加安全組規(guī)則。

檢查Logstash管道配置的源端或目標(biāo)端是否涉及到RAM用戶未授權(quán)，導(dǎo)致RAM用戶無法訪問對應(yīng)服務(wù)。

• Logstash的output配置中指定了RAM用戶訪問Elasticsearch ，但Elasticsearch上未對RAM用戶設(shè)置索引權(quán)限。

• Logstash主日志報錯401。

根據(jù)具體情況，按照以下方式處理：

• 為RAM用戶授予對應(yīng)的權(quán)限，具體操作請參見為RAM用戶授權(quán)。

• 源端和目標(biāo)端的用戶名和密碼使用正確，并且密碼中不能包含特殊字符。如果密碼中包含特殊字符，請修改源端或目標(biāo)端的密碼，請參見重置實例訪問密碼。

排查方案

常見錯誤案例

建議解決方案

參見查詢?nèi)罩?/a>，查看Logstash的主日志，檢查日志是否存在報錯。

未安裝插件。例如日志中出現(xiàn)Couldn't find any output plugin named 'file_extend'錯誤提示時，說明集群中沒有安裝logstash-output-file_extend插件。

選擇以下任意一種方式處理：

• 安裝插件。

• 在管道配置中，刪除該插件的配置信息。

配置中存在隱藏的特殊字符。

手動輸入配置。

filter過濾代碼有誤，例如ruby代碼存在錯誤。

選擇以下任意一種方式處理：

• 將filter模塊配置精簡到原始配置，逐步增加過濾配置，找到根因。并根據(jù)實際情況處理。

• 借助第三方調(diào)試工具，調(diào)試正確后再上線。

管道參數(shù)名或參數(shù)值寫入錯誤。例如logstash-output-elasticsearch插件中的hosts寫成了host、RDS實例名稱不正確等。

參見Logstash官方文檔或阿里云Elasticseatch官方最佳實踐文檔編寫管道配置。

Logstash和源端或目標(biāo)端連接超時。例如無法訪問Elasticsearch時，會出現(xiàn)Elasticsearch Unreachable: [http://xxxx:9200/][Manticore::ConnectTimeout] connect timed out的錯誤提示。

確保Logstash和Elasticsearch網(wǎng)絡(luò)互通，并輸入正確的源端和目標(biāo)端地址。

Elasticsearch開啟了HTTPS協(xié)議，但Logstash管道配置時使用了http。

修改管道配置，使用與源端和目標(biāo)端相同的訪問協(xié)議。

排查方案

常見錯誤案例

建議解決方案

參見集群監(jiān)控章節(jié)，檢查節(jié)點磁盤使用率是否過高。

• 在管道配置中，指定隊列類型為永久型（PERSISTED），數(shù)據(jù)會永久存儲在磁盤上，隨著數(shù)據(jù)的積累，導(dǎo)致磁盤被打滿。

• 管道output配置中指定了stdout{}。

根據(jù)具體情況，按照以下方式處理：

• 將Logstash管道隊列類型指定為默認(rèn)的內(nèi)存型（MEMORY），詳細(xì)信息請參見通過配置文件管理管道。

  重要

  由于阿里云Logstash暫時沒有清理磁盤的入口，因此當(dāng)您遇到磁盤打滿的問題時，需要技術(shù)人員在后端為您處理。

• 刪除管道output配置中的stdout{}。

  重要

  管道output配置不支持定義stdout{}，否則會導(dǎo)致磁盤使用率過高的問題。

參見集群監(jiān)控章節(jié)，檢查節(jié)點內(nèi)存是否溢出OOM（Out Of Memory）。

內(nèi)存OOM，節(jié)點未拉起。

在控制臺重啟對應(yīng)節(jié)點。

檢查源端或目標(biāo)端是否存在負(fù)載問題。

Elasticsearch集群不健康，影響寫入。

暫停寫入，優(yōu)先恢復(fù)集群健康，建議擴容。

排查方案

常見錯誤案例

建議解決方案

參見使用Logstash管道配置調(diào)試功能，開啟Logsatsh的管道配置調(diào)試功能（需要安裝logstash-output-file_extend插件），查看調(diào)試日志，判斷是否有數(shù)據(jù)流入Logstash服務(wù)：

• 無數(shù)據(jù)流入Logstash：檢查源端配置信息是否正確。

• 有數(shù)據(jù)流入Logstash：檢查目標(biāo)端配置信息是否正確。

無數(shù)據(jù)流入Logstash：

• 源端配置信息中存在阿里云AccessKey信息，但AccessKey信息已經(jīng)失效。

• 源端無實時數(shù)據(jù)產(chǎn)生，例如Filebeat實時采集文件數(shù)據(jù)，文件無新數(shù)據(jù)產(chǎn)生。

根據(jù)具體情況，選擇以下方式處理：

• 檢查配置信息，并修改不準(zhǔn)確的信息。

• 如果Logstash使用了實時流插件，需要確保源端存在實時寫入的數(shù)據(jù)。

有數(shù)據(jù)流入Logstash：

• 阿里云Elasticsearch實例未開啟自動創(chuàng)建索引功能。

• 目標(biāo)端禁止寫入，例如Elasticsearch索引禁止寫入。

根據(jù)具體情況，選擇以下方式處理：

• 開啟阿里云Elasticsearch實例的自動創(chuàng)建索引功能。

• 確保目標(biāo)端的可寫性。

排查方案

常見錯誤案例

建議解決方案

根據(jù)管道配置場景，結(jié)合管道插件屬性排查：

• 檢查JDBC查詢語句是否正確。

• 檢查管道配置中的logstash-input-elasticsearch插件是否存在實時寫入的數(shù)據(jù)。

JDBC場景：

• 通過查詢語句查詢的結(jié)果中缺少數(shù)據(jù)。

• 追蹤字段為非遞增數(shù)據(jù)，例如時間字段或ID。

• JDBC和Elasticsearch集群不在同一時區(qū)。

根據(jù)具體情況，選擇以下方式處理：

• 在源端調(diào)試查詢語句。

• 檢查追蹤字段類型是否為官方建議字段類型，優(yōu)先將字段類型設(shè)置為numeric或timestamp。

• 檢查時區(qū)差異性，并根據(jù)檢查結(jié)果進行相應(yīng)處理。

使用logstash-input-elasticsearch插件場景：

• 源端數(shù)據(jù)存在實時寫入。

• 管道配置中，定時時間設(shè)置較小，數(shù)據(jù)存在大量的寫入，導(dǎo)致目標(biāo)端數(shù)據(jù)堆積。

Logstash不適用于數(shù)據(jù)實時同步場景。如果源端存在實時寫入，建議通過拉長定時查詢時間，減少頻繁在源端和目標(biāo)端查詢和寫入。

參見查詢?nèi)罩?/a>，查看Logstash慢日志，檢查是否存在寫入慢的問題。

源端和目標(biāo)端壓力均未達(dá)到瓶頸，但Logstash的管道工作線程數(shù)使用了官方的默認(rèn)值。

增加Logstash的管道批大小和工作線程數(shù)，詳細(xì)信息請參見通過配置文件管理管道。