問(wèn)題描述

使用Spark on MaxCompute訪問(wèn)Lindorm實(shí)例時(shí)，無(wú)論是通過(guò)協(xié)議兼容還是Lindorm客戶端，都會(huì)報(bào)錯(cuò)提示連接超時(shí)（Connection Timeout）。

問(wèn)題原因

當(dāng)前Spark on MaxCompute的網(wǎng)絡(luò)架構(gòu)：多個(gè)pod經(jīng)過(guò)一個(gè)彈性網(wǎng)卡（Elastic Network Interfaces，簡(jiǎn)稱ENI）和其他VPC上的數(shù)據(jù)庫(kù)或數(shù)據(jù)服務(wù)進(jìn)行數(shù)據(jù)通信。ENI端將根據(jù)算法分配Port，如果訪問(wèn)的對(duì)端IP不同，則分配的Port之間不會(huì)互斥，即Port有一定概率會(huì)出現(xiàn)重復(fù)現(xiàn)象。因此當(dāng)直連和負(fù)載均衡（SLB）同時(shí)存在時(shí)，可能出現(xiàn)數(shù)據(jù)串流現(xiàn)象。

無(wú)論是使用Lindorm客戶端還是協(xié)議兼容連接，都采用了負(fù)載均衡（SLB）+直連進(jìn)行數(shù)據(jù)通信。在數(shù)據(jù)傳輸過(guò)程中，SLB服務(wù)會(huì)將源地址轉(zhuǎn)換為ENI地址，如果此時(shí)負(fù)載服務(wù)器上沒(méi)有存儲(chǔ)NAT信息，則可能出現(xiàn)丟包現(xiàn)象，導(dǎo)致數(shù)據(jù)串流。

解決方案

建議您使用開(kāi)源Spark內(nèi)置的HBase客戶端訪問(wèn)Lindorm實(shí)例。