TairSearch是集緩存與計算于一體的實時全內存檢索系統,其核心的倒排索引機制既能滿足詞根的模糊匹配查詢,也能作為熱數據存儲設備,實現存儲計算一體化,加速任意、多列索引的聯合查詢效率。
背景信息
互聯網及傳統行業應用服務的關鍵數據通常存儲在MySQL等關系型數據庫中。為緩解數據庫訪問壓力,通常會引入Redis等Key-value緩存系統(KV緩存系統)承擔熱數據的查詢,以提升查詢效能。然而,當業務場景需要在數據庫中進行多列索引聯合查詢或LIKE
模糊匹配查詢時,普通的KV緩存系統無法較好地獨立支撐以上場景,往往需要引入Lua腳本或外部計算等額外的過濾匹配機制實現聯合查詢。
KV緩存系統在多列索引聯合查詢場景的局限性
在將數據導入至KV緩存系統時,以Redis為例,通常會將關系型數據庫的行數據導入至Redis的Hash結構:以行數據中主鍵字段的值作為Redis Hash的Key,其他字段名作為Hash的Field,其字段的值作為對應Field的Value。
如果僅涉及查詢主鍵索引,則在Redis中可以直接通過HMGET
的方式獲取指定字段的信息。但在關系型數據庫中,不僅可以存在主鍵索引,還可以設置多個二級索引以及多種聯合索引等,用于提高查詢效率。然而Redis在如下場景中存在明顯局限性:
二級索引查詢:Redis不支持以Hash結構中的field內容進行查詢,因此只能在Redis中創建2層Hash結構來存儲關系型數據庫中的二級索引。此方案不僅增加了導入數據的復雜度,也因數據冗余造成內存空間浪費。
聯合索引查詢:Redis不支持對Hash結構進行多Key聯合查詢,用戶只能通過Lua腳本或外部計算實現聯合查詢。
本文以TairSearch支撐流量洪峰時的機票搜索業務為例,介紹如何通過TairSearch,加速任意、多列索引的聯合查詢效率。
關于TairSearch的詳細介紹及命令示例,請參見TairSearch。
精準搜索機票示例
在暑期、國慶、春節等中長假期時,熱門旅游度假區的航班查詢容易造成流量洪峰。在該場景下,可以將所有的待飛航班信息存儲至TairSearch中。
創建文檔索引
以某服務平臺的機票搜索界面為例,精準搜索機票涉及幾個關鍵條件:出發地、目的地、出行日期、艙位、是否帶兒童或嬰兒等。
本示例以出發地、目的地拼接作為TairSearch的Key(departure_destination
),例如zhuhai_hangzhou
。創建如下索引字段:出發地(departure
)、目的地(destination
)、出行日期(date
)、艙位(seat
)、是否帶兒童或嬰兒(with
)、航班號(flight_id
)、價格(price
)、起飛時間(departure_time
)、降落時間(destination_time
)。
如需增加或調整字段,可直接執行TFT.UPDATEINDEX
。
代碼示例如下:
TFT.CREATEINDEX zhuhai_hangzhou '{
"mappings":{
"properties":{
"departure":{"type":"keyword"},
"destination":{"type":"keyword"},
"date":{"type":"keyword"},
"seat":{"type":"keyword"},
"with":{"type":"keyword"},
"flight_id":{"type":"keyword"},
"price":{"type":"double"},
"departure_time":{"type":"long"},
"destination_time":{"type":"long"}
}
}
}'
預計輸出:
OK
寫入數據
整理航班信息,寫入TairSearch文檔,代碼示例如下:
TFT.ADDDOC zhuhai_hangzhou '{
"departure":"zhuhai",
"destination":"hangzhou",
"date":"2022-09-01",
"seat":"first",
"with":"baby",
"flight_id":"CZ1000",
"price":986.1,
"departure_time":1661991010,
"destination_time":1661998210
}'
預計輸出:
"{"_id":"16615908912020060"}"
# 返回文檔ID,格式為JSON。
精準搜索
搜索2022年09月01日珠海至杭州,頭等艙座位的航班,且按照航班的出發時間進行排序,代碼示例如下。
TFT.Search zhuhai_hangzhou '{"sort":["departure_time"],"query":{"bool":{"must":[{"term":{"date":"2022-09-01"}},{"term":{"seat":"first"}}]}}}'
預計輸出:
"{
"hits": {
"hits": [
{
"_id": "16615908912020060",
"_index": "zhuhai_hangzhou",
"_score": 0.433955,
"_source": {
"departure": "zhuhai",
"destination": "hangzhou",
"date": "2022-09-01",
"seat": "first",
"with": "baby",
"flight_id": "CZ1000",
"price": 986.1,
"departure_time": 1661991010,
"destination_time": 1661998210
}
}
],
"max_score": 0.433955,
"total": {
"relation": "eq",
"value": 1
}
}
}"