當數據查詢的結果中含有某種類型的數據較多時,可以使用折疊(Collapse)功能按照某一列對結果集做折疊,使對應類型的數據在結果展示中只出現一次,保證結果展示中類型的多樣性。
折疊功能可以在大部分場景下實現去重(Distinct)功能,相當于按照折疊列做去重,但是只支持應用于整型、浮點數和Keyword類型的列,不支持數組類型的列,且只能返回排序后的前50000個結果。
注意事項
折疊功能只能使用offset+limit方式翻頁,不能使用token方式。
對結果集同時使用統計聚合與折疊功能時,統計聚合功能只作用于使用折疊功能前的結果集。
使用折疊功能后,返回的總分組數取決于offset+limit的最大值,目前支持返回的總分組數最大為50000。
執行結果中返回的總行數是使用折疊功能前的匹配行數,使用折疊功能后的總分組數無法獲取。
接口
參數
參數 | 說明 |
query | 可以是任意Query類型。 |
collapse | 折疊參數設置,包含fieldName設置。 fieldName:列名,按該列對結果集做折疊,只支持應用于整型、浮點數和Keyword類型的列,不支持數組類型的列。 |
offset | 本次查詢的開始位置。 |
limit | 本次查詢需要返回的最大數量。 如果只為了獲取行數,無需具體數據,可以設置limit=0,即不返回任意一行數據。 |
getTotalCount | 是否返回匹配的總行數,默認為false,表示不返回。 返回匹配的總行數會影響查詢性能。 |
tableName | 數據表名稱。 |
indexName | 多元索引名稱。 |
columnsToGet | 是否返回所有列,包含returnAll和columns設置。 returnAll默認為false,表示不返回所有列,此時可以通過columns指定返回的列;如果未通過columns指定返回的列,則只返回主鍵列。 當設置returnAll為true時,表示返回所有列。 |
使用方式
您可以使用命令行工具或者SDK在查詢數據時進行折疊(去重)。進行折疊(去重)之前,您需要完成如下準備工作。
使用阿里云賬號或者使用具有表格存儲操作權限的RAM用戶進行操作。如果需要為RAM用戶授權表格存儲操作權限,請參見通過RAM Policy為RAM用戶授權進行配置。
使用SDK方式和命令行工具方式進行操作時,如果當前無可用AccessKey,則需要為阿里云賬號或者RAM用戶創建AccessKey。具體操作,請參見創建AccessKey。
已創建數據表。具體操作,請參見數據表操作。
已為數據表創建多元索引。具體操作,請參見創建多元索引。
使用SDK方式進行操作時,還需要完成初始化Client。具體操作,請參見初始化OTSClient。
使用命令行工具方式進行操作前,還需要完成下載并啟動命令行工具,然后配置接入實例信息并選擇要操作的表。具體操作,請參見下載命令行工具、啟動并配置和數據表操作。
通過命令行工具執行search
命令使用多元索引查詢數據,并在查詢條件中配置Collapse參數實現折疊(去重)功能。更多信息,請參見多元索引。
執行
search
命令使用search_index多元索引查詢表中數據,并返回所有建立索引的列。search -n search_index --return_all_indexed
根據系統提示輸入查詢條件,示例如下:
{ "Offset": -1, "Limit": 10, "Collapse": { "FieldName": "product_name" }, "Sort": null, "GetTotalCount": true, "Token": null, "Query": { "Name": "MatchQuery", "Query": { "FieldName": "user_id", "Text": "00002", "MinimumShouldMatch": 1 } } }
您可以通過Java SDK、Go SDK、Python SDK、Node.js SDK、.NET SDK和PHP SDK在查詢數據時進行折疊(去重)。此處以Java SDK為例介紹折疊(去重)的使用。
以下示例用于查詢表中user_id列的值能夠匹配"00002"的數據,結果集按照product_name列的值做折疊。
private static void UseCollapse(SyncClient client){
SearchQuery searchQuery = new SearchQuery(); //構造查詢條件。
MatchQuery matchQuery = new MatchQuery();
matchQuery.setFieldName("user_id");
matchQuery.setText("00002");
searchQuery.setQuery(matchQuery);
Collapse collapse = new Collapse("product_name"); //根據"product_name"列對結果集做折疊。
searchQuery.setCollapse(collapse);
//searchQuery.setOffset(1000);//本次查詢的開始位置。
searchQuery.setLimit(20);
//searchQuery.setGetTotalCount(true);//設置返回匹配的總行數。
SearchRequest searchRequest = new SearchRequest("<TABLE_NAME>", "<SEARCH_INDEX_NAME>", searchQuery);//設置數據表名稱和多元索引名稱。
//通過設置columnsToGet參數可以指定返回的列或返回所有列,如果不設置此參數,則默認只返回主鍵列。
//SearchRequest.ColumnsToGet columnsToGet = new SearchRequest.ColumnsToGet();
//columnsToGet.setReturnAll(true); //設置為返回所有列。
//columnsToGet.setColumns(Arrays.asList("ColName1","ColName2")); //設置為返回指定列。
//searchRequest.setColumnsToGet(columnsToGet);
SearchResponse response = client.search(searchRequest);
//System.out.println(response.getTotalCount());
//System.out.println(response.getRows().size()); //根據"product_name"列的產品種類返回個數。
System.out.println(response.getRows()); //根據"product_name"列的產品種類返回相應產品名稱。
}
計費說明
使用VCU模式(原預留模式)時,使用多元索引查詢數據會消耗VCU的計算資源。使用CU模式(原按量模式)時,使用多元索引查詢數據會消耗讀吞吐量。更多信息,請參見多元索引計量計費。
在查詢數據時使用折疊(去重)功能不會影響現有計費規則。
常見問題
相關文檔
多元索引查詢類型包括精確查詢、多詞精確查詢、全匹配查詢、匹配查詢、短語匹配查詢、前綴查詢、范圍查詢、通配符查詢、模糊查詢、多條件組合查詢、地理位置查詢、嵌套類型查詢、向量檢索和列存在性查詢,您可以選擇合適的查詢類型進行多維度數據查詢。
如果要對結果集進行排序或者翻頁,您可以使用排序和翻頁功能來實現。具體操作,請參見排序和翻頁。
如果要按照某一列對結果集做折疊,使對應類型的數據在結果展示中只出現一次,您可以使用折疊(去重)功能來實現。具體操作,請參見折疊(去重)。
如果要進行數據分析,例如求最值、求和、統計行數等,您可以使用Search接口的統計聚合功能或者SQL查詢來實現。具體操作,請參見統計聚合和SQL查詢。
如果要快速導出數據,而不關心整個結果集的順序時,您可以使用ParallelScan接口和ComputeSplits接口實現多并發導出數據。具體操作,請參見并發導出數據。