應(yīng)用場景

向量檢索適用于推薦系統(tǒng)、圖像與視頻檢索、自然語言處理與語義搜索等場景。

• 檢索增強(qiáng)生成（RAG）

  RAG是一種將檢索能力和大模型能力結(jié)合在一起的AI框架，通過檢索能力增強(qiáng)大模型輸出結(jié)果的準(zhǔn)確性，尤其是在私域數(shù)據(jù)或者專業(yè)數(shù)據(jù)領(lǐng)域可以大幅提升大模型輸出結(jié)果的準(zhǔn)確性。當(dāng)前廣泛應(yīng)用于知識(shí)庫場景。

• 推薦系統(tǒng)

  在電商、社交媒體、視頻流媒體等平臺(tái)中，用戶行為、偏好、內(nèi)容特征等內(nèi)容可以編碼為向量進(jìn)行存儲(chǔ)，然后通過向量檢索快速找到與用戶興趣相匹配的產(chǎn)品、文章或視頻，實(shí)現(xiàn)個(gè)性化推薦，提升用戶滿意度和留存率。

• 相似性檢測（圖像、視頻和語音等）

  在圖像，視頻、語音、聲紋和人臉識(shí)別等領(lǐng)域中，可以將這些非結(jié)構(gòu)化的數(shù)據(jù)轉(zhuǎn)換為向量表示，然后通過向量檢索快速找到最相似的目標(biāo)。例如，在電商平臺(tái)中，用戶上傳一張圖片后，系統(tǒng)能迅速找出具有類似樣式、顏色或圖案的商品圖片。

• 自然語言處理與語義搜索

  在NLP領(lǐng)域，將文本轉(zhuǎn)換為向量表示（例如Word2Vec、BERT嵌入等），然后通過向量檢索理解查詢語句的語義，并找出語義上最相關(guān)的文檔、新聞、問答等內(nèi)容，提升搜索結(jié)果的相關(guān)性和用戶體驗(yàn)。

• 知識(shí)圖譜與智能問答

  知識(shí)圖譜節(jié)點(diǎn)和關(guān)系可以表示為向量，通過向量檢索能夠加速實(shí)體鏈接、關(guān)系推理以及智能問答系統(tǒng)的響應(yīng)速度，使系統(tǒng)能夠更準(zhǔn)確地理解和回答復(fù)雜的問題。

功能概述

向量檢索（KnnVectorQuery）使用數(shù)值向量進(jìn)行近似最近鄰查詢，可以在大規(guī)模數(shù)據(jù)集中找到最相似的數(shù)據(jù)項(xiàng)。

向量檢索繼承了多元索引的所有特性，無需部署搭建系統(tǒng)，即開即用，按量付費(fèi)。支持多元索引的流式構(gòu)建，數(shù)據(jù)寫入表后近實(shí)時(shí)可查詢；支持高吞吐的新增、更新和刪除；查詢性能和采用HNSW算法的系統(tǒng)相當(dāng)。

使用KnnVectorQuery功能查詢數(shù)據(jù)時(shí)，您可以需要指定要查詢相似度的向量、要匹配的向量字段以及要查詢的最鄰近TopK個(gè)值，來獲取向量字段中與要查詢相似度的向量最相似的TopK個(gè)值。您還可以組合使用其他非向量檢索的查詢功能來過濾查詢結(jié)果。

產(chǎn)品核心優(yōu)勢

計(jì)費(fèi)說明

公測期間，使用向量索引不引入額外的向量索引專用計(jì)費(fèi)項(xiàng)，當(dāng)前按照已有模式進(jìn)行計(jì)費(fèi)。

使用VCU模式（原預(yù)留模式）時(shí)，使用多元索引查詢數(shù)據(jù)會(huì)消耗VCU的計(jì)算資源。使用CU模式（原按量模式）時(shí)，使用多元索引查詢數(shù)據(jù)會(huì)消耗讀吞吐量。更多信息，請參見多元索引計(jì)量計(jì)費(fèi)。

前提條件

創(chuàng)建多元索引時(shí)已配置向量字段。具體操作，請參見創(chuàng)建多元索引。

注意事項(xiàng)

使用向量檢索時(shí)，請注意如下事項(xiàng)：

• 向量字段類型的個(gè)數(shù)、維度等存在限制。更多信息，請參見多元索引限制。

• 由于多元索引服務(wù)端是多分區(qū)的，多元索引服務(wù)端的每個(gè)分區(qū)均會(huì)返回自身最鄰近的TopK個(gè)值并在協(xié)調(diào)節(jié)點(diǎn)進(jìn)行匯總，因此如果要使用Token翻頁獲取所有數(shù)據(jù)，則獲取到的總行數(shù)與多元索引服務(wù)端的分區(qū)數(shù)有關(guān)。

• 目前支持使用向量檢索功能的地域包括華東1（杭州）、華東1 金融云、華東2（上海）、華北1（青島）、華北2（北京）、華北3（張家口）、華南1（深圳）、華南3（廣州）、西南1（成都）、中國香港、新加坡、馬來西亞（吉隆坡）、印度尼西亞（雅加達(dá)）、日本（東京）、德國（法蘭克福）、英國（倫敦）和菲律賓（馬尼拉）。

接口

向量檢索的接口為Search，具體的Query類型為KnnVectorQuery。

參數(shù)

使用方式

您可以使用控制臺(tái)或者SDK進(jìn)行向量檢索。進(jìn)行向量檢索之前，您需要完成如下準(zhǔn)備工作。

• 使用阿里云賬號或者使用具有表格存儲(chǔ)操作權(quán)限的RAM用戶進(jìn)行操作。如果需要為RAM用戶授權(quán)表格存儲(chǔ)操作權(quán)限，請參見通過RAM Policy為RAM用戶授權(quán)進(jìn)行配置。

  使用SDK方式和命令行工具方式進(jìn)行操作時(shí)，如果當(dāng)前無可用AccessKey，則需要為阿里云賬號或者RAM用戶創(chuàng)建AccessKey。具體操作，請參見創(chuàng)建AccessKey。

• 已創(chuàng)建數(shù)據(jù)表。具體操作，請參見數(shù)據(jù)表操作。

• 已為數(shù)據(jù)表創(chuàng)建多元索引。具體操作，請參見創(chuàng)建多元索引。

  在創(chuàng)建多元索引時(shí)需要配置向量字段。

• 使用SDK方式進(jìn)行操作時(shí)，還需要完成初始化Client。具體操作，請參見初始化OTSClient。

private static void knnVectorQuery(SyncClient client) {
    SearchQuery searchQuery = new SearchQuery();
    KnnVectorQuery query = new KnnVectorQuery();
    query.setFieldName("Col_Vector");
    query.setTopK(10); // 返回最鄰近的topK。
    query.setFloat32QueryVector(new float[]{0.1f, 0.2f, 0.3f, 0.4f});
    // 最鄰近的向量需要滿足Col_Keyword=hangzhou && Col_Long<4條件。
    query.setFilter(QueryBuilders.bool()
            .must(QueryBuilders.term("Col_Keyword", "hangzhou"))
            .must(QueryBuilders.range("Col_Long").lessThan(4))
    );
    searchQuery.setQuery(query);
    searchQuery.setLimit(10);
    // 按照分?jǐn)?shù)排序。
    searchQuery.setSort(new Sort(Collections.singletonList(new ScoreSort())));
    SearchRequest searchRequest = new SearchRequest("<TABLE_NAME>", "<SEARCH_INDEX_NAME>", searchQuery);
    SearchRequest.ColumnsToGet columnsToGet = new SearchRequest.ColumnsToGet();
    columnsToGet.setColumns(Arrays.asList("Col_Keyword", "Col_Long"));
    searchRequest.setColumnsToGet(columnsToGet);
    // 訪問Search接口。
    SearchResponse resp = client.search(searchRequest);
    for (SearchHit hit : resp.getSearchHits()) {
        // 打印分?jǐn)?shù)。
        System.out.println(hit.getScore());
        // 打印數(shù)據(jù)。
        System.out.println(hit.getRow());
    }
}

相關(guān)文檔

• 多元索引查詢類型包括精確查詢、多詞精確查詢、全匹配查詢、匹配查詢、短語匹配查詢、前綴查詢、范圍查詢、通配符查詢、基于分詞的通配符查詢、多條件組合查詢、地理位置查詢、嵌套類型查詢、向量檢索介紹與使用和列存在性查詢，您可以選擇合適的查詢類型進(jìn)行多維度數(shù)據(jù)查詢。

  如果要對結(jié)果集進(jìn)行排序或者翻頁，您可以使用排序和翻頁功能來實(shí)現(xiàn)。具體操作，請參見排序和翻頁。

  如果要按照某一列對結(jié)果集做折疊，使對應(yīng)類型的數(shù)據(jù)在結(jié)果展示中只出現(xiàn)一次，您可以使用折疊（去重）功能來實(shí)現(xiàn)。具體操作，請參見折疊（去重）。

• 如果要進(jìn)行數(shù)據(jù)分析，例如求最值、求和、統(tǒng)計(jì)行數(shù)等，您可以使用Search接口的統(tǒng)計(jì)聚合功能或者SQL查詢來實(shí)現(xiàn)。具體操作，請參見統(tǒng)計(jì)聚合和SQL查詢。

• 如果要快速導(dǎo)出數(shù)據(jù)，而不關(guān)心整個(gè)結(jié)果集的順序時(shí)，您可以使用ParallelScan接口和ComputeSplits接口實(shí)現(xiàn)多并發(fā)導(dǎo)出數(shù)據(jù)。具體操作，請參見并發(fā)導(dǎo)出數(shù)據(jù)。

附錄1：與BoolQuery組合使用說明

KnnVectorQuery可以和BoolQuery自由組合使用，不同的組合使用方式會(huì)有不同的效果，以下對兩種常見的使用方式進(jìn)行說明。此處以一個(gè)Filter命中數(shù)據(jù)量較少的場景為例進(jìn)行介紹。

假設(shè)表中有1億張圖片，其中用戶“a”總計(jì)有5萬張圖片，但是近7天內(nèi)僅有50張圖片，用戶“a”希望以圖搜圖的方式找到7天內(nèi)最相似的10張圖片。由下表說明可知KnnVectorQuery的Filter內(nèi)部使用BoolQuery的組合使用方式能滿足用戶“a”的查詢需求。

附錄2：向量歸一化示例

向量歸一化的示例代碼如下：

  public static float[] l2normalize(float[] v, boolean throwOnZero) {
    double squareSum = 0.0f;
    int dim = v.length;
    for (float x : v) {
      squareSum += x * x;
    }
    if (squareSum == 0) {
      if (throwOnZero) {
        throw new IllegalArgumentException("can't normalize a zero-length vector");
      } else {
        return v;
      }
    }
    double length = Math.sqrt(squareSum);
    for (int i = 0; i < dim; i++) {
      v[i] /= length;
    }
    return v;
  }