日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

數據湖構建(DLF)

本文介紹以數據湖構建(DLF)為數據源時如何添加表。

前置條件

  • 了解數據湖構建產品簡介

  • 已配置數據湖構建數據目錄ID數據庫數據表,將在配置數據同步中使用。

添加數據湖(DLF)數據源

  1. 實例詳情>表管理頁,點擊添加表

  2. 填寫表的基礎信息,點擊下一步dlf1cn.png配置說明

  • 表名稱:可自定義。

  • 數據分片數:分片數設置時,各索引表分片數需保持一致;或至少一個索引表分片數為1,其余索引表分片數一致。

  • 數據更新資源數:數據更新所用資源數,每個索引默認免費提供2個4核8G的更新資源,超出免費額度的資源將產生費用,詳情可參考向量檢索版計費概述

  • 場景模板:向量檢索版內置了3種模板可供用戶選擇:通用、向量-圖片搜索、向量-文本語義模板。

  1. 數據同步,配置數據源,校驗通過后,點擊下一步dlf2.png

  • 全量數據來源:選擇數據湖構建(DLF)。

  • 數據目錄ID:訪問的目標數據湖構建的數據目錄ID。

  • 數據庫:訪問的目標數據目錄下的數據庫。

  • 數據表:訪問的目標數據庫下的數據表。

    說明
    • 存量實例選擇數據湖構建(DLF)類型需升級引擎版本后使用。

    • 當前僅支持Paimon類型數據目錄。

    • Paimon主鍵表支持增刪改查,Paimon Append格式表僅支持寫入,不支持更改與刪除。

  1. 字段配置,配置完成后,點擊下一步:cn3字段配置.png

    說明
    • 必選字段有:主鍵字段和向量字段,主鍵字段為int或string類型并且需要勾選主鍵按鈕,向量字段為float類型并且需要勾選向量字段按鈕。

    • 向量字段默認為多值的float類型。

    • 當數據中缺少字段或字段為空時,系統將自動補充默認值,數字類型默認補0,STRING類型默認補空字符串,支持自定義默認值。

  2. 索引結構配置,配置完成后,點擊下一步:cn4索引結構.png此處主要針對向量索引進行配置:

  • 主鍵字段、向量字段必須填寫,命名空間字段非必填,可以為空。

  • 僅支持選擇固定的三個字段,不支持新增。

  • 向量維度:根據模型生成的向量按需選擇。

  • 距離類型:根據模型生成的向量按需選擇,系統支持的距離類型有兩種:SquareEuclidean和InnerProduct。

  • 向量索引算法:根據模型生成的向量按需選擇,系統支持的向量索引算法有量化聚類(Quantized Clustering)linearHNSW(Hierarchical Navigable Small World)

  • 實時索引:表示API的增量數據是否需要實時構建向量索引,默認為true。

    其他高級配置,可點擊展開進行配置,參數說明可參考向量索引通用配置cn4高級配置.png

  1. 確認創建,點擊確認創建后,系統將自動創建配置好的表,可在變更歷史中查看創建表進度:cn變更歷史.png

  2. 當表狀態在使用中時,即可在查詢測試頁面進行查詢測試。

注意事項

DLF的Paimon表有新數據寫入時,OpenSearch會基于新數據自動觸發實時索引構建,如果通過API手動寫入數據,可能引起數據一致性問題,請謹慎操作。