創(chuàng)建doc_analyze推理模型

創(chuàng)建模板：

PUT _inference/doc_analyze/<inference_id>
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "<API-KEY>",
    "service_id": "<service_id>",
    "host": "<host>",
    "workspace": "<workspace_name>",
    "http_schema":"<http_schema>"
  }
}

參數(shù)說(shuō)明：

創(chuàng)建示例：

PUT _inference/doc_analyze/doc_analyze_test
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "OS-XXX",
    "service_id": "ops-document-analyze-001",
    "host" : "default-j01.platform-cnshanghai.opensearch.aliyuncs.com",
    "workspace" : "default"
  }
}

調(diào)用doc_analyze推理模型

調(diào)用模板：

POST _inference/doc_analyze/<inference_id>
{
  "input": ["http://opensearch-shanghai.oss-cn-shanghai.aliyuncs.com/chatos/rag/file-parser/samples/GB10767.pdf"], # 可以是url, content or task_id
  "task_settings": {
    "document": {
      "input_type": "url", # optional, url, content or task_id, default url. 為task_id時(shí)查詢異步task結(jié)果
      "file_name": "<file_name>", # optional, url無(wú)法推斷時(shí)上傳
      "file_type": "<file_type>", # optional, file_name無(wú)法推斷時(shí)上傳
    },
    "output": {
      "image_storage" : "<image_storage>" # optional, default base64
    },
    "is_async" : "<true or false>", # 默認(rèn)false
  }
}

參數(shù)說(shuō)明：

調(diào)用示例：

# 同步
POST _inference/doc_analyze/doc_analyze_test
{
  "input": ["http://opensearch-shanghai.oss-cn-shanghai.aliyuncs.com/chatos/rag/file-parser/samples/GB10767.pdf"]
}

# 異步
POST _inference/doc_analyze/doc_analyze_test
{
  "input": ["http://opensearch-shanghai.oss-cn-shanghai.aliyuncs.com/chatos/rag/file-parser/samples/GB10767.pdf"],
    "task_settings": {
    "document":{
      "input_type": "url"
    },
    "is_async" : true
  }
}

# 獲取異步結(jié)果
POST _inference/doc_analyze/os-doc-a
{
  "input": ["8e8f1137-ffd6-4670-b63e-86906882793d"],
    "task_settings": {
    "document":{
      "input_type": "task_id"
    },
    "is_async" : true
  }
}

創(chuàng)建img_analyze推理模型

創(chuàng)建模板：

PUT _inference/img_analyze/<inference_id>
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "<API-KEY>",
    "service_id": "<service_id>",
    "host": "<host>",
    "workspace": "<workspace_name>",
    "http_schema":"<http_schema>"
  }
}

參數(shù)說(shuō)明：

創(chuàng)建示例：

PUT _inference/img_analyze/img_analyze_test
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "OS-XXX",
    "service_id": "ops-image-analyze-ocr-001",
    "host" : "default-j01.platform-cn-shanghai.opensearch.aliyuncs.com",
    "workspace" : "default"
  }
}

調(diào)用img_analyze推理模型

調(diào)用模板：

POST _inference/img_analyze/<inference_id>
{
  "input": ["https://img.alicdn.com/imgextra/i1/O1CN01WksnF41hlhBFsXDNB_!!6000000004318-0-tps-1000-1400.jpg"], # 可以是url, content or task_id
  "task_settings": {
    "document": {
      "input_type": "url", # optional, url, content or task_id, default url
      "file_name": "<file_name>", # optional, url無(wú)法推斷時(shí)上傳
      "file_type": "<file_type>", # optional, file_name無(wú)法推斷時(shí)上傳
    },
    "is_async" : "<true or false>" # 默認(rèn)false
  }
}

參數(shù)說(shuō)明：

調(diào)用示例：

# 同步
POST _inference/img_analyze/os-img-a
{
  "input": ["https://img.alicdn.com/imgextra/i1/O1CN01WksnF41hlhBFsXDNB_!!6000000004318-0-tps-1000-1400.jpg"]
}

# 異步
POST _inference/img_analyze/os-img-a
{
  "input": ["https://img.alicdn.com/imgextra/i1/O1CN01WksnF41hlhBFsXDNB_!!6000000004318-0-tps-1000-1400.jpg"],
      "task_settings": {
    "document":{
      "input_type": "url"
    },
    "is_async" : true
  }
}

# 獲取異步結(jié)果
POST _inference/img_analyze/os-img-a
{
  "input": ["0239f61f-dd46-45ef-8cf1-affdd205a8c9"],
      "task_settings": {
    "document":{
      "input_type": "task_id"
    }
    "is_async" : true
  }
}

創(chuàng)建splic_doc推理模型

創(chuàng)建模板：

PUT _inference/doc_split/<inference_id>
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "host" : "<host>",
    "api_key":"<api_key>",
    "service_id": "<service_id>",
    "workspace" : "<work_space>",
    "http_schema":"<http_schema>"
  },
  "task_settings": {
    "document":{
      "content_encoding":"<document.content_encoding>",
      "content_type":"<document.content_type>"
    },
    "strategy":{
      "type":"<strategy.type>",
      "max_chunk_size":<strategy.max_chunk_size>,
      "compute_type":"<strategy.compute_type>",
      "need_sentence":"<strategy.need_sentence>"
    }
  }
}

參數(shù)說(shuō)明：

創(chuàng)建示例：

PUT _inference/doc_split/os-doc-split
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "OS-xxx",
    "service_id": "ops-document-split-001",
    "host" : "default-j01.platform-cn-shanghai.opensearch.aliyuncs.com",
    "workspace" : "default"
  }
}

調(diào)用doc_split推理模型

調(diào)用模板：

POST _inference/doc_split/<inference_id>
{
  "input":"<input>"
}

參數(shù)說(shuō)明：

• <inference_id>：需要調(diào)用的inference endpoint標(biāo)識(shí)符。

• input：需要切片的純文本內(nèi)容。根據(jù)JSON標(biāo)準(zhǔn)，string字段如果包含字符\\、\"、\/、\b、\f、\n、\r或\t，需要轉(zhuǎn)義，常用json庫(kù)生成的json串無(wú)需手動(dòng)轉(zhuǎn)義。

調(diào)用示例：

# query
POST _inference/doc_split/os-doc-split
{
  "input":"Elasticsearch 是一個(gè)開(kāi)源的搜索引擎，建立在一個(gè)全文搜索引擎庫(kù) Apache Lucene? 基礎(chǔ)之上。 Lucene 可以說(shuō)是當(dāng)下最先進(jìn)、高性能、全功能的搜索引擎庫(kù)—?無(wú)論是開(kāi)源還是私有。但是 Lucene 僅僅只是一個(gè)庫(kù)。為了充分發(fā)揮其功能，你需要使用 Java 并將 Lucene 直接集成到應(yīng)用程序中。 更糟糕的是，您可能需要獲得信息檢索學(xué)位才能了解其工作原理。Lucene 非常 復(fù)雜。Elasticsearch 也是使用 Java 編寫(xiě)的，它的內(nèi)部使用 Lucene 做索引與搜索，但是它的目的是使全文檢索變得簡(jiǎn)單， 通過(guò)隱藏 Lucene 的復(fù)雜性，取而代之的提供一套簡(jiǎn)單一致的 RESTful API。然而，Elasticsearch 不僅僅是 Lucene，并且也不僅僅只是一個(gè)全文搜索引擎。 它可以被下面這樣準(zhǔn)確的形容：一個(gè)分布式的實(shí)時(shí)文檔存儲(chǔ)，每個(gè)字段可以被索引與搜索.一個(gè)分布式實(shí)時(shí)分析搜索引擎.能勝任上百個(gè)服務(wù)節(jié)點(diǎn)的擴(kuò)展，并支持 PB 級(jí)別的結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù).Elasticsearch 將所有的功能打包成一個(gè)單獨(dú)的服務(wù)，這樣你可以通過(guò)程序與它提供的簡(jiǎn)單的 RESTful API 進(jìn)行通信， 可以使用自己喜歡的編程語(yǔ)言充當(dāng) web 客戶端，甚至可以使用命令行（去充當(dāng)這個(gè)客戶端）。就 Elasticsearch 而言，起步很簡(jiǎn)單。對(duì)于初學(xué)者來(lái)說(shuō)，它預(yù)設(shè)了一些適當(dāng)?shù)哪J(rèn)值，并隱藏了復(fù)雜的搜索理論知識(shí)。 它 開(kāi)箱即用。只需最少的理解，你很快就能具有生產(chǎn)力。隨著你知識(shí)的積累，你可以利用 Elasticsearch 更多的高級(jí)特性，它的整個(gè)引擎是可配置并且靈活的。 從眾多高級(jí)特性中，挑選恰當(dāng)去修飾的 Elasticsearch，使它能解決你本地遇到的問(wèn)題。你可以免費(fèi)下載，使用，修改 Elasticsearch。它在 Apache 2 license 協(xié)議下發(fā)布的， 這是眾多靈活的開(kāi)源協(xié)議之一。Elasticsearch 的源碼被托管在 Github 上 github.com/elastic/elasticsearch。 如果你想加入我們這個(gè)令人驚奇的 contributors 社區(qū)，看這里 Contributing to Elasticsearch。如果你對(duì) Elasticsearch 有任何相關(guān)的問(wèn)題，包括特定的特性(specific features)、語(yǔ)言客戶端(language clients)、插件(plugins)，可以在這里 discuss.elastic.co 加入討論。"
}

# response
{
  "doc_split": {
    "rich_texts": [],
    "nodes": [
      {
        "parent_id": "af0d0ddc07844835883c76c046cb97fd",
        "id": "af0d0ddc07844835883c76c046cb97fd",
        "type": "root"
      },
      {
        "parent_id": "af0d0ddc07844835883c76c046cb97fd",
        "id": "d77e2ff8d7724ae797f991580299b680",
        "type": "sentence_node"
      },
      {
        "parent_id": "af0d0ddc07844835883c76c046cb97fd",
        "id": "aef1bc5fe2354f7a8b76ce07249a1836",
        "type": "sentence_node"
      }
    ],
    "chunks": [
      {
        "meta": {
          "parent_id": "af0d0ddc07844835883c76c046cb97fd",
          "id": "d77e2ff8d7724ae797f991580299b680",
          "type": "text",
          "token": 298
        },
        "content": "Elasticsearch 是一個(gè)開(kāi)源的搜索引擎，建立在一個(gè)全文搜索引擎庫(kù) Apache Lucene? 基礎(chǔ)之上。 Lucene 可以說(shuō)是當(dāng)下最先進(jìn)、高性能、全功能的搜索引擎庫(kù)—?無(wú)論是開(kāi)源還是私有。但是 Lucene 僅僅只是一個(gè)庫(kù)。為了充分發(fā)揮其功能，你需要使用 Java 并將 Lucene 直接集成到應(yīng)用程序中。 更糟糕的是，您可能需要獲得信息檢索學(xué)位才能了解其工作原理。Lucene 非常 復(fù)雜。Elasticsearch 也是使用 Java 編寫(xiě)的，它的內(nèi)部使用 Lucene 做索引與搜索，但是它的目的是使全文檢索變得簡(jiǎn)單， 通過(guò)隱藏 Lucene 的復(fù)雜性，取而代之的提供一套簡(jiǎn)單一致的 RESTful API。然而，Elasticsearch 不僅僅是 Lucene，并且也不僅僅只是一個(gè)全文搜索引擎。 它可以被下面這樣準(zhǔn)確的形容：一個(gè)分布式的實(shí)時(shí)文檔存儲(chǔ)，每個(gè)字段可以被索引與搜索.一個(gè)分布式實(shí)時(shí)分析搜索引擎.能勝任上百個(gè)服務(wù)節(jié)點(diǎn)的擴(kuò)展，并支持 PB 級(jí)別的結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù).Elasticsearch 將所有的功能打包成一個(gè)單獨(dú)的服務(wù)，這樣你可以通過(guò)程序與它提供的簡(jiǎn)單的 RESTful API 進(jìn)行通信， 可以使用自己喜歡的編程語(yǔ)言充當(dāng) web 客戶端，甚至可以使用命令行（去充當(dāng)這個(gè)客戶端）。就 Elasticsearch 而言，起步很簡(jiǎn)單。對(duì)于初學(xué)者來(lái)說(shuō)，它預(yù)設(shè)了一些適當(dāng)?shù)哪J(rèn)值，并隱藏了復(fù)雜的搜索理論知識(shí)。 它 開(kāi)箱即用"
      },
      {
        "meta": {
          "parent_id": "af0d0ddc07844835883c76c046cb97fd",
          "id": "aef1bc5fe2354f7a8b76ce07249a1836",
          "type": "text",
          "token": 160
        },
        "content": "只需最少的理解，你很快就能具有生產(chǎn)力。隨著你知識(shí)的積累，你可以利用 Elasticsearch 更多的高級(jí)特性，它的整個(gè)引擎是可配置并且靈活的。 從眾多高級(jí)特性中，挑選恰當(dāng)去修飾的 Elasticsearch，使它能解決你本地遇到的問(wèn)題。你可以免費(fèi)下載，使用，修改 Elasticsearch。它在 Apache 2 license 協(xié)議下發(fā)布的， 這是眾多靈活的開(kāi)源協(xié)議之一。Elasticsearch 的源碼被托管在 Github 上 github.com/elastic/elasticsearch。 如果你想加入我們這個(gè)令人驚奇的 contributors 社區(qū)，看這里 Contributing to Elasticsearch。如果你對(duì) Elasticsearch 有任何相關(guān)的問(wèn)題，包括特定的特性(specific features)、語(yǔ)言客戶端(language clients)、插件(plugins)，可以在這里 discuss.elastic.co 加入討論。"
      }
    ]
  }
}

創(chuàng)建text_embedding推理模型

創(chuàng)建模板：

PUT _inference/text_embedding/<inference_id>
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "<API-KEY>",
    "service_id": "<service_id>",
    "host": "<host>",
    "workspace": "<workspace_name>",
    "http_schema":"<http_schema>"
  },
  "task_settings": {
    "input_type": "<input_type>"
  }
}

參數(shù)說(shuō)明：

創(chuàng)建示例：

PUT _inference/text_embedding/os-embeddings
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "OS-xxx",
    "service_id": "ops-text-embedding-001",
    "host" : "default-j01.platform-cn-shanghai.opensearch.aliyuncs.com",
    "workspace" : "default"
  }
}

調(diào)用text_embedding推理模型

調(diào)用模板：

POST _inference/text_embedding/<inference_id>
{
  "input":[<input>]
}

參數(shù)說(shuō)明：

• <inference_id>：需要調(diào)用的inference endpoint標(biāo)識(shí)符。

• input：輸入內(nèi)容。每次請(qǐng)求最多支持32條文本輸入，每一條文本的長(zhǎng)度大小取決于選擇的模型。不支持空的字符串。

調(diào)用示例：

# query
POST _inference/text_embedding/os-embeddings
{
  "input":["科學(xué)技術(shù)是第一生產(chǎn)力",
        "elasticsearch產(chǎn)品文檔"]
}

# response
{
  "text_embedding": [
    {
      "embedding": [
        -0.029408421,
        0.061318535,
        ... 
        ]
    },
    {
      "embedding": [
        0.01568979,
        0.065073475,
        ...
        ]
    }
  ]
}

創(chuàng)建query_analyze推理模型

創(chuàng)建模板：

PUT _inference/query_analyze/<inference_id>
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "host" : "<host>",
    "api_key":"<api_key>",
    "service_id": "<service_id>",
    "workspace" : "<work_space>",
    "http_schema":"<http_schema>"
  }
}

參數(shù)說(shuō)明：

創(chuàng)建示例：

PUT _inference/query_analyze/query_analyze_test
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "OS-xxx",
    "service_id": "ops-query-analyze-001",
    "host": "default-***.platform-cn-shanghai.opensearch.aliyuncs.com",
    "workspace": "default"
  }
}

調(diào)用query_analyze推理模型

調(diào)用模板：

POST _inference/query_analyze/<inference_id>
{
  "input":"<input>",
  "task_settings": {
    "history": [
      {
        "content": "<history.content>",
        "role": "<history.role>"
      },
      {
        "content": "<history.content>",
        "role": "<history.role>"
      }
    ]
  }
}

參數(shù)說(shuō)明：

調(diào)用示例：

POST _inference/query_analyze/query_analyze_test
{
  "input":"有多少人口",
  "task_settings": {
    "history": [
      {
        "content": "中國(guó)的首都在哪",
        "role": "user"
      },
      {
        "content": "北京",
        "role": "assistant"
      }
    ]
  }
}

創(chuàng)建rerank推理服務(wù)

創(chuàng)建模板：

PUT _inference/rerank/<inference_id>
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "host": "<host>",
    "api_key": "<API-KEY>",
    "service_id": "<service_id>",
    "workspace": "<workspace_name>",
    "http_schema":"<http_schema>"
  }
}

參數(shù)說(shuō)明：

調(diào)用示例：

PUT _inference/rerank/os-rerank
{
  "service": "alibabacloud-ai-search",
  "service_settings": {
    "api_key": "OS-xxx",
    "service_id": "ops-bge-reranker-larger",
    "host" : "default-j01.platform-cn-shanghai.opensearch.aliyuncs.com",
    "workspace" : "default"
  }
}

調(diào)用rerank推理模型

調(diào)用模板：

POST _inference/rerank/<inference_id>
{
  "input": [<input_list>],
  "query": "<query>"
}

參數(shù)說(shuō)明：

• infenrece_id：需要調(diào)用的inference endpoint標(biāo)識(shí)符。

• input：列表形式的文檔內(nèi)容。

• query：查詢內(nèi)容。

調(diào)用示例：

# query
POST _inference/rerank/os-rerank
{
  "input": ["luke", "like", "leia", "chewy","r2d2", "star", "wars"],
  "query": "star wars main character"
}

# response
{
  "rerank": [
    {
      "index": 5,
      "score": 0.34587815
    },
    {
      "index": 6,
      "score": 0.10338597
    },
    {
      "index": 2,
      "score": 0.071332
    },
    {
      "index": 0,
      "score": 0.04681203
    },
    {
      "index": 4,
      "score": 0.015189049
    },
    {
      "index": 1,
      "score": 0.0013406205
    },
    {
      "index": 3,
      "score": 0.00109019
    }
  ]
}

創(chuàng)建completion推理模型

創(chuàng)建模板：

PUT _inference/completion/<inference_id>
{
    "service": "alibabacloud-ai-search",
    "service_settings": {
      "api_key":"<api_key>",
      "service_id": "<service_id>",
      "host" : "<host>",
      "workspace" : "<work_space>",
      "http_schema":"<http_schema>"
    }
}

參數(shù)說(shuō)明：

創(chuàng)建示例：

PUT _inference/completion/os-completion-test
{
    "service": "alibabacloud-ai-search",
    "service_settings": {
      "api_key": "OS-xxx",
      "service_id": "ops-qwen-turbo",
      "workspace" : "default",
      "host" : "default-XXX.platform-cn-shanghai.opensearch.aliyuncs.com"
    }
}

調(diào)用completion推理模型

調(diào)用模板：

POST _inference/completion/<inference_id>
{
  "input":["<input>"]
}

參數(shù)說(shuō)明：

• <inference_id>：需要調(diào)用的inference endpoint標(biāo)識(shí)符。

• input：模型輸入內(nèi)容。輸入需要為奇數(shù)（n + 1）個(gè)，前n個(gè)輸入代表用戶和模型的對(duì)話，最后一個(gè)輸入代表當(dāng)前的輸入信息。

調(diào)用示例：

POST _inference/completion/os-completion-test
{
  "input":["河南省會(huì)是哪里"]
}

POST _inference/completion/os-completion-test
{
  "input":["河南省會(huì)是哪里", "鄭州", "那里有什么好玩的"]
}

split doc processor

split doc processor使用doc_split模型，將一個(gè)富文本切成多個(gè)chunk。

創(chuàng)建split doc processor

PUT _ingest/pipeline/<pipeline_name>
{
  "description": "<description>",
  "processors": [
    {
      "document_splitting": {
        "model_id": "<model_id>",
        "input_output": [
          {
            "input_field": "<input_type>",
            "output_field": "<input_field>",
            "extend_output_field": "<extend_output_field>"
          }
        ]
      }
    }
  ]
}

參數(shù)說(shuō)明：

調(diào)用示例：

PUT _ingest/pipeline/os-split-doc-pipeline
{
  "description": "This is an example of split doc pipeline",
  "processors": [
    {
      "document_splitting": {
        "model_id": "os-doc-split",
        "input_output": [
          {
            "input_field": "content",
            "output_field": "chunk",
            "extend_output_field": "chunk_ext"
          }
        ]
      }
    }
  ]
}

使用_simulate測(cè)試pipeline功能

POST _ingest/pipeline/os-split-doc-pipeline/_simulate
{
  "docs": [
    {
      "_index": "testindex",
      "_id": "1",
      "_source":{
        "content": "Elasticsearch 是一個(gè)開(kāi)源的搜索引擎，建立在一個(gè)全文搜索引擎庫(kù) Apache Lucene? 基礎(chǔ)之上。 Lucene 可以說(shuō)是當(dāng)下最先進(jìn)、高性能、全功能的搜索引擎庫(kù)—?無(wú)論是開(kāi)源還是私有。但是 Lucene 僅僅只是一個(gè)庫(kù)。為了充分發(fā)揮其功能，你需要使用 Java 并將 Lucene 直接集成到應(yīng)用程序中。 更糟糕的是，您可能需要獲得信息檢索學(xué)位才能了解其工作原理。Lucene 非常 復(fù)雜。Elasticsearch 也是使用 Java 編寫(xiě)的，它的內(nèi)部使用 Lucene 做索引與搜索，但是它的目的是使全文檢索變得簡(jiǎn)單， 通過(guò)隱藏 Lucene 的復(fù)雜性，取而代之的提供一套簡(jiǎn)單一致的 RESTful API。然而，Elasticsearch 不僅僅是 Lucene，并且也不僅僅只是一個(gè)全文搜索引擎。 它可以被下面這樣準(zhǔn)確的形容：一個(gè)分布式的實(shí)時(shí)文檔存儲(chǔ)，每個(gè)字段可以被索引與搜索.一個(gè)分布式實(shí)時(shí)分析搜索引擎.能勝任上百個(gè)服務(wù)節(jié)點(diǎn)的擴(kuò)展，并支持 PB 級(jí)別的結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù).Elasticsearch 將所有的功能打包成一個(gè)單獨(dú)的服務(wù)，這樣你可以通過(guò)程序與它提供的簡(jiǎn)單的 RESTful API 進(jìn)行通信， 可以使用自己喜歡的編程語(yǔ)言充當(dāng) web 客戶端，甚至可以使用命令行（去充當(dāng)這個(gè)客戶端）。就 Elasticsearch 而言，起步很簡(jiǎn)單。對(duì)于初學(xué)者來(lái)說(shuō)，它預(yù)設(shè)了一些適當(dāng)?shù)哪J(rèn)值，并隱藏了復(fù)雜的搜索理論知識(shí)。 它 開(kāi)箱即用。只需最少的理解，你很快就能具有生產(chǎn)力。隨著你知識(shí)的積累，你可以利用 Elasticsearch 更多的高級(jí)特性，它的整個(gè)引擎是可配置并且靈活的。 從眾多高級(jí)特性中，挑選恰當(dāng)去修飾的 Elasticsearch，使它能解決你本地遇到的問(wèn)題。你可以免費(fèi)下載，使用，修改 Elasticsearch。它在 Apache 2 license 協(xié)議下發(fā)布的， 這是眾多靈活的開(kāi)源協(xié)議之一。Elasticsearch 的源碼被托管在 Github 上 github.com/elastic/elasticsearch。 如果你想加入我們這個(gè)令人驚奇的 contributors 社區(qū)，看這里 Contributing to Elasticsearch。如果你對(duì) Elasticsearch 有任何相關(guān)的問(wèn)題，包括特定的特性(specific features)、語(yǔ)言客戶端(language clients)、插件(plugins)，可以在這里 discuss.elastic.co 加入討論。"
      }
    }
    ]
}

返回的Response如下：

{
  "docs": [
    {
      "doc": {
        "_index": "testindex",
        "_version": "-3",
        "_id": "1",
        "_source": {
          "chunk_ext": [],
          "chunk": [
            {
              "meta": {
                "id": "0284a0f5644540c8b3c6ddefd897353f",
                "type": "text",
                "parent_id": "d88a5098fd5d446da7f81f9074b47591",
                "token": 298
              },
              "content": "Elasticsearch 是一個(gè)開(kāi)源的搜索引擎，建立在一個(gè)全文搜索引擎庫(kù) Apache Lucene? 基礎(chǔ)之上。 Lucene 可以說(shuō)是當(dāng)下最先進(jìn)、高性能、全功能的搜索引擎庫(kù)—?無(wú)論是開(kāi)源還是私有。但是 Lucene 僅僅只是一個(gè)庫(kù)。為了充分發(fā)揮其功能，你需要使用 Java 并將 Lucene 直接集成到應(yīng)用程序中。 更糟糕的是，您可能需要獲得信息檢索學(xué)位才能了解其工作原理。Lucene 非常 復(fù)雜。Elasticsearch 也是使用 Java 編寫(xiě)的，它的內(nèi)部使用 Lucene 做索引與搜索，但是它的目的是使全文檢索變得簡(jiǎn)單， 通過(guò)隱藏 Lucene 的復(fù)雜性，取而代之的提供一套簡(jiǎn)單一致的 RESTful API。然而，Elasticsearch 不僅僅是 Lucene，并且也不僅僅只是一個(gè)全文搜索引擎。 它可以被下面這樣準(zhǔn)確的形容：一個(gè)分布式的實(shí)時(shí)文檔存儲(chǔ)，每個(gè)字段可以被索引與搜索.一個(gè)分布式實(shí)時(shí)分析搜索引擎.能勝任上百個(gè)服務(wù)節(jié)點(diǎn)的擴(kuò)展，并支持 PB 級(jí)別的結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù).Elasticsearch 將所有的功能打包成一個(gè)單獨(dú)的服務(wù)，這樣你可以通過(guò)程序與它提供的簡(jiǎn)單的 RESTful API 進(jìn)行通信， 可以使用自己喜歡的編程語(yǔ)言充當(dāng) web 客戶端，甚至可以使用命令行（去充當(dāng)這個(gè)客戶端）。就 Elasticsearch 而言，起步很簡(jiǎn)單。對(duì)于初學(xué)者來(lái)說(shuō)，它預(yù)設(shè)了一些適當(dāng)?shù)哪J(rèn)值，并隱藏了復(fù)雜的搜索理論知識(shí)。 它 開(kāi)箱即用"
            },
            {
              "meta": {
                "id": "f6d8063c562240cabeb52365999eeea3",
                "type": "text",
                "parent_id": "d88a5098fd5d446da7f81f9074b47591",
                "token": 160
              },
              "content": "只需最少的理解，你很快就能具有生產(chǎn)力。隨著你知識(shí)的積累，你可以利用 Elasticsearch 更多的高級(jí)特性，它的整個(gè)引擎是可配置并且靈活的。 從眾多高級(jí)特性中，挑選恰當(dāng)去修飾的 Elasticsearch，使它能解決你本地遇到的問(wèn)題。你可以免費(fèi)下載，使用，修改 Elasticsearch。它在 Apache 2 license 協(xié)議下發(fā)布的， 這是眾多靈活的開(kāi)源協(xié)議之一。Elasticsearch 的源碼被托管在 Github 上 github.com/elastic/elasticsearch。 如果你想加入我們這個(gè)令人驚奇的 contributors 社區(qū)，看這里 Contributing to Elasticsearch。如果你對(duì) Elasticsearch 有任何相關(guān)的問(wèn)題，包括特定的特性(specific features)、語(yǔ)言客戶端(language clients)、插件(plugins)，可以在這里 discuss.elastic.co 加入討論。"
            }
          ],
          "content": "Elasticsearch 是一個(gè)開(kāi)源的搜索引擎，建立在一個(gè)全文搜索引擎庫(kù) Apache Lucene? 基礎(chǔ)之上。 Lucene 可以說(shuō)是當(dāng)下最先進(jìn)、高性能、全功能的搜索引擎庫(kù)—?無(wú)論是開(kāi)源還是私有。但是 Lucene 僅僅只是一個(gè)庫(kù)。為了充分發(fā)揮其功能，你需要使用 Java 并將 Lucene 直接集成到應(yīng)用程序中。 更糟糕的是，您可能需要獲得信息檢索學(xué)位才能了解其工作原理。Lucene 非常 復(fù)雜。Elasticsearch 也是使用 Java 編寫(xiě)的，它的內(nèi)部使用 Lucene 做索引與搜索，但是它的目的是使全文檢索變得簡(jiǎn)單， 通過(guò)隱藏 Lucene 的復(fù)雜性，取而代之的提供一套簡(jiǎn)單一致的 RESTful API。然而，Elasticsearch 不僅僅是 Lucene，并且也不僅僅只是一個(gè)全文搜索引擎。 它可以被下面這樣準(zhǔn)確的形容：一個(gè)分布式的實(shí)時(shí)文檔存儲(chǔ)，每個(gè)字段可以被索引與搜索.一個(gè)分布式實(shí)時(shí)分析搜索引擎.能勝任上百個(gè)服務(wù)節(jié)點(diǎn)的擴(kuò)展，并支持 PB 級(jí)別的結(jié)構(gòu)化或者非結(jié)構(gòu)化數(shù)據(jù).Elasticsearch 將所有的功能打包成一個(gè)單獨(dú)的服務(wù)，這樣你可以通過(guò)程序與它提供的簡(jiǎn)單的 RESTful API 進(jìn)行通信， 可以使用自己喜歡的編程語(yǔ)言充當(dāng) web 客戶端，甚至可以使用命令行（去充當(dāng)這個(gè)客戶端）。就 Elasticsearch 而言，起步很簡(jiǎn)單。對(duì)于初學(xué)者來(lái)說(shuō)，它預(yù)設(shè)了一些適當(dāng)?shù)哪J(rèn)值，并隱藏了復(fù)雜的搜索理論知識(shí)。 它 開(kāi)箱即用。只需最少的理解，你很快就能具有生產(chǎn)力。隨著你知識(shí)的積累，你可以利用 Elasticsearch 更多的高級(jí)特性，它的整個(gè)引擎是可配置并且靈活的。 從眾多高級(jí)特性中，挑選恰當(dāng)去修飾的 Elasticsearch，使它能解決你本地遇到的問(wèn)題。你可以免費(fèi)下載，使用，修改 Elasticsearch。它在 Apache 2 license 協(xié)議下發(fā)布的， 這是眾多靈活的開(kāi)源協(xié)議之一。Elasticsearch 的源碼被托管在 Github 上 github.com/elastic/elasticsearch。 如果你想加入我們這個(gè)令人驚奇的 contributors 社區(qū)，看這里 Contributing to Elasticsearch。如果你對(duì) Elasticsearch 有任何相關(guān)的問(wèn)題，包括特定的特性(specific features)、語(yǔ)言客戶端(language clients)、插件(plugins)，可以在這里 discuss.elastic.co 加入討論。"
        },
        "_ingest": {
          "timestamp": "2024-07-16T06:34:56.003299351Z"
        }
      }
    }
  ]
}

text embedding processor

text embedding processor簡(jiǎn)化了寫(xiě)入的embedding處理，text_embedding和sparse_embedding類型均可以使用該processor。

text embedding processor支持nested類型的文檔直接進(jìn)行embedding，不過(guò)受限于模型一次處理的embedding chunk數(shù)量，一般一個(gè)nested文檔不能超過(guò)32個(gè)子文檔。如果超過(guò)32個(gè)子文檔，需要使用foreach processor處理。

創(chuàng)建text embedding processor

PUT _ingest/pipeline/<pipeline_name>
{
  "description": "<description>",
  "processors": [
    {
      "text_embedding": {
        "model_id": "<model_id>",
        "input_output": [
          {
            "input_type" : "<input_type>",
            "input_field": "<input_field>",
            "output_field": "<output_field>"
          }
        ]
      }
    }
  ]
}

參數(shù)說(shuō)明：

調(diào)用示例：

PUT _ingest/pipeline/os-embedding-pipeline
{
  "description": "This is an example of embedding fields",
  "processors": [
    {
      "text_embedding": {
        "model_id": "os-embeddings",
        "input_output": [
          {
            "input_field": "content",
            "output_field": "content_embedding"
          }
        ]
      }
    }
  ]
}

使用_simulate測(cè)試pipeline的功能

POST _ingest/pipeline/os-embedding-pipeline/_simulate
{
  "docs": [
    {
      "_index": "testindex",
      "_id": "1",
      "_source":{
        "content": "elasticsearch產(chǎn)品文檔"
      }
    }
    ]
}

正確的返回結(jié)果：

{
  "docs": [
    {
      "doc": {
        "_index": "testindex",
        "_version": "-3",
        "_id": "1",
        "_source": {
          "content_embedding": [
            0.01568979024887085,
            0.06507347524166107,
            ...
          ],
          "model_id": "os-embeddings",
          "content": "elasticsearch產(chǎn)品文檔"
        },
        "_ingest": {
          "timestamp": "2024-07-16T06:36:06.803526132Z"
        }
      }
    }
  ]
}