High Level REST Client(7.x)
本文基于Java High Level REST Client 7.x版本,為您介紹Elasticsearch Java API的用法。
準(zhǔn)備工作
創(chuàng)建阿里云Elasticsearch實例,版本要求大于等于Java High Level REST Client的版本。
本文創(chuàng)建一個7.x版本的實例,創(chuàng)建方法請參見創(chuàng)建阿里云Elasticsearch實例。
說明High Level Client能夠向上兼容,例如7.10版本的Java High Level REST Client能確保與7.10及以上版本的Elasticsearch集群通信。為了保證最大程度地使用新版客戶端的特性,推薦High Level Client版本與集群版本一致。
開啟阿里云Elasticsearch實例的自動創(chuàng)建索引功能。
具體操作步驟請參見配置YML參數(shù)。
如果未開啟會提示如下報錯。
配置阿里云Elasticsearch實例的白名單,確保網(wǎng)絡(luò)互通。
如果運(yùn)行Java代碼的服務(wù)器在公網(wǎng)環(huán)境下,可通過阿里云Elasticsearch實例的公網(wǎng)地址進(jìn)行連通。連通前,需要開啟阿里云Elasticsearch實例的公網(wǎng)地址,并修改公網(wǎng)地址訪問白名單,將服務(wù)器的公網(wǎng)IP地址加入白名單中。具體操作步驟請參見配置實例公網(wǎng)或私網(wǎng)訪問白名單。
重要如果您的客戶端處在家庭網(wǎng)絡(luò)或公司局域網(wǎng)中,您需要將局域網(wǎng)的公網(wǎng)出口IP地址添加到白名單中,而非客戶端機(jī)器的內(nèi)網(wǎng)地址。建議您通過瀏覽器訪問cip.cc獲取您當(dāng)前使用的公網(wǎng)IP地址。
您也可以將白名單配置為0.0.0.0/0,允許所有IPv4地址訪問阿里云Elasticsearch實例。此配置會導(dǎo)致實例完全暴露在公網(wǎng)中,增加安全風(fēng)險,配置前請確認(rèn)您是否可以接受這個風(fēng)險。
如果未配置白名單或白名單配置錯誤,系統(tǒng)會提示連接超時報錯(Timeout connecting)。
如果您需要通過客戶端訪問Kibana節(jié)點,還需要配置Kibana的訪問白名單,詳細(xì)信息請參見配置Kibana公網(wǎng)或私網(wǎng)訪問白名單。
如果運(yùn)行Java代碼的服務(wù)器與阿里云Elasticsearch實例在同一專有網(wǎng)絡(luò)VPC(Virtual Private Cloud)中,可通過阿里云Elasticsearch實例的私網(wǎng)地址進(jìn)行連通。連通前,需要確保VPC私網(wǎng)訪問白名單(默認(rèn)為0.0.0.0/0)中已添加了服務(wù)器的內(nèi)網(wǎng)IP地址。
安裝Java,要求JDK版本為1.8及以上。
創(chuàng)建Java Maven工程,并將如下的pom依賴添加到Java工程的pom.xml文件中。
pom依賴
使用時,您需要將pom依賴中的7.x版本號替換為具體的版本號。
<dependency>
<groupId>org.elasticsearch.client</groupId>
<artifactId>elasticsearch-rest-high-level-client</artifactId>
<version>7.x</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-core</artifactId>
<version>2.20.0</version>
</dependency>
<dependency>
<groupId>org.apache.logging.log4j</groupId>
<artifactId>log4j-api</artifactId>
<version>2.20.0</version>
</dependency>
Log4j可能存在遠(yuǎn)程代碼執(zhí)行漏洞,詳細(xì)信息請參見漏洞公告 | Apache Log4j2遠(yuǎn)程代碼執(zhí)行漏洞。
示例
單擊下載完整示例代碼。
以下代碼使用Index API創(chuàng)建索引,使用Delete API刪除該索引,并演示了在JVM內(nèi)存分配比較有限的客戶端環(huán)境中,通過調(diào)整ResponseConsumer配置,限制異步響應(yīng)所占用的緩存的大小。
import org.apache.http.HttpHost;
import org.apache.http.auth.AuthScope;
import org.apache.http.auth.UsernamePasswordCredentials;
import org.apache.http.client.CredentialsProvider;
import org.apache.http.impl.client.BasicCredentialsProvider;
import org.apache.http.impl.nio.client.HttpAsyncClientBuilder;
import org.elasticsearch.action.delete.DeleteRequest;
import org.elasticsearch.action.delete.DeleteResponse;
import org.elasticsearch.action.index.IndexRequest;
import org.elasticsearch.action.index.IndexResponse;
import org.elasticsearch.client.*;
import java.io.IOException;
import java.util.HashMap;
import java.util.Map;
public class RestClientTest74 {
private static final RequestOptions COMMON_OPTIONS;
static {
RequestOptions.Builder builder = RequestOptions.DEFAULT.toBuilder();
// 默認(rèn)緩存限制為100MB,此處修改為30MB。
builder.setHttpAsyncResponseConsumerFactory(
new HttpAsyncResponseConsumerFactory
.HeapBufferedResponseConsumerFactory(30 * 1024 * 1024));
COMMON_OPTIONS = builder.build();
}
public static void main(String[] args) {
// 阿里云Elasticsearch集群需要basic auth驗證。
final CredentialsProvider credentialsProvider = new BasicCredentialsProvider();
//訪問用戶名和密碼為您創(chuàng)建阿里云Elasticsearch實例時設(shè)置的用戶名和密碼,也是Kibana控制臺的登錄用戶名和密碼。
credentialsProvider.setCredentials(AuthScope.ANY, new UsernamePasswordCredentials("{訪問用戶名}", "{訪問密碼}"));
// 通過builder創(chuàng)建rest client,配置http client的HttpClientConfigCallback。
// 單擊所創(chuàng)建的Elasticsearch實例ID,在基本信息頁面獲取公網(wǎng)地址,即為ES集群地址。
RestClientBuilder builder = RestClient.builder(new HttpHost("{ES集群地址}", 9200, "http"))
.setHttpClientConfigCallback(new RestClientBuilder.HttpClientConfigCallback() {
@Override
public HttpAsyncClientBuilder customizeHttpClient(HttpAsyncClientBuilder httpClientBuilder) {
return httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider);
}
});
// RestHighLevelClient實例通過REST high-level client builder進(jìn)行構(gòu)造。
RestHighLevelClient highClient = new RestHighLevelClient(builder);
try {
// 創(chuàng)建request。
Map<String, Object> jsonMap = new HashMap<>();
// field_01、field_02為字段名,value_01、value_02為對應(yīng)的值。
jsonMap.put("{field_01}", "{value_01}");
jsonMap.put("{field_02}", "{value_02}");
//index_name為索引名稱;type_name為類型名稱,7.0及以上版本必須為_doc;doc_id為文檔的id。
IndexRequest indexRequest = new IndexRequest("{index_name}", "_doc", "{doc_id}").source(jsonMap);
// 同步執(zhí)行,并使用自定義RequestOptions(COMMON_OPTIONS)。
IndexResponse indexResponse = highClient.index(indexRequest, COMMON_OPTIONS);
long version = indexResponse.getVersion();
System.out.println("Index document successfully! " + version);
//index_name為索引名稱;type_name為類型名稱,7.0及以上版本必須為_doc;doc_id為文檔的id。與以上創(chuàng)建索引的名稱和id相同。
DeleteRequest request = new DeleteRequest("{index_name}", "_doc", "{doc_id}");
DeleteResponse deleteResponse = highClient.delete(request, COMMON_OPTIONS);
System.out.println("Delete document successfully! \n" + deleteResponse.toString());
highClient.close();
} catch (IOException ioException) {
// 異常處理。
}
}
}
以上示例代碼中帶{}
的參數(shù)需要替換為您具體業(yè)務(wù)的參數(shù),詳情請參見代碼注釋。
若為高并發(fā)場景,需要增加客戶端連接數(shù),具體配置如下。
httpClientBuilder.setMaxConnTotal(500);
httpClientBuilder.setMaxConnPerRoute(300);
連接代碼示例:
String host = "127.0.0.1";
int port = 9200;
String username = "elastic";
String password = "passwd";
final int max_conn_total = 500;
final int max_conn_per_route = 300;
RestHighLevelClient restHighLevelClient = new RestHighLevelClient(
RestClient.builder(new HttpHost( host, 9200, "http")).setHttpClientConfigCallback(new RestClientBuilder.HttpClientConfigCallback() {
public HttpAsyncClientBuilder customizeHttpClient(HttpAsyncClientBuilder httpClientBuilder) {
httpClientBuilder.setMaxConnTotal(max_conn_total);
httpClientBuilder.setMaxConnPerRoute(max_conn_per_route);
return httpClientBuilder.setDefaultCredentialsProvider(credentialsProvider);
}
})
);
更多Java High Level REST Client的使用特性,請參見Java High Level REST Client官方文檔。