Spark訪問云HBase或Lindorm
更新時(shí)間:
本文介紹Spark如何訪問云HBase。
Spark SQL訪問云HBase
訪問命令示例如下。
spark-sql --jars alihbase-connector-2.1.0.jar,alihbase-client-2.1.0.jar,hbase-spark-1.0.1-SNAPSHOT.jar,/hbase_home/hbase-shaded-client-2.1.0.jar,/hbase_home/hbase-shaded-mapreduce-2.1.0.jar
說明
alihbase-connector-2.1.0.jar,alihbase-client-2.1.0.jar
中包含了版本信息,您可以替換為其他版本。hbase-spark-1.0.1-SNAPSHOT.jar
中包含了org.apache.hadoop.hbase.spark的Spark DataSource,您可以參考HBase Connector編譯適配自己集群的Spark DataSource版本。/hbase_home/hbase-shaded-client-2.1.0.jar,/hbase_home/hbase-shaded-mapreduce-2.1.0.jar
是原生HBase安裝目錄的文件。
建表和讀取數(shù)據(jù)示例如下。
CREATE TABLE test_hbase
USING org.apache.hadoop.hbase.spark
OPTIONS (
'catalog'=
'{
"table": {
"namespace": "default",
"name": "test1"
},
"rowkey": "rowkey",
"columns": {
"rowkey": {
"cf": "rowkey",
"col": "rowkey",
"type": "string"
},
"name": {
"cf": "f1",
"col": "name",
"type": "string"
}
}
}'
,'hbase.spark.use.hbasecontext'='false');
select * from test_hbase;
Spark訪問Lindorm與訪問云HBase方法一致,請(qǐng)自行替換。
相關(guān)文檔
文檔內(nèi)容是否對(duì)您有幫助?