日本熟妇hd丰满老熟妇,中文字幕一区二区三区在线不卡 ,亚洲成片在线观看,免费女同在线一区二区

Spark訪問云HBase或Lindorm

本文介紹Spark如何訪問云HBase。

Spark SQL訪問云HBase

訪問命令示例如下。

spark-sql --jars alihbase-connector-2.1.0.jar,alihbase-client-2.1.0.jar,hbase-spark-1.0.1-SNAPSHOT.jar,/hbase_home/hbase-shaded-client-2.1.0.jar,/hbase_home/hbase-shaded-mapreduce-2.1.0.jar
說明
  • alihbase-connector-2.1.0.jar,alihbase-client-2.1.0.jar中包含了版本信息,您可以替換為其他版本。

  • hbase-spark-1.0.1-SNAPSHOT.jar中包含了org.apache.hadoop.hbase.spark的Spark DataSource,您可以參考HBase Connector編譯適配自己集群的Spark DataSource版本。

  • /hbase_home/hbase-shaded-client-2.1.0.jar,/hbase_home/hbase-shaded-mapreduce-2.1.0.jar是原生HBase安裝目錄的文件。

建表和讀取數(shù)據(jù)示例如下。

CREATE TABLE test_hbase
USING org.apache.hadoop.hbase.spark
OPTIONS (
  'catalog'=
        '{
            "table": {
                "namespace": "default",
                "name": "test1"
            },
            "rowkey": "rowkey",
            "columns": {
                "rowkey": {
                    "cf": "rowkey",
                    "col": "rowkey",
                    "type": "string"
                },
                "name": {
                    "cf": "f1",
                    "col": "name",
                    "type": "string"
                }
            }
        }'
,'hbase.spark.use.hbasecontext'='false');

select * from test_hbase;
                

Spark訪問Lindorm與訪問云HBase方法一致,請(qǐng)自行替換。

相關(guān)文檔