訪問(wèn)寬表引擎數(shù)據(jù)
本文介紹如何在Lindorm計(jì)算引擎中通過(guò)SQL訪問(wèn)Lindorm寬表引擎數(shù)據(jù)。
準(zhǔn)備工作
通過(guò)SQL訪問(wèn)Lindorm寬表引擎數(shù)據(jù)前，需要了解使用須知。
根據(jù)作業(yè)的提交方式，請(qǐng)確保已完成了相應(yīng)的初始化工作：
訪問(wèn)寬表引擎數(shù)據(jù)
您可以直接在Catalog "lindorm_table"中訪問(wèn)Lindorm寬表引擎數(shù)據(jù)。Lindorm計(jì)算引擎不支持對(duì)Lindorm寬表引擎中的表進(jìn)行DDL操作和分區(qū)操作，僅支持常規(guī)DML操作。示例語(yǔ)句如下：
使用Catalog
"lindorm_table"。USE lindorm_table;查看表test的結(jié)構(gòu)。
SHOW CREATE TABLE test;返回內(nèi)容如下：
+----------------------------------------------------+ | CREATE TABLE default.test ( | | `id` INT, | | `name` STRING) | | | +----------------------------------------------------+向Lindorm寬表引擎中的表插入數(shù)據(jù)。
INSERT INTO test VALUES (0, 'Jay');查詢(xún)Lindorm寬表引擎中的表數(shù)據(jù)。
SELECT * FROM test;
更多SQL語(yǔ)法請(qǐng)參見(jiàn)DML。
BulkLoad寬表數(shù)據(jù)
BulkLoad數(shù)據(jù)導(dǎo)入的SQL語(yǔ)法和普通的INSERT語(yǔ)句語(yǔ)法相同。如果您需要通過(guò)SQL批量寫(xiě)入寬表引擎，可以配置如下參數(shù)：
配置項(xiàng) | 說(shuō)明 |
spark.sql.catalog.lindorm_table.bulkLoad.enabled | 是否開(kāi)啟BulkLoad導(dǎo)入功能。 取值如下：
|
spark.sql.catalog.lindorm_table.bulkLoad.parallelFactor | 寬表單分區(qū)的寫(xiě)入并發(fā)度。默認(rèn)值為 |
開(kāi)啟BulkLoad導(dǎo)入功能后，結(jié)果數(shù)據(jù)將直接生成寬表文件，并完成注冊(cè)，寫(xiě)入吞吐更高。
對(duì)于BulkLoad導(dǎo)入的數(shù)據(jù)，寬表不會(huì)自動(dòng)構(gòu)建二級(jí)索引和搜索索引。