開啟Spark SIMD JSON

您可以在E-MapReduce開啟Spark SIMD JSON。

針對SparkThriftServer

1. 進入集群服務頁面。

   1. 登錄EMR on ECS控制臺。

   2. 在頂部菜單欄處，根據實際情況選擇地域和資源組。

   3. 在EMR on ECS頁面，單擊目標集群操作列的集群服務。

2. 新增配置項。

   1. 在集群服務頁面，單擊Spark3服務區域的配置。

      本文以Spark3服務為例。

   2. 單擊spark-thriftserver.conf頁簽。

   3. 單擊新增配置項。

   4. 輸入Key為spark.sql.simd.json.enabled，Value為true的配置項。

   5. 單擊確定。

   6. 在彈出的對話中，輸入執行原因，單擊保存。

3. 重啟SparkThriftServer。

   1. 在集群服務頁面，單擊狀態頁簽。

   2. 在組件列表區域，單擊SparkThriftServer操作列的重啟。

   3. 在彈出的對話中，輸入執行原因，單擊確定。

   4. 在確認對話中，單擊確定。

針對Spark任務

spark.sql.simd.json.enabled=true

支持函數

支持以下函數，使用方法與原生Spark一致。

• get_json_object(expr, path)

  示例如下。

  SELECT get_json_object('{"a":"b"}', '$.a');
  b

• json_tuple(jsonStr, path1 [, ...] )

  示例如下。

  SELECT json_tuple('{"a":1, "b":2}', 'a', 'b'), 'Spark';
  1 2 Spark
  SELECT json_tuple('{"a":1, "b":2}', 'a', 'c'), 'Hive';
  1 NULL Hive