服務

變更點

Druid

• 升級至0.15.1。

• 增加router組件。

• 升級fastjson。

Spark

• 更新spark thriftserver，解決class loader問題。

• 重構spark事務相關代碼，提升穩定性。

• 解決升builtin hive至2.3版本后orc格式讀寫問題。

• 支持merge into語法。

• 支持scan和stream語法。

• Structured Streaming Kafka sink支持EOS。

• delta更新至0.4.0。

Hive

• 刪除老版本的hive hook。

• 添加支持多個count distinct字段的數據傾斜處理優化。

• 解決join不同bucketversion的表時丟數據的問題。

Flink

升級至1.8.2。

Bigboot

• 更新小文件工具。

• 更新OSS JAR，解決非daemon線程問題。

Kafka

• 新增感知Deployment Set特性。

• 去掉fastjson依賴。

HDFS

• 優化SmartData OSS JAR包部署邏輯。

• 更新SmartData OSS JAR包。

Flume

升級fastjson。

Tensorflow on Spark

新增服務。

Has

升級fastjson。

Livy

升級fastjson。