本文介紹數據去重算子的使用方法和注意事項。
數據去重算子可以按照指定的字段去除重復的數據,只保留其中一條,然后輸出到下個節點。
適用場景
計算鏈路
計算引擎
是否支持
離線
MaxCompute
是
Hive
HiveStorage
RDS/MySQL
選擇需要去重的字段,選中的字段將作為該算子的輸出字段,數據中若包含多條重復記錄則僅保留第一條數據。