在Hive中，可以使用DISTINCT关键字来去除数据中的重复记录。以下是一个简单的示例：
假设我们有一个名为employees的表，其中包含以下列：id，name，age和department。我们希望从这个表中删除重复的记录，只保留每个员工的唯一记录。
首先，我们可以使用SELECT DISTINCT语句来查看去除重复记录后的结果：
计算
安全
数据库
网络和加速
企业服务
SELECT DISTINCT id, name, age, department
FROM employees;
这将返回一个不包含重复记录的结果集。
接下来，我们可以使用INSERT [OVERWRITE] TABLE语句将去重后的结果写回到原始表中：
INSERT OVERWRITE TABLE employees
SELECT DISTINCT id, name, age, department
FROM employees;
这将覆盖原始表中的所有记录，只保留不重复的记录。
注意：在执行此操作之前，建议先备份原始表，以防止数据丢失。
亿速云「云服务器」，即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘，价格低至29元/月。点击查看>>
推荐阅读：hive去重在数据同步中如何操作
