在Hive中，可以使用DISTINCT关键字来去除数据中的重复记录。以下是一个简单的示例：
假设我们有一个名为employees的表，其中包含以下列：id，name，age和department。
CREATE TABLE employees (
id INT,
name STRING,
age INT,
department STRING
);
现在，我们想要查询这个表中的所有不重复记录。可以使用以下查询：
SELECT DISTINCT * FROM employees;
这将返回employees表中所有不重复的记录。
如果你只想去除某些列的重复记录，可以将DISTINCT关键字应用于这些列。例如，如果我们只想去除name和department列的重复记录，可以使用以下查询：
SELECT DISTINCT name, department FROM employees;
这将返回employees表中所有不重复的name和department组合。
请注意，在使用DISTINCT关键字时，Hive会对结果集进行排序，以便更容易地识别重复记录。因此，如果你关心性能，建议在查询中包含ORDER BY子句，以便在对结果集进行排序时获得更好的性能。例如：
SELECT DISTINCT name, department FROM employees ORDER BY name, department;
