在Linux中，可以使用uniq命令来去除文件中的重复行
uniq 文件名
例如，如果你有一个名为file.txt的文件，其中包含以下重复行：
apple
banana
apple
orange
banana
运行uniq file.txt后，你将得到一个不包含连续重复行的文件：
apple
banana
orange
要删除所有重复行，你需要先创建一个已排序的文件，然后将其与原始文件合并。这是一个示例：
sort 文件名 > 排序后的文件名
uniq 排序后的文件名 > 去重后的文件名
例如，如果你有一个名为file.txt的文件，你可以按照以下步骤操作：
sort file.txt > sorted_file.txt
uniq sorted_file.txt > unique_file.txt
这将创建一个名为unique_file.txt的文件，其中包含不重复的行：
apple
banana
orange
请注意，这种方法可能会更改行的顺序。如果你需要保留原始顺序，可以使用以下命令：
awk '!seen[$0]++' 文件名 > 去重后的文件名
例如：
awk '!seen[$0]++' file.txt > unique_file.txt
这将创建一个名为unique_file.txt的文件，其中包含不重复的行，并保持原始顺序：
apple
banana
orange
