在Linux中,可以使用uniq
命令来去除文件中的重复行
uniq input_file > output_file
这将把input_file
中的连续重复行删除,并将结果保存到output_file
中。如果你想直接修改原始文件,可以使用-i
选项:
uniq -i input_file > output_file
uniq -d input_file > output_file
这将把input_file
中的所有重复行删除,并将结果保存到output_file
中。如果你想直接修改原始文件,可以使用-i
选项:
uniq -di input_file > output_file
如果你想从文件中提取不重复的行,并将其传递给其他命令(例如grep
),可以使用管道(|
):
uniq input_file | grep "pattern"
这将首先去除input_file
中的重复行,然后使用grep
搜索包含特定模式的行。