对于处理大文件,可以使用Linux的shuf命令来随机地对文件进行排序。以下是一些处理大文件的技巧:
shuf -n 100 input_file > output_file
split -b 1G input_file part_
然后,对每个小文件进行随机排序:
for file in part_*; do shuf $file -o $file.sorted; done
最后,可以合并所有排序后的小文件:
cat *.sorted > output_file
shuf --random-source=/dev/urandom input_file > output_file
通过这些技巧,可以更有效地处理大文件并对其进行随机排序。