对于处理大文件,可以使用Linux的shuf命令来随机地对文件进行排序。以下是一些处理大文件的技巧:
shuf -n 100 input_file > output_file
split -b 1G input_file part_
然后,对每个小文件进行随机排序:
for file in part_*; do shuf $file -o $file.sorted; done
最后,可以合并所有排序后的小文件:
cat *.sorted > output_file
shuf --random-source=/dev/urandom input_file > output_file
通过这些技巧,可以更有效地处理大文件并对其进行随机排序。
亿速云「云服务器」,即开即用、新一代英特尔至强铂金CPU、三副本存储NVMe SSD云盘,价格低至29元/月。点击查看>>
推荐阅读:linux shuf命令的高级技巧