温馨提示×

linux的wget下载大文件技巧

小樊
88
2024-12-27 20:32:39
栏目: 智能运维

wget 是一个在 Linux 系统中非常实用的命令行工具,用于从网络上下载文件

  1. 使用断点续传功能:如果你需要暂停下载并在稍后继续,可以使用 --continue 选项。这将使 wget 从上次中断的地方继续下载,而不是重新开始。

    wget --continue URL
    
  2. 设置下载速度限制:为了避免对网络造成过大压力,可以使用 --limit-rate 选项限制下载速度。例如,将下载速度限制为 100KB/s:

    wget --limit-rate=100k URL
    
  3. 使用多线程下载:wget 支持多线程下载,可以通过 --no-check-certificate 选项(跳过 SSL 证书检查)和 -P 选项(指定本地保存路径)来实现。例如,从多个源下载一个文件:

    wget --no-check-certificate -P /path/to/save -i sources.txt
    

    其中,sources.txt 是一个包含多个下载源的文件,每个源占一行。

  4. 使用 wget 的递归下载功能:如果你需要下载一个网站及其所有相关文件(包括图片、CSS 和 JavaScript 等),可以使用 --recursive--no-clobber 选项。--recursive 选项会递归地下载网站文件,而 --no-clobber 选项会避免覆盖已下载的文件。

    wget --recursive --no-clobber -np -P /path/to/save URL
    

    其中,-np 选项表示不爬取父目录。

  5. 使用 wget 的镜像功能:如果你需要将一个网站镜像到本地,可以使用 --mirror 选项。这将创建一个包含网站所有文件和子目录的本地仓库。

    wget --mirror -p -k -r -np URL
    

    其中,-p 选项表示下载所有页面所需的文件,-k 选项表示转换链接以适应本地环境,-r 选项表示递归下载。

通过这些技巧,你可以更高效地使用 wget 下载大文件。

0