Wget在Ubuntu中的多线程下载

Wget 是一个用于从网络上下载文件的命令行工具

1. 首先，确保你已经安装了 Wget。如果没有，请使用以下命令安装：

sudo apt-get update
sudo apt-get install wget

2. 使用 wget 命令进行多线程下载。-P 参数指定下载文件的目录，-c 参数表示断点续传，-t 参数表示重试次数，--limit-rate 参数限制下载速度，--no-check-certificate 参数忽略 SSL 证书验证，--header 参数设置 HTTP 头部信息，例如 User-Agent 和 Range。

下面是一个示例命令，用于从 URL 下载文件并将其保存到 /path/to/destination/ 目录：

wget -P /path/to/destination/ -c -t 3 --limit-rate=200k --no-check-certificate --header="User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3" --header="Range: bytes=0-100000" "https://example.com/file.zip"

注意：Range: bytes=0-100000 表示从字节 0 开始下载 100KB 的文件。你可以根据需要调整这个值。

3. 如果你想同时进行多个线程下载，可以使用 shell 脚本来实现。创建一个名为 multithread_wget.sh 的文件，并将以下内容复制到其中：

#!/bin/bash

url="https://example.com/file.zip"
output="/path/to/destination/file.zip"
threads=5
chunk_size=100000
file_size=$(curl -sI $url | grep -i Content-Length | awk '{print $2}')

for i in $(seq 1 $threads); do
    start=$(( (i-1)*chunk_size ))
    end=$(( i*chunk_size-1 ))
    if [ $i -eq $threads ]; then
        end=$(( file_size-1 ))
    fi
    wget -c -t 3 --limit-rate=200k --no-check-certificate --header="User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.3" --header="Range: bytes=$start-$end" -O "${output}.part$i" "$url" &
done

wait

cat ${output}.part* > $output
rm ${output}.part*

4. 修改脚本中的 url 和 output 变量，然后运行脚本：

chmod +x multithread_wget.sh
./multithread_wget.sh

这个脚本会将文件分成多个部分并使用多个线程下载。下载完成后，它会将所有部分合并成一个文件。你可以根据需要调整线程数和每个线程的下载大小。