编译安装axel 到windows上来进行多线程下载
(最近需要下载imagenet的数据集,下载工具迅雷IDM的不太想用,使用python多线程写的下载文件下载的大文件中间有些线程会有异常,导致特别大的文件下载到最后不行浪费时间,于是决定使用linux 上常用的axel 来下载)
在windows从零开始 上使用自己编译的axel 多线程下载文件工具,提高下载速度。
(ps也可以不用自己编译从最后编译好的文件中下载直接使用)
step1 下载MSYS2
官网地址:
https://www.msys2.org/
当前版本下载链接
https://github.com/msys2/msys2-installer/releases/download/2025-02-21/msys2-x86_64-20250221.exe
step2 安装配置MSYS2
选择目录与路径后安装 ,安装后点击运行
可以选择参考这个链接将MSYS2的源改为国内清华源,(ps:我没有修改,速度也还行)
https://www.cnblogs.com/CodeWorkerLiMing/p/12274583.html
pacman -S mingw-w64-x86_64-gcc
# 全局升级
pacman -Syu
pacman -S make
step3 配置安装axel
从https://github.com/axel-download-accelerator/axel/releases 下载最新的axel源码,并解压到任意某个路径,比如这里F:\datasets\open_data\imagenet\multi\axel-2.17.14
注意打开MSYS2 MSYS(之前参照https://www.bilibili.com/opus/982996414993793029,使用MSYSMINGW64时./configer时一直会有报错error: arpa/inet.h is required.,改成这个MSYS 安装了一下必要的包后就好了)
# 安装必要的包
pacman -S msys2-runtime-devel
pacman -S msys2-devel
pacman -S pkg-config
pacman -S openssl-devel
pacman -S msys/openssl-devel
pacman -S gettext mingw-w64-x86_64-pkg-config libopenssl msys2-runtime-devel
export PKG_CONFIG_PATH=/usr/lib/pkgconfig:/mingw64/lib/pkgconfig
pacman -S mingw-w64-x86_64-toolchain
pacman -S mingw-w64-x86_64-headers
cp -r /usr/include/arpa/ /mingw64/include/
mkdir -p /mingw64/include/netinet
cp /usr/include/netinet/in.h /mingw64/include/netinet/
cd F:/datasets/open_data/imagenet/multi/axel-2.17.14
./configure
make
make install
# 编译完成后F:/datasets/open_data/imagenet/multi/axel-2.17.14 路径下会生成axel.exe 文件,不过单独拿出来在cmd中要运行这个程序需要
# 拷贝msys64\usr\bin 中的一些dll文件到当前目录下才能运行,具体拷贝哪些文件,在cmd 命令行中运行 ./axel.exe 中会弹框提示(具体为下面三个文件dll)
编译过程中的中间结果图片
./configure 运行完成后的结果
make 后的截图
make install 后的截图
(中间为了解决一些问题可能有些步骤不是必须的,)
# msys2 中使用的界面
在msys2中使用速度太慢了,建议在cmd中使用
cmd 中运行结果查看
可能遇到的问题
下载报错
axel -n 8 -o ./ https://image-net.org/data/ILSVRC/2012/ILSVRC2012_img_train.tar
结果报错 SSL error
解决方案:
禁用 SSL 证书验证
使用 --insecure 来禁用 SSL 证书验证
axel -n 8 -o ./ https://image-net.org/data/ILSVRC/2012/ILSVRC2012_img_train.tar --insecure
编译完成后的文件
上传到了csdn 资源里了
https://download.csdn.net/download/Magicapprentice/90483875