纯黑

wget 使用教程,整站下载 网站镜像等
这个命令,如果你足够聪明,应该已经猜到是wget了,这个我们无比熟悉的命令,我们也通常用来测试,实际上,是大材小用...
扫描右侧二维码阅读全文
05
2018/04

wget 使用教程,整站下载 网站镜像等

这个命令,如果你足够聪明,应该已经猜到是wget了,这个我们无比熟悉的命令,我们也通常用来测试,实际上,是大材小用了,wget可是无比强大的。下面我们就来认识认识一下wget吧。

百度百科对wet的解释:wget是一个从网络上自动下载文件的自由工具,支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载,并可以使用HTTP代理。wget名称的由来是“World Wide Web”与“get”的结合。

解释的很肤浅,wget的优点是,稳定,如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕;如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。总的来说就是,百折不挠地下载。

wget的语法如下:

wget(选项)(参数)

下面是一些例子

下载单个文件

wget http://cachefly.cachefly.net/100mb.test

如果你想换个名称保存,可以像这样,文件便会保存为138vps.test了

wget -O 138vps.test http://cachefly.cachefly.net/100mb.test

因为wget默认会以最后一个符合/的后面的字符来命名,所以如果我们的下载地址是类似这种【http://xx.com/?id=138vps】 如果不重新命名,你下载的文件名称就是【id=138vps】,这显然是不科学的。

wget限速下载

我们并不希望wget在下载的时候吃完我们的带宽,尤其是我们下载超大文件的时候,所以限速下载是必须的

wget --limit-rate=300k http://cachefly.cachefly.net/100mb.test

使用wget断点续传

这个是非常实用的,由于不可控的因素,我们在wget的时候,SSH掉线了,那么我们肯定希望可以续传了,而不是从0开始下载,尤其是大文件。

wget -c http://cachefly.cachefly.net/100mb.test

使用wget后台下载

我们下载大文件的时候,你肯定不打算一直盯着进度条,像干点别的事情,这个时候用后台下载就很重要了,

wget -b http://cachefly.cachefly.net/100mb.test

想知道下载完了没有,就用这个命令看吧,想退出就【ctrl+c】吧

tail -f wget-log

伪装浏览器下载

有的网站,如果发现你不是用浏览器,就不给你下载,所以,你懂的

wget --user-agent="Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16" http://cachefly.cachefly.net/100mb.test

同时下载多个文件

如果要同时下载多个文件,不想一个个手动wget怎么办?很简单,把这些url放到一个文本文件里面,假设文件名是【138vps.txt】,一行一个地址然后一个命令就搞定了

wget -i 138vps.txt

下载ftp

其实wget是支持直接下载ftp的,如果是匿名,那么就

wget ftpurl

如果需要用户名跟密码,那么就

wget --ftp-user=USERNAME --ftp-password=PASSWORD ftpurl

镜像网站

有了wget还要什么整站下载器呢?直接把整个网站跟wget下来就好啦。

wget --mirror -p --convert-links -P ./ http://soft.138vps.com

--miror开始镜像下载。

--convert-links下载后,转换成本地的链接。

-P 保存所有文件和目录到本地指定目录。

-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件

-np 递归下载时不搜索上层目录

-L 递归时不进入其它主机,如果你下载的主机有其他网站的友情链接,这会很麻烦

如果你只想下载图片:

wget -r -A.jpg,.png,.gif http://soft.138vps.com

如果你只不想下载图片

wget --reject=jpg http://soft.138vps.com

结语

wget下载有的资源时必须用选项 --no-check-certificate,否则会提示没有认证不允许下载。

比如https。

wget --no-check-certificate url

最后修改:2018 年 04 月 05 日 12 : 41 AM
如果觉得我的文章对你有用,请随意赞赏

发表评论