wget 使用教程,整站下载 网站镜像等

释放双眼,带上耳机,听听看~!

这个命令,如果你足够聪明,应该已经猜到是wget了,这个我们无比熟悉的命令,我们也通常用来测试,实际上,是大材小用了,wget可是无比强大的。下面我们就来认识认识一下wget吧。

百度百科对wet的解释:wget是一个从网络上自动下载文件的自由工具,支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载,并可以使用HTTP代理。wget名称的由来是“World Wide Web”与“get”的结合。

解释的很肤浅,wget的优点是,稳定,如果是由于网络的原因下载失败,wget会不断的尝试,直到整个文件下载完毕;如果是服务器打断下载过程,它会再次联到服务器上从停止的地方继续下载。总的来说就是,百折不挠地下载。

wget的语法如下:

wget(选项)(参数)

下面是一些例子

下载单个文件

wget http://cachefly.cachefly.net/100mb.test

如果你想换个名称保存,可以像这样,文件便会保存为138vps.test了

wget -O 138vps.test http://cachefly.cachefly.net/100mb.test

因为wget默认会以最后一个符合/的后面的字符来命名,所以如果我们的下载地址是类似这种【http://xx.com/?id=138vps】 如果不重新命名,你下载的文件名称就是【id=138vps】,这显然是不科学的。

wget限速下载

我们并不希望wget在下载的时候吃完我们的带宽,尤其是我们下载超大文件的时候,所以限速下载是必须的

wget –limit-rate=300k http://cachefly.cachefly.net/100mb.test

使用wget断点续传

这个是非常实用的,由于不可控的因素,我们在wget的时候,SSH掉线了,那么我们肯定希望可以续传了,而不是从0开始下载,尤其是大文件。

wget -c http://cachefly.cachefly.net/100mb.test

使用wget后台下载

我们下载大文件的时候,你肯定不打算一直盯着进度条,像干点别的事情,这个时候用后台下载就很重要了,

wget -b http://cachefly.cachefly.net/100mb.test

想知道下载完了没有,就用这个命令看吧,想退出就【ctrl+c】吧

tail -f wget-log

伪装浏览器下载

有的网站,如果发现你不是用浏览器,就不给你下载,所以,你懂的

wget –user-agent=”Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US) AppleWebKit/534.16 (KHTML, like Gecko) Chrome/10.0.648.204 Safari/534.16″ http://cachefly.cachefly.net/100mb.test

同时下载多个文件

如果要同时下载多个文件,不想一个个手动wget怎么办?很简单,把这些url放到一个文本文件里面,假设文件名是【138vps.txt】,一行一个地址然后一个命令就搞定了

wget -i 138vps.txt

下载ftp

其实wget是支持直接下载ftp的,如果是匿名,那么就

wget ftpurl

如果需要用户名跟密码,那么就

wget –ftp-user=USERNAME –ftp-password=PASSWORD ftpurl

镜像网站

有了wget还要什么整站下载器呢?直接把整个网站跟wget下来就好啦。

wget –mirror -p –convert-links -P ./ http://soft.138vps.com

–miror开始镜像下载。

–convert-links下载后,转换成本地的链接。

-P 保存所有文件和目录到本地指定目录。

-r 递归下载,下载指定网页某一目录下(包括子目录)的所有文件

-np 递归下载时不搜索上层目录

-L 递归时不进入其它主机,如果你下载的主机有其他网站的友情链接,这会很麻烦

如果你只想下载图片:

wget -r -A.jpg,.png,.gif http://soft.138vps.com

如果你只不想下载图片

wget –reject=jpg http://soft.138vps.com

结语

wget下载有的资源时必须用选项 –no-check-certificate,否则会提示没有认证不允许下载。

比如https。

wget –no-check-certificate url

温馨提示:本文最后更新于 2021-12-29 01:39 ,某些文章具有时效性,若有错误或已失效,请在下方留言或联系逆念

给TA打赏
共{{data.count}}人
人已打赏
网络技术

#Typecho#文章页面显示是否已被百度谷歌收录

2018-3-25 4:28:28

网络技术

linux vps 如何使用wget 下载百度网盘的文件

2018-4-5 0:42:50

重要声明

本站资源大多来自网络,如有侵犯你的权益请联系管理员,QQ508044570 我们会第一时间进行审核删除。站内资源为网友个人学习或测试研究使用,未经原版权作者许可,禁止用于任何商业途径!请在下载24小时内删除!


如果遇到付费才可观看的文章,建议升级终身VIP。全站所有资源任意下免费看”。本站资源少部分采用7z压缩,为防止有人压缩软件不支持7z格式,7z解压,建议下载7-zip,zip、rar解压,建议下载WinRAR

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
个人中心
购物车
优惠劵
今日签到
有新私信 私信列表
搜索