wget不仅能抓取某个页面,还能对网站做镜像,貌似很不错。这个不就是爬虫吗?而且速度也很快,用来抓取网页格式的文档是不错的。
让我们看这条命令:
wget --mirror –w 2 –p --HTML-extension –-convert-links –P ~\wget_files\example1 http://www.yourdomain.com
- --mirror(-m):指定要做镜像的网站。wget会获取网站的所有链接和相关的文件。如果本地镜像存在,还会自动覆盖最近的更新。
- -w:告诉wget每个请求的间隔时间,这里是2秒。这个不是必需的,当有些站点对请求间隔有限制时,这个参数就非常有用了。
- -p:让wget获取页面上的所有元素,使其能在本地浏览。--mirror参数并不会保证所有的图片及相关文件都被下载,所以需要加上-p来指定。
- --HTML-extension:将所有不是html扩展名的文件都转换成.html。这个参数会把CGI,ASP,PHP等结尾的文件都转换成html结尾。
- -P(prefix folder):指定目标文件夹。
还可以备份ftp:
wget –mirror –w 3 –p –P ~\wget_files\example2 ftp://username:password@ftp.yourdomain.com
当然下载文件更没问题了:
Wget –P c:\wget_files\example3 http://ftp.gnu.org/gnu/wget/wget-1.9.tar.gz
不过备份站点的话,可能用rsync更好的一点吧。
分享到:
相关推荐
实现wget功能的程序--wget.py
wget 下载工具 wget 下载工具 wget 下载工具 wget 下载工具
windows下的wget下载工具!它支持HTTP,HTTPS和FTP协议,可以使用HTTP代理. 所谓的自动下载是指,wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统,启动一个wget下载任务,然后退出系统,wget将在...
相比较初代 GNU Wget,Wget2 速度更快,支持更多的协议,特别是围绕 HTTP/2 和压缩,支持多线程/并行连接,以及其他改进。 GNU Wget2 2.0 增加了 HTTP2 上传,通过新的 -download-attr 选项支持 HTML5 下载属性,...
一个详细介绍wget的pdf文件,希望能给需要的人提供帮助。
linux 离线安装wget
在wget的源代码中 src/url.c 这个文件中有wget如何处理文件名的函数url_file_name() url_file_name()在根据url的形式判断该保存为什么样的文件名,并进行了多方面的考虑,最终该函数调用了append_uri_pathel(),该...
离线安装wget依赖包
wget命令rpm安装文件,需要预先安装rpm,才可以配置。
下载资源>把wget64.exe放置到C:\Windows\System32路径下>cmd 输入 wget64 下载链接地址
wget官方文档,搜索了好久才下到的,希望对各位有帮助, 内部包括 wget.chm wget.pdf wget.html等
Android上自带的的wget是链接到busybox,某些需要复杂参数的下载情况不能被满足,比如需要带cookie的时候。这个版本的wget是通过wget源码编译得到的完整版本。
网络爬虫wget强大的很网络爬虫wget网络爬虫wget网络爬虫wget网络爬虫wget网络爬虫wget网络爬虫wget
wget版本: 1.11.4 百分百可用, 如果有问题请联系 anman.zhou@qq.com 运行出现: 1|root@m201:/ # wget-1.11.4 wget-1.11.4: missing URL Usage: wget-1.11.4 [OPTION]... [URL]... Try `wget-1.11.4 --help' for ...
wget-1.19.2.tar wget-1.19.2.tar wget-1.19.2.tar wget-1.19.2.tar wget-1.19.2.tar wget-1.19.2.tar
wget is a command line program. You start it from the command prompt, either command.com in Windows 9x/Me or cmd.exe in Windows 2000/XP. The command prompt can be found in the Start Menu (Accessories)...
wget-1.20.3离线安装包.zip。在不具备yum线上安装的情况下,提供所涉及wget安装的所有依赖包
wget中文使用说明和英文详细说明,包含选项说明和使用实例。极力推荐!
linux下的wget 命令的用法 wget支持HTTP HTTPS和FTP协议 可以使用HTTP代理 所谓的自动下载是指 wget可以在用户退出系统的之后在后台执行 这意味这你可以登录系统 启动一个wget下载任务 然后退出系统 wget将在后台...
windows 平台命令行下载Web内容,linux下的wget比较好用,windows下的不好找,费了不少力气才找到。