windows使用wget扒取整个网页代码

2024-06-30 08:42:55

windows使用wget扒取整个网页代码

问题：有时候看到比较喜欢的网站，想下载下来参考或使用相关的CSS,这个时候去下载网页只能F12去保存部分代码，这样很难获取全部的网页。

文章目录

windows使用wget扒取整个网页代码
前言
一、安装、测试 chocolatey
二、下载网页
总结

前言

本文主要介绍如何根据网址获取你想要的网页，提示：以下是本篇文章正文内容，下面案例可供参考

一、安装、测试 chocolatey

代码如下（示例）：本文以win10为例，安装wget,通过超级管理员权限cmd窗口下载想要的网页。使用cmd安装（必须使用超级管理员权限打开cmd窗口）

@"%SystemRoot%\System32\WindowsPowerShell\v1.0\powershell.exe" -NoProfile -InputFormat None -ExecutionPolicy Bypass -Command "iex ((New-Object System.Net.WebClient).DownloadString('https://chocolatey.org/install.ps1'))" && SET "PATH=%PATH%;%ALLUSERSPROFILE%\chocolatey\bin"

安装完成后，用 choco -v 命令检查有没有安装成功，安装成功显示当前版本号

二、下载网页

代码如下（示例）：填写需要下载的网址 https://www.xxx.com ；下载的地址：E:\website\xxx,回车执行等待下载完

wget -m -U “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)” -r -k -nc -P E:\website\xxx https://www.xxx.com

如果提示“‘wget’ 不是内部或外部命令，也不是可运行的程序”。
解决方法：
1、官网GNU Wget 1.21.3 for Windows下载wget（选.exe格式）
2、将下载好的wget.exe放到 C:/windows/System32文件夹下
3、在cmd中输入wget --version 有如下输出表示安装成功
重新执行wget下载网页步骤，等待下载完成

总结

wget命令本来是在linux、unix中使用的命令，用户从网络上下载，但是安装到windows中也是可以使用的，只要正确安装，可以很好的解决我们遇到的问题。

windows使用wget扒取整个网页代码相关推荐

利用wget 抓取网站网页包括css背景图片
利用wget 抓取网站网页包括css背景图片 wget是一款非常优秀的http/ftp下载工具,它功能强大,而且几乎所有的unix系统上都有.不过用它来dump比较现代的网站会有一个问题:不支持c ...
仿站小工具的使用---扒取别人前端代码
1.下载仿站小工具: 点击跳转仿站小工具下载链接 2.查看配置,如果不需要改变路径也可不设置, 输入网址输入保存目录,开扒首页扒取结果: 打开index.html,可正常访问逐个界面扒取,, ...
ASP.NET抓取其他网页代码
在.Net 平台下,创建一个ASP.Net的程序 1.引用两个NAMESPACE using System.Text //因为用了Encoding类 using Sys ...
python 爬虫（一） requests+BeautifulSoup 爬取简单网页代码示例
以前搞偷偷摸摸的事,不对,是搞爬虫都是用urllib,不过真的是很麻烦,下面就使用requests + BeautifulSoup 爬爬简单的网页. 详细介绍都在代码中注释了,大家可以参阅. # -* ...
python 爬虫（一） requests+BeautifulSoup 爬取简单网页图片代码示例
最近学习了Python,借助各个大神的文章,自己写了以下代码,来爬取网页图片,希望可以帮助到大家. 工具是 idea #coding=utf-8 import requests from bs4 im ...
chrome动态ip python_用Python爬虫爬取动态网页，附带完整代码，有错误欢迎指出！...
系统环境: 操作系统:Windows8.1专业版 64bit Python:anaconda.Python2.7 Python modules:requests.random.json Backgro ...
java爬虫,提供链接直接爬取网页代码
其实我只想要爬到整个网页的源代码的就好.通过java的一个包jsoup,就可以直接爬取了,后面有下载源代码(含jsoup包)的链接. 输入:网页链接输出:网页源代码代码比较简单,解析都在代码中: ...
从网页上直接扒取latex格式的公式
latex是写公式非常方便的格式,很多具有专业性质的网站,发布者在发布公式内容时都采用的latex的形式.但是我们读者看的时候这些公式是图片的形式,不方便扒取下来进行编辑.最近写作业的时候遇到这个问题 ...
python爬虫网页中的图片_Python爬虫爬取一个网页上的图片地址实例代码
本文实例主要是实现爬取一个网页上的图片地址,具体如下. 读取一个网页的源代码: import urllib.request def getHtml(url): html=urllib.request. ...

最新文章

热门文章