C#网页数据采集（三）HttpWebRequest

截取到网页数据是js加载完以后的

[csharp] view plain copy

HtmlWeb webClient = new HtmlWeb();
string _url = "http://news.baidu.com/";
HtmlAgilityPack.HtmlDocument html1 = webClient.Load(_url);//是你需要解析的url
var end3 = html1.Encoding.BodyName;//获取页面编码格式
string _htmlSource = GetHtmlSource(_url, System.Text.Encoding.GetEncoding(end3));//还是需要设置一次编码格式避免乱码调用GetHtmlSource方法

[csharp] view plain copy

public static string GetHtmlSource(string url, Encoding charset)
{
string _html = string.Empty;
try
{
HttpWebRequest _request = (HttpWebRequest)WebRequest.Create(url);
HttpWebResponse _response = (HttpWebResponse)_request.GetResponse();
using (Stream _stream = _response.GetResponseStream())
{
using (StreamReader _reader = new StreamReader(_stream, charset))
{
_html = _reader.ReadToEnd();
}
}
}
catch (WebException ex)
{
using (StreamReader sr = new StreamReader(ex.Response.GetResponseStream()))
{
_html = sr.ReadToEnd();
}
}
catch (Exception ex)
{
_html = ex.Message;
}
return _html;
}

C#网页数据采集（三）HttpWebRequest相关推荐

php获取其他网站的cookie,php获取(curl) 带有cookie的网页数据采集方法
今天早上呢小编打开我们的php中文网(www.php.cn)看到有网友在问php获取页面数据,需要带cookie,不知道如何写,我们网站的专职工程师第一时间响应并给了解决方案,在这里呢我分享给大家一 ...
在HTML中使用CSS美化网页的三种方法
在HTML中使用CSS美化网页的三种方法 CSS是Cascading Style Sheets(级联样式表)的缩写,CSS是一种样式表语言,用于为HTML文档定义布局.例如,CSS涉及字体.颜色.边距 ...
python网页爬取方法_Python爬取网页的三种方法
# Python爬取网页的三种方法之一: 使用urllib或者urllib2模块的getparam方法 import urllib fopen1 = urllib.urlopen('http://w ...
java页面要素_Web前端入门技术之网页制作三要素
原标题:Web前端入门技术之网页制作三要素 Web前端技术开发是由网页制作演变而来的,主要由HTML.CSS.Java三大要素组成.专业的Web前端开发入门常识也必定会包含这些内容,今日千锋教师就给我 ...
java研发网页数据采集
我觉得网页数据采集是一个不道德的行为,但是我喜欢.下面就说说我为什么喜欢. 某一天,小编看到喜欢的网页,很欣赏这个原创作者的作品,但由于小编穷,没法开通vip去下载资源,所以小编就运用一些网络技术进行 ...
一款全新的网页数据采集工具：爬山虎采集器
特性爬山虎采集器是一款全新的网页数据采集工具.作为一款工具软件,我们: 放弃了花哨的界面,换之以快速流畅的体验. 放弃了复杂的规则配置,开发了智能的自动提取算法. 在基于浏览器的可视化操作上,同时保 ...
[功能发布]Excel催化剂2周年巨献-网页数据采集功能发布，满足90%合理场景使用...
转眼间,Excel催化剂推出已经两周年,在此之际,献上数据时代最刚需的网页采集功能,无需苦苦寻觅各种工具,借助Excel催化剂过往数据处理.清洗功能,加上此轮的网页采集功能,一点不输于市面上的各种收费 ...
html载入excel数据库,网页数据采集如何导出为Excel、CSV、Html、数据库、API格式_视频教程 - 八爪鱼采集器...
本视频介绍数据查看与导出. 本地采集数据如有采到重复数据.将在点击"导出数据"后提示是否去除重复,可选将全部数据导出也可选去重后导出. 本地数据在导出后不会自动清除,下次可以再次导 ...
java在网页填写集数据,java网页数据采集(中篇-数据存储)
上期我们学习了html页面的数据采集,为了方便我们今后来调用收集到的数据,首先我们需要学习下如何将这些采集到的数据存储起来(MySql数据库). 打开MySql数据库,创建数据库和表 (拷贝如下代码 ...

C#网页数据采集（三）HttpWebRequest

C#网页数据采集（三）HttpWebRequest相关推荐

最新文章

热门文章