别人家的程序员是如何使用 Java 进行 Web 抓取的? 1
Web抓取非常有用,它可以收集信息供多种用途使用,如数据分析、统计、提供第三方信息,还可以给深神经网络和深度学习提供数据。
Web抓取是什么?
有一种非常广泛的误解,人们似乎把Web抓取和Web爬虫当成了同一种东西。所以我们先明确这一点。
两者有个非常显著的区别:
Web爬虫,指搜索或“爬”网页以获得任意信息的过程。通常是搜索引擎如Google、Yahoo或Bing的功能,以便给我们显示搜索结果。
Web抓取,指从特定的网站上利用特别定制的自动化软件手机信息的过程。
注意!
尽管Web抓取本身是从网站获取信息的合法方式,但如果使用不当,可能会变成非法。
有几种情况需要特别注意:
Web抓取可以被认为是拒绝服务攻击:发送太多请求来获取数据会给服务器带来太多压力,从而限制了正常用户访问网站的能力。
无视版权法和服务条款:因为许多人、许多组织和公司都开发Web抓取软件来收集信息,给许多网站如Amazon、eBay、LinkedIn、Instagram、Facebook等带来了不小的麻烦。因此,绝大多数网站都禁止使用抓取软件获取他们的数据,你必须获得书面许可才能收集数据。
Web抓取可被恶意使用:抓取软件的行为很像机器人,一些框架甚至提供能够自动填写并提交表单的工具。因此可以被用作自动垃圾发送工具,甚至能攻击网站。这也是CAPTCHA存在的原因之一。
如果你想开发一个强大的抓取软件,请务必考虑以上几点,遵守法律和法规。
Web抓取框架
就像许多现代科技一样,从网站提取信息这一功能也有多个框架可以选择。最流行的有JSoup、HTMLUnit和Selenium WebDriver。我们这篇文章讨论JSoup。
JSoup
JSoup是个开源项目,提供强大的数据提取API。可以用它来解析给定URL、文件或字符串中的HTML。它还能操纵HTML元素和属性。
使用JSoup解析字符串
解析字符串是JSoup的最简单的使用方式。
public class JSoupExample {
public static void main(String[] args) {
String html = "<html><head><title>Website title</title></head><body><p>Sample paragraph number 1 </p><p>Sample paragraph number 2</p></body></html>";
Document doc = Jsoup.parse(html);
System.out.println(doc.title());
Elements paragraphs = doc.getElementsByTag("p");
for (Element paragraph : paragraphs) {
System.out.println(paragraph.text());
}
}
这段代码非常直观。调用parse()方法可以解析输入的HTML,将其变成Document对象。调用该对象的方法就能操纵并提取数据。
在上面的例子中,我们首先输出页面的标题。然后,我们获取所有带有标签“p”的元素。然后我们依次输出每个段落的文本。
运行这段代码,我们可以得到以下输出:
Website title
Sample paragraph number 1
Sample paragraph number 2
使用JSoup解析URL
解析URL的方法跟解析字符串有点不一样,但基本原理是相同的:
public class JSoupExample {
public static void main(String[] args) throws IOException {
Document doc = Jsoup.connect("https://www.wikipedia.org").get();
Elements titles = doc.getElementsByClass("other-project");
for (Element title : titles) {
System.out.println(title.text());
}
}
}
要从URL抓取数据,需要调用connect()方法,提供URL作为参数。然后使用get()从连接中获取HTML。这个例子的输出为:
Commons Freely usable photos & more
Wikivoyage Free travel guide
Wiktionary Free dictionary
Wikibooks Free textbooks
Wikinews Free news source
Wikidata Free knowledge base
Wikiversity Free course materials
Wikiquote Free quote compendium
MediaWiki Free & open wiki application
Wikisource Free library
Wikispecies Free species directory
Meta-Wiki Community coordination & documentation
可以看到,这个程序抓取了所有class为other-project的元素。
这种方法是最常用的,因此我们看一些通过URL进行抓取的其他例子。
抓取指定URL的所有链接
public void allLinksInUrl() throws IOException {
Document doc = Jsoup.connect("https://www.wikipedia.org").get();
Elements links = doc.select("a[href]");
for (Element link : links) {
System.out.println("\nlink : " + link.attr("href"));
System.out.println("text : " + link.text());
}
}
运行结果是一个很长的列表:
Link : //en.wikipedia.org/
Text : English 5 678 000+ articles
Link : //ja.wikipedia.org/
Text : 日本語 1 112 000+ 記事
Link : //es.wikipedia.org/
Text : Español 1 430 000+ artículos
Link : //de.wikipedia.org/
Text : Deutsch 2 197 000+ Artikel
Link : //ru.wikipedia.org/
Text : Русский 1 482 000+ статей
Link : //it.wikipedia.org/
Text : Italiano 1 447 000+ voci
Link : //fr.wikipedia.org/
Text : Français 2 000 000+ articles
Link : //zh.wikipedia.org/
Text : 中文 1 013 000+ 條目
<!--A bunch of other languages -->
Text : Wiktionary Free dictionary
Link : //www.wikibooks.org/
Text : Wikibooks Free textbooks
Link : //www.wikinews.org/
Text : Wikinews Free news source
Link : //www.wikidata.org/
Text : Wikidata Free knowledge base
Link : //www.wikiversity.org/
Text : Wikiversity Free course materials
Link : //www.wikiquote.org/
Text : Wikiquote Free quote compendium
Link : //www.mediawiki.org/
Text : MediaWiki Free & open wiki application
Link : //www.wikisource.org/
Text : Wikisource Free library
Link : //species.wikimedia.org/
Text : Wikispecies Free species directory
Link : //meta.wikimedia.org/
Text : Meta-Wiki Community coordination & documentation
Link : https://creativecommons.org/licenses/by-sa/3.0/
Text : Creative Commons Attribution-ShareAlike License
Link : //meta.wikimedia.org/wiki/Terms_of_Use
Text : Terms of Use
Link : //meta.wikimedia.org/wiki/Privacy_policy
Text : Privacy Policy
与此相似,你还可以得到图像的数量、元信息、表单参数等一切你能想到的东西,因此经常被用于获取统计数据。
使用JSoup解析文件
public void parseFile() throws URISyntaxException, IOException {
URL path = ClassLoader.getSystemResource("page.html");
File inputFile = new File(path.toURI());
Document document = Jsoup.parse(inputFile, "UTF-8");
System.out.println(document.title());
//parse document in any way
}
如果要解析文件,就不需要给网站发送请求,因此不用担心运行程序会给服务器增添太多负担。尽管这种方法有许多限制,并且数据是静态的,因而不适合许多任务,但它提供了分析数据的更合法、更无害的方式。
得到的文档可以用前面说过的任何方式解析。
设置属性值
除了读取字符串、URL和文件并获取数据之外,我们还能修改数据和输入表单。
例如,在访问亚马逊时,点击左上角的网站标志,能返回到网站的首页。
如果想改变这个行为,可以这样做:
public void setAttributes() throws IOException {
Document doc = Jsoup.connect("https://www.amazon.com").get();
Element element = doc.getElementById("nav-logo");
System.out.println("Element: " + element.outerHtml());
element.children().attr("href", "notamazon.org");
System.out.println("Element with set attribute: " + element.outerHtml());
}
获取网站标志的id后,我们可以查看其HTML。还可以访问它的子元素,并改变其属性。
Element: <div id="nav-logo">
<a href="/ref=nav_logo/135-9898877-2038645" class="nav-logo-link" tabindex="6"> <span class="nav-logo-base nav-sprite">Amazon</span> <span class="nav-logo-ext nav-sprite"></span> <span class="nav-logo-locale nav-sprite"></span> </a>
<a href="/gp/prime/ref=nav_logo_prime_join/135-9898877-2038645" aria-label="" tabindex="7" class="nav-logo-tagline nav-sprite nav-prime-try"> Try Prime </a>
</div>
Element with set attribute: <div id="nav-logo">
<a href="notamazon.org" class="nav-logo-link" tabindex="6"> <span class="nav-logo-base nav-sprite">Amazon</span> <span class="nav-logo-ext nav-sprite"></span> <span class="nav-logo-locale nav-sprite"></span> </a>
<a href="notamazon.org" aria-label="" tabindex="7" class="nav-logo-tagline nav-sprite nav-prime-try"> Try Prime </a>
</div>
默认情况下,两个<a>子元素都指向了各自的链接。将属性改变为别的值之后,可以看到子元素的href属性被更新了。
添加或删除类
除了设置属性值之外,我们还可以修改前面的例子,给元素添加或删除类:
public void changePage() throws IOException {
Document doc = Jsoup.connect("https://www.amazon.com").get();
Element element = doc.getElementById("nav-logo");
System.out.println("Original Element: " + element.outerHtml());
<!--Setting attributes -->
element.children().attr("href", "notamazon.org");
System.out.println("Element with set attribute: " + element.outerHtml());
<!--Adding classes -->
element.addClass("someClass");
System.out.println("Element with added class: " + element.outerHtml());
<!--Removing classes -->
element.removeClass("someClass");
System.out.println("Element with removed class: " + element.outerHtml());
}
运行代码会给我们以下信息:
Original Element: <div id="nav-logo">
<a href="/ref=nav_logo/135-1285661-0204513" class="nav-logo-link" tabindex="6"> <span class="nav-logo-base nav-sprite">Amazon</span> <span class="nav-logo-ext nav-sprite"></span> <span class="nav-logo-locale nav-sprite"></span> </a>
<a href="/gp/prime/ref=nav_logo_prime_join/135-1285661-0204513" aria-label="" tabindex="7" class="nav-logo-tagline nav-sprite nav-prime-try"> Try Prime </a>
</div>
Element with set attribute: <div id="nav-logo">
<a href="notamazon.org" class="nav-logo-link" tabindex="6"> <span class="nav-logo-base nav-sprite">Amazon</span> <span class="nav-logo-ext nav-sprite"></span> <span class="nav-logo-locale nav-sprite"></span> </a>
<a href="notamazon.org" aria-label="" tabindex="7" class="nav-logo-tagline nav-sprite nav-prime-try"> Try Prime </a>
</div>
Element with added class: <div id="nav-logo" class="someClass">
<a href="notamazon.org" class="nav-logo-link" tabindex="6"> <span class="nav-logo-base nav-sprite">Amazon</span> <span class="nav-logo-ext nav-sprite"></span> <span class="nav-logo-locale nav-sprite"></span> </a>
<a href="notamazon.org" aria-label="" tabindex="7" class="nav-logo-tagline nav-sprite nav-prime-try"> Try Prime </a>
</div>
Element with removed class: <div id="nav-logo">
<a href="notamazon.org" class="nav-logo-link" tabindex="6"> <span class="nav-logo-base nav-sprite">Amazon</span> <span class="nav-logo-ext nav-sprite"></span> <span class="nav-logo-locale nav-sprite"></span> </a>
<a href="notamazon.org" aria-label="" tabindex="7" class="nav-logo-tagline nav-sprite nav-prime-try"> Try Prime </a>
</div>
可以把新的代码以.html形式保存到本机,或者通过HTTP请求发送大欧网站上,不过要注意后者可能是非法的。
结论
在许多情况下Web抓取都很有用,但使用时务必要遵守法律。本文介绍了流行的Web抓取框架JSoup,以及使用它解析信息的几种方式。
原文:https://able.bio/DavidLandup/introduction-to-web-scraping-with-java-jsoup--641yfyl
作者:David Landup,Java开发人员,科技撰稿人
译者:弯月,责编:郭芮
别人家的程序员是如何使用 Java 进行 Web 抓取的? 1相关推荐
- 别人家的程序员是如何使用 Java 进行 Web 抓取的?
Web抓取非常有用,它可以收集信息供多种用途使用,如数据分析.统计.提供第三方信息,还可以给深神经网络和深度学习提供数据. Web抓取是什么? 有一种非常广泛的误解,人们似乎把Web抓取和Web爬虫当 ...
- 【攻略】程序员“王者”攻略,用Scrapy抓取104个王者荣耀英雄数据后...
本文由黄勇老师特约供稿 学习人数超5万人的<150讲轻松搞定Python网络爬虫>课作者 网易.360.华为特约Python讲师 说在前面. 周末无聊,翻翻手机,又重新打开了之前和兄弟们团 ...
- 喜欢书法的程序员看过来:15行代码抓取兰亭序全文单字高清字帖
近日网购上瘾,狂买至肉疼,最后连一本打折后28块钱的兰亭序字帖也不舍得下单了.犹豫之间,发现了一个不错的网站--书法欣赏,名家名帖尽收于此.令人惊喜的是,这个网站居然提供了兰亭序全文单字高清字帖,网址 ...
- 程序员的视角:java GC
GC(Garbage Collection 垃圾回收)的概念随着 java 的流行而被人们所熟知. 实际 GC 最早起源于20世纪60年代的 LISP 语言,是一种自动的内存管理机制. GC 要解决的 ...
- 程序员如何用糖果实现盈利 - [别人家的程序员01]
程序员如何用糖果实现盈利 - [别人家的程序员01] 程序员如何用糖果实现盈利 - [别人家的程序员01] 前言 CandyJapan 网站如何从零走到今天 平台收支状况 如何做分析.写代码 总结 程 ...
- java程序员工资有多少?java程序员现状如何?
现在java程序员的日子好过吗?他们的工资一般都是多少呢?现状如何呢?java程序员烂大街了吗?带着这些问题,让我们一起通过下面的文章来了解一下吧. 1.java程序的现状 一句话,加班,工资高. 这 ...
- 身边有位“别人家的程序员”是什么样的体验?
原文链接 小时候隔壁"别人家的孩子"让我们的童年亚历山大,成年了工作了,本想安静的做个美(帅)男(码)子(农),但是!居然公司还有这么多"别人家的程序员"! 来 ...
- 一年经验的java程序员薪资有多少?java收入分级
Java编程可以应用到网站建设.游戏开发.移动系统开发等多个领域.所以随着科学技术进步电子产品不断更新问世,越来越成为企业重视的开发人才.这也是Java编程在近几年越发火爆的原因.一年经验的java程 ...
- Java里面jvr,寻找下一个结点 牛客网 程序员面试金典 C++ java Python
寻找下一个结点 牛客网 程序员面试金典 C++ java Python 题目描述 请设计一个算法,寻找二叉树中指定结点的下一个结点(即中序遍历的后继). 给定树的根结点指针TreeNode* root ...
最新文章
- RabbitMQ —— 延迟队列
- 进程间通信(1) dll 实现进程的内存共享
- Navicate Premium不能用localhost和127.0.0.1登陆sql-server,解决方法
- 微信小程序实时将less编译为wxss
- 11.4 Daily Scrum
- 【报告分享】中国营销数字化行业趋势报告:全渠道时代,品牌商如何抓住消费者?(附下载链接)...
- [Java] 蓝桥杯 BASIC-8 基础练习 回文数
- 解析button和input type=”button”的区别
- 基于决策树的保险案列
- Listview+DataPager分页
- PHP从入门到精通 第3版pdf
- PHP——常用的魔术方法(保姆级教学)
- 特征多项式法(characteristic polynomial )求特征值(结合lanczos和householder)(python,数值积分)
- Java字节码角度分析方法调用 ——提升硬实力7
- Android+上百实例源码分析以及开源分析+集合打包
- 简单java编程练习题
- 中国大学MOOC课程《Python语言程序设计》课后练习第一周
- VOS的处理逻辑测试分析
- android studio线性布局做计算器,Android Studio线性布局元素Listen
- java计算机毕业设计水果销售管理网站源码+系统+数据库+lw文档
热门文章
- mysql执行计划explain介绍_Mysql执行计划EXPLAIN详解
- graphpad做折线图_graphpad prism怎么做折线图啊?求解答!
- 《统计学习方法》—— 朴素贝叶斯方法、详细推导及其python3实现(二)
- Flutter基础—常用控件之图片
- 农业灌溉泵行业调研报告 - 市场现状分析与发展前景预测
- 中国数据中心加速卡市场趋势报告、技术动态创新及市场预测
- 中国太阳能热市场趋势报告、技术动态创新及市场预测
- 阜阳师范学院计算机专业,2019阜阳师范学院专业排名
- 荣耀份额重回中国市场前三;​特斯拉使用替代芯片重写汽车软件;RabbitMQ 3.9.0 发布|极客日报...
- SQL 引擎如何把语句转换为一个抽象语法树?