在做项目时候遇到一个需求，后台添加微信公众号上面的文章时候能自动获取到这篇文章的标题、发布时间、封面图片，这样就不用手动去添加太多的信息，只需要一个url就够了。所以用jsoup做了一个简单的爬虫，根据文章的url获取这些信息。

原理

封面图片：
随便选择一个微信公众号，例如：

如图上所示就是文章的封面图片，这些封面图片大多在原文里是有的。但是，像上面这两篇文章，原文里是没有封面图的。但是在文章源码下面的script里藏着封面图片的url：

而且“msg_cdn_url"是唯一字符串,所以，获取封面图片就是要定位到“msg_cdn_url"就可以了。代码见后面。

文章发表时间：
点开文章进去是没有发表时间的，其实是隐藏在这图上这里，点一下就会变成年月日，所以无法直接通过页面定位到这里获取时间。

但是既然点一下就能变成时间那说明时间是有的，只是在script里面，接下来就可以在源码里用crtl+F查找时间“2020-04-28”，定位到时间所在的script位置。

经过观察可以发现这里其实没法直接定位，所以得用点间接方法。循环遍历所有的script标签，查看里面是否包含字符串"document.getElementById(“publish_time”)"，如果有，则在这个script里定位到“s="”，这样就找到了时间的位置。
其他像“作者”、“标题”那些比较简单，直接见代码

import java.io.IOException;
import org.jsoup.Jsoup;
import org.jsoup.nodes.Document;
import org.jsoup.nodes.Element;
import org.jsoup.select.Elements;public class HandleUrl {//获取文章封面图片public static String getCoverUrl(String informationUrl) throws IOException {String picUrl = null;int flag;Document doc = Jsoup.connect(informationUrl).timeout(3000).get();String htmlString=doc.toString();flag=htmlString.indexOf("msg_cdn_url");while(htmlString.charAt(flag)!='\"'){flag++;}int beginIndex=++flag;while(htmlString.charAt(flag)!='\"')flag++;int endIndex=--flag;picUrl=htmlString.substring(beginIndex,endIndex);return picUrl;}//获取文章作者public static String getAuthor(String informationUrl) throws IOException {Document doc = Jsoup.connect(informationUrl).timeout(3000).get();Element authors = doc.getElementById("js_name");String author = authors.text();return author;}//获取文章时间public static String getTime(String informationUrl) throws IOException {String time=null;Document doc = Jsoup.connect(informationUrl).timeout(3000).get();Elements scripts = doc.select("script");for (Element script : scripts) {String html = script.html();if (html.contains("document.getElementById(\"publish_time\")")) {int fromIndex = html.indexOf("s=\"");time=html.substring(fromIndex+3,fromIndex+13);return time;}}return time;}//获取文章标题public static String getTitle(String informationUrl) throws IOException {Document doc = Jsoup.connect(informationUrl).timeout(3000).get();Elements titles = doc.getElementsByClass("rich_media_title");String title = titles.text();return title;}public static void main(String[] args) throws IOException {String url="https://mp.weixin.qq.com/s/gcG6PnYwJUDabdYYe_snYw";System.out.println(getTime(url));System.out.println(getTitle(url));System.out.println(getAuthor(url));}
}

jsoup微信公众号文章标题、发布时间、作者、封面图片的爬取相关推荐

最新微信公众号文章采集发布到destoon网站，免费教程！
DESTOON B2B网站管理系统是一套基于PHP+MySQL的开源B2B电子商务行业门户网站解决方案,当前已发布会员.分站.商城.供应.求购.行情.公司.展会.文章.信息.品牌.团购.图库.专题.视 ...
如何爬取微信公众号文章（二）
在如何爬取微信公众号(一)中完成了将爬取公众号文章的元数据存入数据库,其中包括文章的连接.标题.发布时间.摘要和封面图片等信息.下面介绍如何根据文章链接来爬取文章内容. 开发环境 windows 7 ...
Python批量爬取微信公众号文章中的图片重建PowerPoint文件
开学第一课:一定不要这样问老师Python问题董付国老师Python系列教材推荐与选用参考 3000道Python习题免费在线练习 ============= 版权声明:由于公众号后台规则问题,本文 ...
微信公众号文章采集获取方案附接口说明-文章阅读点赞在看数获取工具接口
更多方案详细分析流程和接口说明地址:根据文章链接获取点赞阅读 | 全网公号数据搜狗微信采集注意:此方法列表内容已经采集不到了,可用性基本不高,只能作为补充使用(一般没人使用) 在网上可以找到很多针 ...
何如捕捉微信公众号文章标题图
何如捕捉微信公众号文章标题图在浏览器控制台 F12 Elements 查找JavaScript文件从下往上数10个就是存放标题及图片的文件,喜欢图的可以直接浏览器打开下载效果图
Python爬取微信公众号文章、标题、文章地址
前言本文的文字及图片过滤网络,可以学习,交流使用,不具有vb.net教程任何商业用途,如有问题请及时联系我们以作处理. Python爬虫.数据分析.网站开发等c#教程案例教程视频免费在线观看 htt ...
python 公众号文章发布_Python 抓取微信公众号文章
版权声明:此文章转载自 Yushneng PyHub 如需转载请联系听云College团队成员阮小乙,邮箱:ruanqy#tingyun.com 微信公众号的文章链接有些是具有时效性的,过一段时间会变 ...
微信公众号教程-注册发布文章
用博文来说,不便理解,直接上教学视频! 视频地址:微信公众号教程-注册发布文章
python 公众号文章发布_python如何导出微信公众号文章方法详解
1.安装wkhtmltopdf 下载地址:https://wkhtmltopdf.org/downloads.html 我测试用的是windows的,下载安装后结果如下 2 编写python 代码导出 ...

jsoup微信公众号文章标题、发布时间、作者、封面图片的爬取

原理

jsoup微信公众号文章标题、发布时间、作者、封面图片的爬取相关推荐

最新文章

热门文章