爬取微信公众号内容—

写在前面的话
前段时间写了一篇通过搜狗引擎获取微信公众号的文章，最近又看了一个网易云歌词绘制词云的程序

然后我就想，能否把这两者结合起来呢

还好经历几多波折终于把这个东西给弄出来了。

其实中间的实现不是很难，关键是环境搭建实在是太困难了

好了，先把代码以及效果图奉献上吧

代码
weixin_spider.py

#!/usr/bin/python
# coding: utf-8  #这三行代码是防止在python2上面编码错误的，在python3上面不要要这样设置
import sys
reload(sys)
sys.setdefaultencoding('utf-8')  from urllib import quote
from pyquery import PyQuery as pq
from selenium import webdriver  import requests
import time
import re
import json
import os  #搜索入口地址，以公众为关键字搜索该公众号
def get_search_result_by_keywords(sogou_search_url):  # 爬虫伪装头部设置  headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.3; WOW64; rv:51.0) Gecko/20100101 Firefox/51.0'}  # 设置操作超时时长  timeout = 5  # 爬虫模拟在一个request.session中完成  s = requests.Session()  log(u'搜索地址为：%s' % sogou_search_url)  return s.get(sogou_search_url, headers=headers, timeout=timeout).content  #获得公众号主页地址
def get_wx_url_by_sougou_search_html(sougou_search_html):  doc = pq(sougou_search_html)  return doc('div[class=txt-box]')('p[class=tit]')('a').attr('href')  #使用webdriver 加载公众号主页内容，主要是js渲染的部分
def get_selenium_js_html(url):  browser = webdriver.PhantomJS(executable_path=r'D:\Python2.7\Scripts\phantomjs.exe')   browser.get(url)   time.sleep(3)   # 执行js得到整个页面内容  html = browser.execute_script("return document.documentElement.outerHTML")  browser.close()  return html  #获取公众号文章内容
def parse_wx_articles_by_html(selenium_html):  doc = pq(selenium_html)  return doc('div[class="weui_media_box appmsg"]')  #将获取到的文章转换为字典
def switch_arctiles_to_list(articles):  #定义存贮变量  articles_list = []  i = 1  #遍历找到的文章，解析里面的内容  if articles:  for article in articles.items():  log(u'开始整合(%d/%d)' % (i, len(articles)))  #处理单个文章  articles_list.append(parse_one_article(article))  i += 1  return articles_list  #解析单篇文章
def parse_one_article( article):  article_dict = {}  #获取标题  title = article('h4[class="weui_media_title"]').text().strip()  ###log(u'标题是： %s' % title)  #获取标题对应的地址  url = 'http://mp.weixin.qq.com' + article('h4[class="weui_media_title"]').attr('hrefs')  log(u'地址为： %s' % url)  #获取概要内容  summary = article('.weui_media_desc').text()  log(u'文章简述： %s' % summary)  #获取文章发表时间  date = article('.weui_media_extra_info').text().strip()  log(u'发表时间为： %s' % date)  #获取封面图片  pic = parse_cover_pic(article)  #返回字典数据  return {  'title': title,  'url': url,  'summary': summary,  'date': date,  'pic': pic  }  #查找封面图片，获取封面图片地址
def parse_cover_pic( article):  pic = article('.weui_media_hd').attr('style')  p = re.compile(r'background-image:url(.*?)')  rs = p.findall(pic)  log( u'封面图片是：%s ' % rs[0] if len(rs) > 0 else '')  return rs[0] if len(rs) > 0 else ''  #自定义log函数，主要是加上时间
def log(msg):  print u'%s: %s' % (time.strftime('%Y-%m-%d_%H-%M-%S'), msg)  #验证函数
def need_verify(selenium_html):  ' 有时候对方会封锁ip，这里做一下判断，检测html中是否包含id=verify_change的标签，有的话，代表被重定向了，提醒过一阵子重试 '  return pq(selenium_html)('#verify_change').text() != ''  #创建公众号命名的文件夹
def create_dir(keywords):  if not os.path.exists(keywords):    os.makedirs(keywords)   #爬虫主函数
def run(keywords):  ' 爬虫入口函数 '  #Step 0 ：  创建公众号命名的文件夹  create_dir(keywords)  # 搜狐微信搜索链接入口  sogou_search_url = 'http://weixin.sogou.com/weixin?type=1&query=%s&ie=utf8&s_from=input&_sug_=n&_sug_type_=' % quote(keywords)  # Step 1：GET请求到搜狗微信引擎，以微信公众号英文名称作为查询关键字  log(u'开始获取，微信公众号英文名为：%s' % keywords)  log(u'开始调用sougou搜索引擎')  sougou_search_html = get_search_result_by_keywords(sogou_search_url)  # Step 2：从搜索结果页中解析出公众号主页链接  log(u'获取sougou_search_html成功，开始抓取公众号对应的主页wx_url')  wx_url = get_wx_url_by_sougou_search_html(sougou_search_html)  log(u'获取wx_url成功，%s' % wx_url)  # Step 3：Selenium+PhantomJs获取js异步加载渲染后的html  log(u'开始调用selenium渲染html')  selenium_html = get_selenium_js_html(wx_url)  # Step 4: 检测目标网站是否进行了封锁  if need_verify(selenium_html):  log(u'爬虫被目标网站封锁，请稍后再试')  else:  # Step 5: 使用PyQuery，从Step 3获取的html中解析出公众号文章列表的数据  log(u'调用selenium渲染html完成，开始解析公众号文章')  articles = parse_wx_articles_by_html(selenium_html)  log(u'抓取到微信文章%d篇' % len(articles))  # Step 6: 把微信文章数据封装成字典的list  log(u'开始整合微信文章数据为字典')  articles_list = switch_arctiles_to_list(articles)  return [content['title'] for content in articles_list]

weixin_wordcloud.py

# coding: utf8
from wordcloud import WordCloud
import weixin_spider
import matplotlib.pyplot as plt
import time  if __name__ == '__main__':  print u'''''  ****************************************************************   **   Welcome to Spider of weixin gongzhonghao for wordcloud   **   **                 Created on 2017-05-03                      **   **                 @author: Jimy _Fengqi                      **   ****************************************************************  '''    gongzhonghao=raw_input(u'input weixin gongzhonghao:')  if not gongzhonghao:  gongzhonghao='python'  text = " ".join(weixin_spider.run(gongzhonghao))  print text  wordcloud = WordCloud(random_state=1, font_path = r'C:/Users/Windows/fonts/simkai.ttf').generate(text)#处理获取到的title，准备绘制词云  print 'start drawing.....'  plt.figure()  plt.imshow(wordcloud, interpolation='bilinear')  plt.axis('off')  plt.show()

结果
运行结果以及效果图如下：

            ****************************************************************  **   Welcome to Spider of weixin gongzhonghao for wordcloud   **  **                 Created on 2017-05-03                      **  **                 @author: Jimy _Fengqi                      **  ****************************************************************  input weixin gongzhonghao:
2017-05-03_17-12-05: 开始获取，微信公众号英文名为：python
2017-05-03_17-12-05: 开始调用sougou搜索引擎
2017-05-03_17-12-05: 搜索地址为：http://weixin.sogou.com/weixin?type=1&query=python&ie=utf8&s_from=input&_sug_=n&_sug_type_=
2017-05-03_17-12-05: 获取sougou_search_html成功，开始抓取公众号对应的主页wx_url
2017-05-03_17-12-05: 获取wx_url成功，http://mp.weixin.qq.com/profile?src=3×tamp=1493802721&ver=1&signature=Eu9LOYSA47p6WE0mojhMtFR-gSr7zsQOYo6*w5VxrUjAAes2nWKzZmHcIVVOotmCKZQHqx1-oJty0W7zXgciDA==
2017-05-03_17-12-05: 开始调用selenium渲染html
2017-05-03_17-12-14: 调用selenium渲染html完成，开始解析公众号文章
2017-05-03_17-12-14: 抓取到微信文章10篇
2017-05-03_17-12-14: 开始整合微信文章数据为字典
2017-05-03_17-12-14: 开始整合(1/10)
2017-05-03_17-12-14: 地址为： http://mp.weixin.qq.com/s?timestamp=1493802726&src=3&ver=1&signature=0YETqaQn3VeAFFu5BfQjFRkPF4H*-Pdei4mlBgUEtq0k1QLMNDBHGL*vmaJVGGxgDnWtjomkqe8PXYC-M4UT-Ubq8pZXWLNMCUN8t46HfTCghZZelhTNk4OK9r4N84PNA4PStQzUxee5aSRaDAYTBS9Wf2m7FYrKgva2*9PSq4k=
2017-05-03_17-12-14: 文章简述： 不同于其他免费基础视频、不容错过哦
2017-05-03_17-12-14: 发表时间为： 2017年4月25日
2017-05-03_17-12-14: 封面图片是：http://mmbiz.qpic.cn/mmbiz_jpg/Kad3LZzM7n6kOLEoklv3z5DlYnHz2lE2pcudibic6pDbMUck8vT4zlzqDUDpBeWNsgGPef8HmQkrG6dPkAZick0jw/0?wx_fmt=jpeg
2017-05-03_17-12-14: 开始整合(2/10)
2017-05-03_17-12-14: 地址为： http://mp.weixin.qq.com/s?timestamp=1493802726&src=3&ver=1&signature=0YETqaQn3VeAFFu5BfQjFRkPF4H*-Pdei4mlBgUEtq0k1QLMNDBHGL*vmaJVGGxgDnWtjomkqe8PXYC-M4UT-du18Q4qJZThq4lkPKLgjuXf-H6L4kHEImvTcJXsIjlm4eWr3pGE4Kr0DKmBSNe27wR*EmgCQuPwXey4tFdI-uM=
2017-05-03_17-12-14: 文章简述： 恭喜你获得了免费python学习机会、
2017-05-03_17-12-14: 发表时间为： 2017年4月22日
2017-05-03_17-12-14: 封面图片是：http://mmbiz.qpic.cn/mmbiz_png/Kad3LZzM7n7J8cEPG7OwwoJpECMfbYribz3LojBq8TUbfibhmEicb6M1AbZbDN5fL490AtUEpv33lnDfOWdhZHw5w/0?wx_fmt=png
2017-05-03_17-12-14: 开始整合(3/10)
2017-05-03_17-12-14: 地址为： http://mp.weixin.qq.com/s?timestamp=1493802726&src=3&ver=1&signature=0YETqaQn3VeAFFu5BfQjFRkPF4H*-Pdei4mlBgUEtq0k1QLMNDBHGL*vmaJVGGxgDnWtjomkqe8PXYC-M4UT-YYYmhz6gmrq4PnNMVHDwJMKYXgaGMZo8QqlHmZ5AyFQwrnSDU3gtYjXP6bvz9m0HjURSqAE*lF-t5R6iQSw8bc=
2017-05-03_17-12-14: 文章简述： 如今python编程语言在国内越来越火了，学习python的人也开始多了起来，今天我就来分享一下，我了解到的从各大知名企业招聘信息中的python程序员职业技能表！
2017-05-03_17-12-14: 发表时间为： 2017年4月11日
2017-05-03_17-12-14: 封面图片是：http://mmbiz.qpic.cn/mmbiz_png/Kad3LZzM7n5RzVjTFpzmaAupSsibCOvw6pyUTSF8qqgMI98S5soCyNlnnbLSLAfFibJUSyjhyxSC53LibJq48PTUQ/0?wx_fmt=png
2017-05-03_17-12-14: 开始整合(4/10)
2017-05-03_17-12-14: 地址为： http://mp.weixin.qq.com/s?timestamp=1493802726&src=3&ver=1&signature=0YETqaQn3VeAFFu5BfQjFRkPF4H*-Pdei4mlBgUEtq0k1QLMNDBHGL*vmaJVGGxgDnWtjomkqe8PXYC-M4UT-XdE1cnErev9xb0hF1qOmgr5P*HeGyrWpC5OrEQvAKDaxPjExg1V594I*vwhcHoEIraMXA0fDOod*qVu7fsN1VY=
2017-05-03_17-12-14: 文章简述： 又是新的一周、新的开始
2017-05-03_17-12-14: 发表时间为： 2017年4月10日
2017-05-03_17-12-14: 封面图片是：http://mmbiz.qpic.cn/mmbiz_png/Kad3LZzM7n5DicWjY05ib7KAZNjZpGMT55FdmYfgL1UJU39UIjB1icnRWSCibrHYPFgAPDkjsx7RgRXlFs7njL8QFw/0?wx_fmt=png
2017-05-03_17-12-14: 开始整合(5/10)
2017-05-03_17-12-14: 地址为： http://mp.weixin.qq.com/s?timestamp=1493802726&src=3&ver=1&signature=0YETqaQn3VeAFFu5BfQjFRkPF4H*-Pdei4mlBgUEtq0k1QLMNDBHGL*vmaJVGGxgDnWtjomkqe8PXYC-M4UT-UAtygSQ*C5lBQy53XisEjEmV-uFUkwzjPLoaaF5vOqLn9Bm3tB84CSsX0MfzK5d57DS625vB-hM*k1zQwgfbJ0=
2017-05-03_17-12-14: 文章简述： 不定时更新这种精讲视频、记得随时关注哦
2017-05-03_17-12-14: 发表时间为： 2017年4月8日
2017-05-03_17-12-14: 封面图片是：http://mmbiz.qpic.cn/mmbiz_jpg/Kad3LZzM7n5HIeqCSKia2L10THBoRkYkKrbicUJjUYicCXjiasUDuJxY9DBJ0tTP3ticf2XbN2Cr5Vfg0CM1Kx1TwiaA/0?wx_fmt=jpeg
2017-05-03_17-12-14: 开始整合(6/10)
2017-05-03_17-12-14: 地址为： http://mp.weixin.qq.com/s?timestamp=1493802726&src=3&ver=1&signature=0YETqaQn3VeAFFu5BfQjFRkPF4H*-Pdei4mlBgUEtq0k1QLMNDBHGL*vmaJVGGxgDnWtjomkqe8PXYC-M4UT-Vf8RaS4Pkph9DIfBuroVRszZ7VccePWMMYLU1Wda8YZrUc5X9DL1F*7QUvkN75ZXxKSl7JKCQihehlrRCQQziY=
2017-05-03_17-12-14: 文章简述： flask是一款非常流行的Python Web框架，出生于2010年，作者是Armin Ronacher,本来这个项目只是作者在愚人节的一个玩笑，后来由于非常受欢迎，进而成为一个正式的项目。目前为止最新的版本是0.11.1。
2017-05-03_17-12-14: 发表时间为： 2017年4月6日
2017-05-03_17-12-14: 封面图片是：http://mmbiz.qpic.cn/mmbiz_jpg/Kad3LZzM7n6kOLEoklv3z5DlYnHz2lE2j1EVD3OcqtW9BDJEK8libEyY7QdDCLkJgQaFwXP0FJmZCug3KKjeVAg/0?wx_fmt=jpeg
2017-05-03_17-12-14: 开始整合(7/10)
2017-05-03_17-12-14: 地址为： http://mp.weixin.qq.com/s?timestamp=1493802726&src=3&ver=1&signature=0YETqaQn3VeAFFu5BfQjFRkPF4H*-Pdei4mlBgUEtq0k1QLMNDBHGL*vmaJVGGxgDnWtjomkqe8PXYC-M4UT-dYVYcn0tSGPeTL8AlJGawykBwNMks28FXsqxsxui0a4n4-5TXQPsrpuc*69GH1WOfzeHw*3WnK48uuqwMmY8NU=
2017-05-03_17-12-14: 文章简述： 值得一看哦
2017-05-03_17-12-14: 发表时间为： 2017年4月5日
2017-05-03_17-12-14: 封面图片是：http://mmbiz.qpic.cn/mmbiz_png/Kad3LZzM7n6JXibnmFZEMsTo4rIY37l58ibQicyiaiaTwRo1ia05hpjicbb5OlL8na5JTsUGwwyY6Pg6MXFD6nrYnaGDg/0?wx_fmt=png
2017-05-03_17-12-14: 开始整合(8/10)
2017-05-03_17-12-14: 地址为： http://mp.weixin.qq.com/s?timestamp=1493802726&src=3&ver=1&signature=0YETqaQn3VeAFFu5BfQjFRkPF4H*-Pdei4mlBgUEtq0k1QLMNDBHGL*vmaJVGGxgDnWtjomkqe8PXYC-M4UT-ajcYor67dV-edCLAmz7ysAPsW1rnB-*0nqeyWNMdfoaMh5987ezN6IoTrGsjuyAzHd*VatTOzBzpkl-kevjDP4=
2017-05-03_17-12-14: 文章简述： ctypes（二）— 基本函数调用
上一次提到了，ctypes的兼容层，这次我们直接讲利用兼容层调用函数的相关规则。
2017-05-03_17-12-14: 发表时间为： 2017年4月2日
2017-05-03_17-12-14: 封面图片是：http://mmbiz.qpic.cn/mmbiz_jpg/Kad3LZzM7n6kOLEoklv3z5DlYnHz2lE23reFCJVbkRvwcadcnvA84WYIqOmLtU1e679xzfUXFE8hvWa2tBqugA/0?wx_fmt=jpeg
2017-05-03_17-12-14: 开始整合(9/10)
2017-05-03_17-12-14: 地址为： http://mp.weixin.qq.com/s?timestamp=1493802726&src=3&ver=1&signature=0YETqaQn3VeAFFu5BfQjFRkPF4H*-Pdei4mlBgUEtq0k1QLMNDBHGL*vmaJVGGxgDnWtjomkqe8PXYC-M4UT-Qie-wwJs-toXtk7yDFPxfApK1UXSBITe-3QQuzYbo10M7BUKIPMtQf99U*UyTD-woQcjC8WnxoaqiaF2IeoKBc=
2017-05-03_17-12-14: 文章简述： ctypes（一） — 初识
很多初学Python的新手，总是嘴边挂着一句话：“Python是一门胶水语言”。
2017-05-03_17-12-14: 发表时间为： 2017年4月1日
2017-05-03_17-12-14: 封面图片是：http://mmbiz.qpic.cn/mmbiz_jpg/Kad3LZzM7n6kOLEoklv3z5DlYnHz2lE2V9CasXUA3JNnd6ZncuC6ptGvfalj6ibWr17YmAD0fTEVTD1SjEicekibg/0?wx_fmt=jpeg
2017-05-03_17-12-14: 开始整合(10/10)
2017-05-03_17-12-14: 地址为： http://mp.weixin.qq.com/s?timestamp=1493802726&src=3&ver=1&signature=0YETqaQn3VeAFFu5BfQjFRkPF4H*-Pdei4mlBgUEtq0k1QLMNDBHGL*vmaJVGGxgDnWtjomkqe8PXYC-M4UT-fUfVJStvaToDhm9rGSUVbZGpsdiyxOoBRZZng907ag6hLzmPy-6TfgYnB9xy5g3W1IUzt0GyVE27Rs3QqaFDZs=
2017-05-03_17-12-14: 文章简述： 什么是连接器？
连接器是编程语言（我们特指Python）连接数据库的一个中间层，通常以第三方包的形式发布。因此，如果我们要使用Python来操作数据库，那我们必须安装相应的连接器。
2017-05-03_17-12-14: 发表时间为： 2017年3月30日
2017-05-03_17-12-14: 封面图片是：http://mmbiz.qpic.cn/mmbiz_jpg/Kad3LZzM7n6kOLEoklv3z5DlYnHz2lE2pcudibic6pDbMUck8vT4zlzqDUDpBeWNsgGPef8HmQkrG6dPkAZick0jw/0?wx_fmt=jpeg
python基础教程：VIP精讲旅程 python项目实战教程：Flask框架开发搜索引擎 Python程序员技能表—446家知名企业的Py招聘信息 Python项目实战教程：Web与爬虫开发-（全自动更新数据）下 python框架教程：scrapy框架之xpath语法 框架-flaskの开发 Python项目实战教程：Web与爬虫开发(全自动更新数据) 系列:Python扩展模块(2) 愚人节快乐！今天你被愚了吗？系列:Python扩展模块(1) 这是Python连接器吗？不晓得
start drawing.....

总结

使用wordcloud 需要安装很多东西
目前所知

wordcloud

numpy

scipy

爬取微信公众号内容——绘制词云相关推荐

scrapy爬取微信公众号内容，多管道储存，orm数据储存
scrapy基本操作基本介绍:基于异步爬虫的框架.高性能的数据解析,高性能的持久化存储,全站数据爬取,增量式,分布式- 环境的安装: - Linux: pip install scrapy - Wi ...
python爬取微信公众号文章（包含文章内容和图片）
之前虽然做过网页爬取,但微信爬取一直没做过,因为我一直不知道网页可以进微信公众平台,只用过微信客户端进微信公众号.既然可以通过网页进微信公众平台,那么爬取微信公众号文章就流程上就没太多难度了. 自己在 ...
html如何获取请求头变量的值。_如何使用 Python 爬取微信公众号文章
我比较喜欢看公众号,有时遇到一个感兴趣的公众号时,都会感觉相逢恨晚,想一口气看完所有历史文章.但是微信的阅读体验挺不好的,看历史文章得一页页的往后翻,下一次再看时还得重复操作,很是麻烦. 于是便想着能 ...
Python3网络爬虫开发实战，使用IP代理爬取微信公众号文章
前面讲解了代理池的维护和付费代理的相关使用方法,接下来我们进行一下实战演练,利用代理来爬取微信公众号的文章. 很多人学习python,不知道从何学起. 很多人学习python,掌握了基本语法过后,不知 ...
python爬取正确但不出文件_使用Python爬取微信公众号文章并保存为PDF文件(解决图片不显示的问题)...
前言第一次写博客,主要内容是爬取微信公众号的文章,将文章以PDF格式保存在本地. 爬取微信公众号文章(使用wechatsogou) 1.安装 pip install wechatsogou --up ...
使用代理爬去微信公众号_Python3网络爬虫开发实战之使用代理爬取微信公众号文章...
本节目标我们的主要目标是利用代理爬取微信公众号的文章,提取正文.发表日期.公众号等内容,爬取来源是搜狗微信,其链接为 http://weixin.sogou.com/,然后把爬取结果保存到 MySQ ...
使用代理爬去微信公众号_Python3WebSpider/9.5-使用代理爬取微信公众号文章.md at master · Lainton/Python3WebSpider · GitHub...
9.5 使用代理爬取微信公众号文章前面讲解了代理池的维护和付费代理的相关使用方法,接下来我们进行一下实战演练,利用代理来爬取微信公众号的文章. 1. 本节目标我们的主要目标是利用代理爬取微信公众号 ...
Python 爬取微信公众号文章
获取任何你想爬取的微信公众号文章本程序通过输入关键字(如CSDN)就会获取到所有包含关键字(如CSDN)的公众号.在逐一获取所有公众号下所有文章.当然,这只是理想情况,腾讯的反爬不是一般的厉害,他会 ...
python爬取微信公众号文章
爬取微信公众号文章获取微信公众号的url 获取每一篇文章的url 选择一个公众号进入,选择一个目录进入后点复制链接,然后去浏览器打开.按F12打开检查的模式,在Console中输入$x('标签路 ...
基于搜狗微信爬取微信公众号的文章
1. 引入模块和函数 from requests_html import HTMLSession from urllib.parse import urlparse, parse_qs import ...

爬取微信公众号内容——绘制词云

爬取微信公众号内容——绘制词云相关推荐

最新文章

热门文章