python用BeautifulSoup抓取知乎小药丸

环境：python2.7+BeautifulSoup的库，如果安装了pip，就直接pip install BeautifulSoup就ok。

直接上代码吧。

# -*- coding: utf-8 -*-
import urllib2
from BeautifulSoup import BeautifulSoup
f = open('Answer.txt','w')
for pagenum in range(1,21):        strpagenum = str(pagenum)      print "Getting data for Page " + strpagenum   url = "http://www.zhihu.com/collection/27109279?page="+strpagenum  page = urllib2.urlopen(url)     soup = BeautifulSoup(page)      ALL = soup.findAll(attrs = {'class' : ['zm-item-title','zh-summary summary clearfix'] })for each in ALL :               if each.name == 'h2' :      print each.a.string     if each.a.string:       f.write(each.a.string.encode('utf-8'))else :                  f.write("No Answer")else :                      print each.stringif each.string: f.write(each.string.encode('utf-8'))else :f.write("No Answer")
f.close()

python用BeautifulSoup抓取知乎小药丸相关推荐

【实例】python 使用beautifulSoup 抓取网页正文以淘宝商品价格为例
参考文章: 利用BeautifulSoup抓取新浪网页新闻的内容使用Requests库和BeautifulSoup库来爬取网页上需要的文字与图片 -------------------------- ...
python学习-抓取知乎图片
python学习-抓取知乎图片 #!/bin/usr/env python3__author__ = 'nxz'""" 抓取知乎图片 webdriver Chromedr ...
Scrapy Python爬虫实战：抓取知乎问题下所有回答！
今天趁摸鱼的时候玩了会知乎,突然看到一个非常有意思的话题单身狗不知道还能干什么,所以特地把这些数据都抓下来,看看不除了第二杯半价还能干什么? 创建scrapy项目前面教程概念讲的我嘴都麻了,估计大 ...
python 抓取知乎
刚入门python,本着就是干的原则,从小项目开始. 今天在抓取网页的时候遇到了问题. import urllib.requesturl="http://www.fafu.edu.cn&qu ...
Python爬虫实战一：抓取知乎问题下所有回答
代码是最近(2021.09)新写的~ 需求任务需求:抓取知乎问题下所有回答,包括其作者.作者粉丝数.回答内容.时间.回答的评论数.回答赞同数以及该回答的链接. 分析以最近比较引人关注的" ...
Python爬虫实战，requests模块，Python实现抓取知乎热点话题
前言利用Python实现抓取知乎热点话题,废话不多说. 让我们愉快地开始吧~ 开发工具 Python版本: 3.6.4 相关模块: requests模块: re模块: pandas模块: lxml模 ...
[Python]爬虫02：用Beautifulsoup抓取的网页中有br标签，返回字符串为None，先用replace去除网页中br再抓内容。
问题:用Beautifulsoup抓取网页,网页中含有br标签,抓取相关的内容结果是None. 试了用字符串的replace函数替换br,还是返回None.试了用re正则替换br,提示返回类型错误. ...
python爬网页数据用什么_初学者如何用“python爬虫”技术抓取网页数据？
原标题:初学者如何用"python爬虫"技术抓取网页数据? 在当今社会,互联网上充斥着许多有用的数据.我们只需要耐心观察并添加一些技术手段即可获得大量有价值的数据.而这里的&quo ...
python抓取微信朋友圈动态_2018最全如何利用Python网络爬虫抓取微信朋友圈的动态...
今天小编给大家分享一下如何利用Python网络爬虫抓取微信朋友圈的动态信息,实际上如果单独的去爬取朋友圈的话,难度会非常大,因为微信没有提供向网易云音乐这样的API接口,所以很容易找不到门.不过不要慌 ...

python用BeautifulSoup抓取知乎小药丸

python用BeautifulSoup抓取知乎小药丸相关推荐

最新文章

热门文章