我是一只百度贴吧的小爬虫

总体功能：查看特定帖子楼主的发言（不包含图片）

前段时间大概看了python的语法，但是确实第一次用python来写东西。很久之前就想学python，学爬虫了，现在终于开始了！谢了自己的第一个爬虫，很开心O(∩_∩)O 觉得学东西兴趣很重要，爬虫真的好玩！

整个功能的实现含有两个类，一个是工具类Tool，另一个是百度贴吧的爬虫类BaiduTieba，提取网页的内容主要还是正则表达式。代码如下：

# -*- coding:utf-8 -*-
import urllib
import urllib2
import re#工具类，用于去除一些链接之类的特殊标签
class Tool:#去除图片链接removeImage = re.compile('<img class="BDE_Image".*?>')#去除<br>removeBR = re.compile('<br>')#去除超链接removeHref = re.compile('<a href=.*?</a>')def replaceStrange(self,x):x = re.sub(self.removeImage,"",x)x = re.sub(self.removeBR,"\n",x)x = re.sub(self.removeHref,"",x)return x.strip()#百度贴吧爬虫类
class BaiduTieba:def __init__(self,baseUrl,seeLZ):#帖子基址self.baseUrl = baseUrl#只看楼主seeLZ=1self.seeLZ = '?see_lz='+str(seeLZ)self.tool = Tool()def getPage(self,pageNum):try:url = self.baseUrl + self.seeLZ + '&pn=' + str(pageNum)request = urllib2.Request(url)response = urllib2.urlopen(request)#print response.read()return response.read().decode('utf-8')except urllib2.URLError,e:if hasattr(e,"reason"):print e.reasonreturn Nonedef getTitle(self):page = self.getPage(1)pattern = re.compile('<h1 class="core_title_txt.*?>(.*?)</h1>',re.S)result = re.search(pattern,page)if result:print "success!"print result.group()else:print "failed!"def getContent(self,page):#正则表达式匹配pattern = re.compile('<div id="post_content_.*?>(.*?)</div>',re.S)items = re.findall(pattern,page)floor = 1for item in items:print '\n',floor,u"楼-----------------------------------------------------------------------------------"print self.tool.replaceStrange(item)floor += 1print u"请输入帖子编号："
baseURL = 'http://tieba.baidu.com/p/' + str(raw_input(u'http://tieba.baidu.com/p/'))
baidu = BaiduTieba(baseURL,1)
baidu.getContent(baidu.getPage(1))

效果如图（扒一扒这些年朋友之上恋人未满的逗逼）：

我是一只百度贴吧的小爬虫相关推荐

[Python]网络爬虫（六）：一个简单的百度贴吧的小爬虫
[python] view plaincopy # -*- coding: utf-8 -*- #--------------------------------------- # 程序:百度贴吧 ...
Python日记——柿子要捡软的捏，记第一只小爬虫
2017.12.19 阅读了<零基础入门学习Python>一书第14章"论一只爬虫的自我修养"之后总想跃跃欲试实现一只自己的小爬虫,但可惜的是,或许因为这本书的读者太多 ...
python3.4 百度贴吧小爬虫
import string,urllib.request def cookie(get_page,begin,end):for i in range(begin,end+1):sname = 'f:/ ...
我们的新书--《我是一只IT小小鸟》
<我是一只IT小小鸟>即将由电子工业出版社出版.这本书是由一群IT学子共同创造而成, 每个人分别讲述各自的成长经历.我参加了本书的创作队伍,本书的第一篇文章就是我对于自己大学生活的反思以及 ...
《我是一只IT小小鸟》读后感
上了大学后我发现我没有像自己现象中那么刻苦,没有努力的充实自己.也忘了学习这门专业的初衷.以为老师推荐了这本<我是一只IT小小鸟>叫我们去阅读,一开始我只是把它当做作业去完成而已.读完后我 ...
读《我是一只IT小小鸟》笔记
很有幸当我在刚上大学迷茫之际,可以读到<我是一只IT小小鸟>这本书.书中写到很多就读IT方面的前辈的各种经验之谈,要知道当迷茫的时候很需要有人给你中肯的建议,而因为有了这本书中前辈们对后辈 ...
读《我是一只 IT 小小鸟》
读<我是一只 IT 小小鸟> 作为一个一向看重节操的体面人,即使面临许多 DDL 包括期中考试,在忙乱不堪的时候我也断不断告诫自己,不能迫于课程要求仅为了写出一篇笔记而去读书,以后更是如此 ...
《我是一只IT小小鸟》目录I
以下是电子工业出版社博文视点新书<我是一只IT小小鸟>的目录I,欢迎围观. 目录 I Contents I 蒋宇东梦断计院,为梦前行 / 1 引子:我的感悟,我的忏悔上篇·梦 ...
《我是一只IT小小鸟》连载
转自csdn,原文链接:http://blog.csdn.net/bvbook/archive/2009/08/18/4458803.aspx <我是一只IT小小鸟>连载之一--梦断计院( ...

我是一只百度贴吧的小爬虫

我是一只百度贴吧的小爬虫相关推荐

最新文章

热门文章