今天广播员是谁呐歌单和我好像呐求勾搭【另外，别让那个主播Jason出现了，难受】

接下来就是通过urllib2+re(正则表达式)来进行网页处理。

说明

1.在处理网页的时候，如果贴子是置顶的话，有时候会缺失内容项，所以添加了处理置顶贴的函数。

2.网页会有重复贴子的情况，增加了去重功能

如果如下，可以看到大部分的都是些无用的东西；没有太

#__author__='ZHENGT'

# -*- coding: utf-8 -*-

#爬取百度贴吧的内容

#参考资料:

#http://www.imekaku.com/2015/08/31/python-work-tieba2/

#http://blog.csdn.net/u010412719/article/details/50199047

#http://python.jobbole.com/81359/

#备注:百度贴吧不同页下载下来的数据会有很多重复项，需要进行去重处理

import urllib2

import re

import os

#上海工会管理职业学院

GH_url='http://tieba.baidu.com/f?ie=utf-8&kw=' \

'%E4%B8%8A%E6%B5%B7%E5%B7%A5%E4%BC%9A%E7%' \

'AE%A1%E7%90%86%E8%81%8C%E4%B8%9A%E5%AD%A6%E9%99%A2&pn='

#上海商学院

SXY_url='http://tieba.baidu.com/f?kw=' \

'%E4%B8%8A%E6%B5%B7%E5%95%86%E5%AD%A6%E9%99%A2&ie=utf-8&pn='

#上海应用技术大学

YJD_url='http://tieba.baidu.com/f?kw=' \

'%E4%B8%8A%E6%B5%B7%E5%BA%94%E7%94%A8%E6%8A%80%E6%9C%AF%E5%AD%A6%E9%99%A2&ie=utf-8&pn=1'

f1="YJD.txt"

ID_list={} #用于记录贴子ID,去重

#定义百度函数

def Baidu_Tieba(url,i_page):

try:

print '正在下载'+str(i_page)+'页..........' #获取抓取网页

html_Tieba=urllib2.urlopen(url+str(i_page)).read()

print type(html_Tieba) #显示类别，一般为str

return html_Tieba #返回值

except Exception,e: #Error

print e

def PraserHTML(WebData,i_page): #处理网页信息,WebData->>String

TopNum=0 #初始化

Titles=GetTitle(WebData) #Type-->>List

Posters=GetPoster(WebData) #Type-->>List

Contents=GetContent(WebData) #Type-->>List

IconTop=GetTop(WebData) #Type-->List

TopNum=len(IconTop) #置顶贴子数

if TopNum>0: #记录页面置页贴子

for i in range(0,len(Titles)): #根据标题列表循环

title=ReplaceTitle(Titles[i])

IDs = title.split(' ') #按空格分割,获取ID号码

ID_list[IDs[0]] = IDs[1] #添加字典

poster=ReplacePoster(Posters[i])

if i<=TopNum: #处理置顶贴

content = "IconTop"

else:

content=ReplaceContent(Contents[i-TopNum])

Write_To_File(title,poster,content)

else:

for i in range(0,len(Titles)): #根据标题列表循环

title=ReplaceTitle(Titles[i])

IDs=title.split(' ') #按空格分割,获取ID号码

if not ID_list.has_key(IDs[0]):

ID_list[IDs[0]]=IDs[1] #添加字典

poster=ReplacePoster(Posters[i])

content=ReplaceContent(Contents[i])

Write_To_File(title,poster,content)

def ReplaceTitle(item): #替换Title不需要字符

removeHead=re.compile('

else:

return "NA"

def Write_To_File(title,poster,content): #数据写入txt文件

f=open(f1,'a')

f.write(title+"--->>>"+poster+"--->>>"+content) #主题，发贴人，内容

f.write("\n")

f.close()

def GetTitle(Data): #获取当前页主题

pattern=re.compile(r'

data=re.findall(pattern,Data)

return data

def GetTop(Data): #获取当前页内容，获取置顶贴子

pattern=re.compile(r'')

data=re.findall(pattern,Data)

return data

if __name__=='__main__': #

if os.path.exists(f1): os.remove(f1) #初始化文件

for i in range(1,11): #指定需要循环的页数

html_data=Baidu_Tieba(YJD_url,i)

PraserHTML(html_data,i)

# Write_To_File("Page----",str(i),"-----Done")

print "Done-----------------"

exit(0)