对内涵段子正则的提取

内涵段子正则爬取：

"""
内涵段子爬虫
https://www.neihan8.com/article/index.html"""
from  urllib import request,parse
from  urllib import error
import chardet
from lxml import etree
import csv,string,re
import csv
def neihanba(url,beginPage, endPage):for page in range(beginPage, endPage):pn = pageif pn <= 1:fullurl = url + "index.html"else:fullurl = url + "index_%s"%pn + ".html"headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/51.0.2704.103 Safari/537.36"}req = request.Request(fullurl, headers=headers)try:response = request.urlopen(req)resHtml = response.read()resHtml = resHtml.decode("utf-8", 'ignore')# 笑话标题title = r'<h3><a .*?>(.*?)</a></h3>'title_pattern = re.compile(title,re.I | re.S | re.M)joketitle = title_pattern.findall(resHtml)# 笑话内容content = r'<div class="desc">.*?(.*?)</div>'content_pattern = re.compile(content, re.I | re.S | re.M)jokecontent = content_pattern.findall(resHtml)for m in range(1,len(jokecontent)):k = jokecontent[m]filename = './data1/neihanba' + '.csv'with open(filename, 'a', encoding='utf-8') as file:wr = csv.writer(file)wr.writerow([joketitle,jokecontent])# 笑话urljokeurl = r'<h3><a href="(.*?)" .*?>.*?</a></h3>'url_patter = re.compile(jokeurl, re.I | re.S | re.M)jurl = url_patter.findall(resHtml)for i in jurl:jokefullurl = "https://www.neihan8.com" + iresponse = request.urlopen(jokefullurl)resHtml = response.read()resHtml = resHtml.decode("utf-8", 'ignore')# 笑话标题jokecontitle = r'<h1 class="title">(.*?)</h1>'jokecontitle_pattern = re.compile(jokecontitle, re.I | re.S | re.M)jokecontitle_content = jokecontitle_pattern.findall(resHtml)for a in jokecontitle_content:joke_content_title = a# 笑话内容jokecontent1 = r'<p>(.*?)</p>'joke_pattern = re.compile(jokecontent1, re.I | re.S | re.M)joke_content = joke_pattern.findall(resHtml)for s in range(len(joke_content)-2):openjoke_content = joke_content[s]filename = './data1/neihanba1' + '.csv'with open(filename, 'a', encoding='utf-8') as file:wr = csv.writer(file)wr.writerow([openjoke_content])except error.URLError as e:print(e)if __name__ == "__main__":proxy = {"http": "118.31.220.3:8080"}proxy_support = request.ProxyHandler(proxy)opener = request.build_opener(proxy_support)request.install_opener(opener)beginPage = int(input("请输入起始页："))endPage = int(input("请输入终止页："))url = "https://www.neihan8.com/article/"neihanba(url, beginPage, endPage)

对内涵段子正则的提取相关推荐

正则例子---爬取内涵段子
正则例子,爬取内涵段子 # coding=utf-8 import requests import re import jsonclass Neihan:def __init__(self):self ...
使用urllib2简单爬取并保存内涵吧内涵段子指定分页的的描述信息
对内涵8的内涵段子爬取每个分页上面显示的描述信息,按回车键继续对下一页进行爬取,输入quit退出爬取. 思路: 1. 爬取每个页面的源码 2. 对源码进行处理(使用正则),获取指定信息 3. 保存 ...
python3利用正则表达式爬取内涵段子
似乎正则在爬虫中用的不是很广泛,但是也是基本功需要我们去掌握. 先将内涵段子网页爬取下来,之后利用正则进行匹配,匹配完成后将匹配的段子写入文本文档内.代码如下: # -*- coding:utf-8 ...
内涵段子爬取及re匹配
案例:使用正则表达式的爬虫现在拥有了正则表达式这把神兵利器,我们就可以进行对爬取到的全部网页源代码进行筛选了. 下面我们一起尝试一下爬取内涵段子网站: http://www.neihan8.com/ ...
30 爬虫 - 爬取内涵段子网站案例
现在拥有了正则表达式这把神兵利器,我们就可以进行对爬取到的全部网页源代码进行筛选了. 下面我们一起尝试一下爬取内涵段子网站: http://www.neihan8.com/article/list_5 ...
python多线程爬取段子_Python爬虫实例-多线程爬虫糗事百科搞笑内涵段子
学习爬虫,其乐无穷! 今天给大家带来一个爬虫案例,爬取糗事百科搞笑内涵段子. 爬取糗事百科段⼦,假设⻚⾯的 URL 是:http://www.qiushibaike.com/8hr/page/1 一. ...
python 正则之提取字符串中的汉字,数字,字母
python 正则之提取字符串中的汉字,数字,字母 #\d 匹配一个数字字符.等价于 [0-9] #\D 匹配一个非数字字符.等价于 [^0-9]#过滤字符串中的英文与符号,保留汉字 import r ...
从内涵段子到皮皮虾，娱乐App为何不能一鱼两吃？
文|ihahe 来源 | 螳螂财经(ID:TanglangFin) 郭德纲在说到语言类节目困境的时候,用唱歌跟说相声做了个对比,他说歌星可以用一首歌挣一辈子的钱,笑星却不行.在相声里一个包袱只能丢一次 ...
写号是什么意思_内涵段子暗号馒头是什么意思该怎么接回答对话大全
最近小编在看段子的时候,发现一些有意思的新段子,并且并不怎么理解,那么内涵段子暗号馒头什么意思,段子里面馒头什么意思呢?莫慌快随小编一起一探究竟吧. 内涵段子暗号馒头什么意思段子里面馒头什么意思其 ...

对内涵段子正则的提取

对内涵段子正则的提取相关推荐

最新文章

热门文章