python爬虫爬取史诗典籍

import re
from time import sleepimport requests
from bs4 import BeautifulSoup# 获取书籍名字和进入目录的链接

def get_book():# 获取网页url = 'http://www.shicimingju.com/book/'html = requests.get(url).text# 利用BeautifulSoup分析提取网页内容soup = BeautifulSoup(html, 'lxml')bookmark_list = soup.find('div', class_='bookmark-list')li_list = bookmark_list.find_all('li')# 获取想要的书籍的名字和进入目录的链接，并生成字典datas = []for li in li_list:book_href = 'http://www.shicimingju.com' + li.find('a')['href']book_name = li.text.replace('\n', '')reg = r'\d+、(.*)'book_name = re.findall(reg, book_name)[0]dict1 = {'href': book_href,'book_name': book_name}datas.append(dict1)return datas

# 获取目录信息，进入内容的链接

def get_mulu_detail(urls):# 获取目录网页信息html = requests.get(urls).text# 分析网页soup = BeautifulSoup(html, 'lxml')book_mulu = soup.find('div', class_='book-mulu')li_list = book_mulu.find_all('li')# 得到进入内容的链接detail_list = []for li in li_list:li_href = 'http://www.shicimingju.com' + li.find('a')['href']detail_list.append(li_href)return detail_list

# 爬取书籍内容

def get_content(urls):content = []for url in urls:# 获取网页信息html = requests.get(url).text# 分析网页并得到内容soup = BeautifulSoup(html, 'lxml')container = soup.find('div', class_='www-main-container')container = container.text.replace('\n', '').replace('\xa0', '')content.append(container)return content

#将内容保存到每个对应的文件中，文件的名字用 ‘书名+.txt’ 来命名

def save_books(contents, book_name):filename = book_name + '.txt'for content in contents:with open(filename, 'a', encoding='utf-8') as f:f.write(content)

#代码在当前环境下运行

def main():datas = get_book()for data in datas:book_href = data['href']book_name = data['book_name']sleep(2)detail_href = get_mulu_detail(book_href)sleep(2)contents = get_content(detail_href)sleep(2)save_books(contents, book_name)if __name__ == '__main__':main()

# 最后整理代码如下

import re
from time import sleepimport requests
from bs4 import BeautifulSoupdef get_book():url = 'http://www.shicimingju.com/book/'html = requests.get(url).text# print(html)soup = BeautifulSoup(html, 'lxml')bookmark_list = soup.find('div', class_='bookmark-list')li_list = bookmark_list.find_all('li')datas = []for li in li_list:book_href = 'http://www.shicimingju.com' + li.find('a')['href']book_name = li.text.replace('\n', '')reg = r'\d+、(.*)'book_name = re.findall(reg, book_name)[0]dict1 = {'href': book_href,'book_name': book_name}datas.append(dict1)return datasdef get_mulu_detail(urls):html = requests.get(urls).text# print(html)soup = BeautifulSoup(html, 'lxml')book_mulu = soup.find('div', class_='book-mulu')li_list = book_mulu.find_all('li')detail_list = []for li in li_list:li_href = 'http://www.shicimingju.com' + li.find('a')['href']detail_list.append(li_href)return detail_listdef get_content(urls):content = []for url in urls:html = requests.get(url).text# print(html)soup = BeautifulSoup(html, 'lxml')container = soup.find('div', class_='www-main-container')container = container.text.replace('\n', '').replace('\xa0', '')content.append(container)return contentdef save_books(contents, book_name):filename = book_name + '.txt'for content in contents:with open(filename, 'a', encoding='utf-8') as f:f.write(content)def main():datas = get_book()for data in datas:book_href = data['href']book_name = data['book_name']sleep(2)detail_href = get_mulu_detail(book_href)sleep(2)contents = get_content(detail_href)sleep(2)save_books(contents, book_name)if __name__ == '__main__':main()

python爬虫爬取史诗典籍相关推荐

在当当买了python怎么下载源代码-python爬虫爬取当当网
[实例简介]python爬虫爬取当当网 [实例截图] [核心代码] ''' Function: 当当网图书爬虫 Author: Charles 微信公众号: Charles的皮卡丘 ''' impor ...
python爬虫代码实例-Python爬虫爬取百度搜索内容代码实例
这篇文章主要介绍了Python爬虫爬取百度搜索内容代码实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下搜索引擎用的很频繁,现在利用Python爬 ...
python爬虫数据分析可以做什么-python爬虫爬取的数据可以做什么
在Python中连接到多播服务器问题,怎么解决你把redirect关闭就可以了.在send时,加上参数allow_redirects=False 通常每个浏览器都会设置redirect的次数.如果re ...
python爬虫爬取csdn博客专家所有博客内容
python爬虫爬取csdn博客专家所有博客内容: 全部过程采取自动识别与抓取,抓取结果是将一个博主的所有文章存放在以其名字命名的文件内,代码如下 #coding:utf-8import urlli ...
python网易云_用python爬虫爬取网易云音乐
标签: 使用python爬虫爬取网易云音乐需要使用的模块只需要requests模块和os模块即可开始工作先去网易云音乐网页版找一下你想要听的歌曲点击进去.按键盘F12打开网页调试工具,点击Ne ...
使用Python爬虫爬取网络美女图片
代码地址如下: http://www.demodashi.com/demo/13500.html 准备工作安装python3.6 略安装requests库(用于请求静态页面) pip instal ...
python如何爬取网站所有目录_用python爬虫爬取网站的章节目录及其网址
认识爬虫网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本.另外一些不常使用的名字还有蚂蚁.自动索引.模拟 ...
运用Python爬虫爬取一个美女网址，爬取美女图
运用Python爬虫爬取一个美女网址,爬取美女图要运用到的python技术: 导入库 1.request 发送请求,从服务器获取数据 2.BeautifulSoup 用来解析整个网页的源代码 imp ...
Python爬虫|爬取喜马拉雅音频
"GOOD Python爬虫|爬取喜马拉雅音频喜马拉雅是知名的专业的音频分享平台,用户规模突破4.8亿,汇集了有声小说,有声读物,儿童睡前故事,相声小品等数亿条音频,成为国内发展最快.规模 ...

python爬虫爬取史诗典籍

python爬虫爬取史诗典籍相关推荐

最新文章

热门文章

python爬虫 爬取史诗典籍

python爬虫 爬取史诗典籍相关推荐

最新文章

热门文章

python爬虫爬取史诗典籍

python爬虫爬取史诗典籍相关推荐