想看小说，不想看花里胡哨的网页，想着爬下来存个txt，顺便练习一下爬虫。

随便先找了个看起来格式比较好的小说网站《飞卢小说网》做练习样本，顺便记录一下练习成果。

ps:未登录，不能爬取VIP章节部分

目录

使用工具

网页结构分析

爬虫实现

结果展示

使用工具

python3  ,beaufulsoup库，request库

网页结构分析

随便在网站找了个小说，分析网页结构：

https://b.faloo.com/f/479986.html  以此页为例，可以发现，目录页全部整齐的在后面加上了章数https://b.faloo.com/p/479986/4.html

这里不用更换网址的方法，选用  找到存放目录的a标签，逐一获取链接的方式 练习。

首先，分析目录页结构，对元素右键进行检查

可以发现，目录链接全部存放在table里，很整齐的在类名为td_0的td中；

接着分析每节内容，发现小说内容全部储存在 id=content 的div中：

爬虫实现

首先需要获取这本小说所有的章节链接，从网页结构可以发现，链接全部存储再table的td中。

用get_download_url方法循环获取table中tr的内容，再使用BeautifulSoup的find方法挨个提取td中的a标签链接，存储到urls中方便后续使用

def get_download_url(self):

req = requests.get(url=self.target)

html = req.text

tr_bf = BeautifulSoup(html,'lxml')

trs = tr_bf.find('div',class_='ni_list').find_all('tr')

for tr in trs:

for td in tr.find_all('td'):

td_bf = BeautifulSoup(str(td))

td = td_bf.find_all('td')

for each in td :

#print(each.string)

a = each.find('a')

if a != None :

#print(a.get('href'))

self.names.append(each.string)

self.urls.append(a.get('href'))

self.nums += 1

print('共有%f章需要下载'%(int(self.nums)))

然后，写提取每章内容的方法get_contents，用requests类爬取到内容，用find_all方法

这里发现爬取到的小说没有换行，用replace方法将两个空格替换成换行，debug发现空格编码为\u3000；

爬取到的内容每章后面有230字符的广告，也剔除掉。

def get_contents(self,target):

target = 'http:'+target

req = requests.get(url=target)

html = req.text

bf=BeautifulSoup(html,'lxml')

texts = bf.find_all('div',id='content')

if len(texts)>0:

texts = texts[0].text.replace('\u3000\u3000','\r\n')

return texts[:-230]

else:

return None

接着将内容写入文件中：

def writer(self,name,path,text):

#writer_flag = True

with open(path,'a',encoding='utf-8')as f:

f.write(name +'\n')

f.writelines(text)

f.write('\n\n')

最后，整理一下：

if __name__ == "__main__":

dl = downloader()

dl.get_download_url()

print('已获取下载链接')

print('开始下载')

i=3

print(len(dl.names))

for i in range(len(dl.urls)):

content =dl.get_contents(dl.urls[i])

if content != None:

dl.writer(dl.names[i],'大唐发明家.txt',content)

sys.stdout.write("已下载:%.1f%%" % float((i/dl.nums)*100) + '\r')

sys.stdout.flush()

print('下载完成')

结果展示

很简单的一个demo，还要需要完善的地方。

源码在有需要再附上，欢迎交流。