python爬虫爬取页面源码在本页面展示

python爬虫在爬取网页内容时，需要将内容连同内容格式一同爬取过来，然后在自己的web页面中显示，自己的web页面为django框架

首先定义一个变量html，变量值为一段HTML代码

>>> print(html)
<div id=1> &nbsp;&nbsp;my <br> &nbsp; name <br>is &nbsp; JAY <br> </div>

，我们现在要取div里面的内容，在自己的web页面中显示，空格和换行符等都以HTML代码的形式抓取。最终想要的数据为

  my <br>

  name <br>

is   JAY <br>

（1）首先soup.string是不行的，因为div下面不止一个子标签

>>> from bs4 import BeautifulSoup
>>> soup = BeautifulSoup(html, 'html.parser')
>>> soup.string
>>>

可以看到返回值为空

（2）使用get_text()也是不行的，因为get_text()获取的字符串都是转义后的，我们要的是原生的HTML代码

>>> soup.get_text()
' \n \xa0\xa0my  \n \xa0 name \n is \xa0 JAY \n'

不过get_text()在其他很多场合很实用，它可以获取标签下的所有子孙标签内的文本内容

同时可以指定参数

>>> soup.get_text('|')  #所有tag文本内容的分隔符
' \n \xa0\xa0my | \n \xa0 name |\n is \xa0 JAY |\n'>>> soup.get_text('|', strip=True)   #去掉文本内容前后的空白
'my|name|is \xa0 JAY'

或者使用soup.stripped_strings生成器，获取文本内容手动处理

（3）可以使用.contents

>>> content_soup = soup.div.contents
>>> content_soup
[' \n \xa0\xa0my ', <br/>, ' \n \xa0 name ', <br/>, '\n is \xa0 JAY ', <br/>, '\n']
>>> content_soup = [str(i) for i in content_soup]   #列表中的所有值改换为字符串类型
>>> content_text = ''.join(content_soup)     #合并列表到一个字符串中
>>> content_text
' \n \xa0\xa0my <br/> \n \xa0 name <br/>\n is \xa0 JAY <br/>\n'
>>> print(content_text)my <br/> name <br/>is   JAY <br/>

至此，就可以直接将变量放到web页面中

转载于:https://www.cnblogs.com/stuqx/p/7291940.html

python爬虫爬取页面源码在本页面展示相关推荐

[python爬虫]爬取电影，电视剧
目录影视作品存储格式爬取方法实际操作影视作品存储格式网页中的小视频往往以 <video src="#"></video>存在,拿到src中的视频地 ...
Python爬虫爬取肯德基餐厅信息案例实现(含源码及详细解释)
1. 需求: 爬取肯德基某一地区的餐厅数量以及其具体信息 (以下代码我仅仅展示出餐厅的店名信息,并将其用列表方式保存在.txt文件中) 2.学习python爬虫的好课推荐: b站上的路飞学城IT,提醒 ...
python爬虫——爬取马蜂窝景点翻页文字评论
python爬虫--爬取马蜂窝景点翻页文字评论使用Chrome.python3.7.requests库和VSCode进行爬取马蜂窝黄鹤楼的文字评论(http://www.mafengwo.cn/po ...
Python爬虫---爬取腾讯动漫全站漫画
Python爬虫---爬取腾讯动漫全站漫画操作环境网页分析明确目标提取漫画地址提取漫画章节地址提取漫画图片编写代码导入需要的模块获取漫画地址提取漫画的内容页提取章节名获取漫画源 ...
使用Python爬虫爬取网络美女图片
代码地址如下: http://www.demodashi.com/demo/13500.html 准备工作安装python3.6 略安装requests库(用于请求静态页面) pip instal ...
【爬虫】利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中（2）...
[爬虫]利用Python爬虫爬取小麦苗itpub博客的所有文章的连接地址并写入Excel中(2) 第一篇( http://blog.itpub.net/26736162/viewspace-22865 ...
Python爬虫爬取豆瓣电影TOP250
Python爬虫爬取豆瓣电影TOP250 最近在b站上学习了一下python的爬虫,实践爬取豆瓣的电影top250,现在对这两天的学习进行一下总结主要分为三步: 爬取豆瓣top250的网页,并通过 ...
php抓取微博评论,python爬虫爬取微博评论案例详解
前几天,杨超越编程大赛火了,大家都在报名参加,而我也是其中的一员. 在我们的项目中,我负责的是数据爬取这块,我主要是把对于杨超越的每一条评论的相关信息. 数据格式:{"name" ...
利用python爬取知乎评论_一个简单的python爬虫,爬取知乎
一个简单的python爬虫,爬取知乎主要实现爬取一个收藏夹里所有问题答案下的图片文字信息暂未收录,可自行实现,比图片更简单具体代码里有详细注释,请自行阅读项目源码: 1 # -*- c ...

python爬虫爬取页面源码在本页面展示

python爬虫爬取页面源码在本页面展示相关推荐

最新文章

热门文章