利用BeautifulSoup爬取标题

整体思想：

首先导入所需要的库
声明一个方法，将过程包裹起来
获取网页
解析网页，找到我们所需要的东西
保存内容

1.获取随机头部的库方法

from fake_useragent import UserAgent
headers = {'User-Agent':UserAgent().random}
headers

每次返回的头部都是不一样的。

2.采用request来获取网页

import requests
from fake_useragent import UserAgent
headers = {'User-Agent':UserAgent().random}
link="https://movie.douban.com/top250"
r=requests.get(link,headers=headers,timeout=10)
r.text

3.用BeautifulSoup来解析网页，提取想要的标签

当我们查看网页源代码的时候可以发现，我们想要找的电影标题在《div》里面（class=“hd”），下面的《a》里面，最后在《span》里面。

所以可以这样获取内容：

soup=BeautifulSoup(r.text,"lxml")
div_list=soup.find_all("div",class_="hd")
title = div_list.a.span.text

4.保存内容

可以采用创建文件，将内容写入的方式。
如下：

with open("a.txt",'w') as f:for i in mi:f.write(i)

整体代码

#coding:utf-8
import requests
from bs4 import BeautifulSoup
from fake_useragent import UserAgent#随机头部库
def get_m():#声明一个方法headers = {'User-Agent':UserAgent().random}movie_list=[]for i in range(0,10):#爬取十页，也可以更多link= 'https://movie.douban.com/top250?start={}&filter='.format(i*25)#设置超时，如果超过设置的时间，单位 秒r=requests.get(link,headers=headers,timeout=10)#print(r.status_code) #如果有输出，状态值，说明爬到了信息#print(r.text)#还要进一步，爬取标题soup=BeautifulSoup(r.text,"lxml")#因为会取到很多，放到集合div_list=soup.find_all("div",class_="hd")for each in div_list:# 把div_list 遍历成每个each#要进一步取到a标签下的spanmovie=each.a.span.textmovie_list.append(movie)#print(div_list)return movie_listmi=get_m()#调用方法
print(mi)#保存内容
with open("a.txt",'w') as f:for i in mi:f.write(i)

爬取完成！

BeautifulSoup:爬取数据的规则

标签：html中的<,b也叫元素
爬标签 soup.div 爬取了div标签的内容，所有的div
soup.div.text 爬到了标签的内容
《div》xx《/div》
soup.div.span 通过.来区别级别
爬到了div下的span元素
soup find 一般用于爬第一个
soup find_all 爬很多的
id=”xx” 爬id名为xx区域
从lass_=”xx” 爬class名为xx区域

利用BeautifulSoup爬取豆瓣top250排行榜标题相关推荐

利用scrapy爬取豆瓣top250
前言(目的) 本文为scrapy爬虫的入门文章,作者尽量将自己刚开始学习所遇到的问题都还原出来,过程尽量写得详细详细再详细.希望通过这篇文章来记录自己刚开始学习爬虫所踩过的一些坑,同时记录下自己处理和 ...
BeautifulSoup爬取豆瓣电影数据
BeautifulSoup爬取豆瓣TOP250 豆瓣爬取地址 https://movie.douban.com/top250?format=text BeautifulSoup官网地址 https:/ ...
[python爬虫] BeautifulSoup和Selenium对比爬取豆瓣Top250电影信息
这篇文章主要对比BeautifulSoup和Selenium爬取豆瓣Top250电影信息,两种方法从本质上都是一样的,都是通过分析网页的DOM树结构进行元素定位,再定向爬取具体的电影信息,通过代码的对 ...
Scrapy框架学习 - 爬取豆瓣电影排行榜TOP250所有电影信息并保存到MongoDB数据库中
概述利用Scrapy爬取豆瓣电影Top250排行榜电影信息,并保存到MongoDB数据库中使用pymongo库操作MOngodb数据库没有进行数据清洗源码 items.py class Dou ...
利用python爬取豆瓣电影top250
利用python爬取豆瓣电影top250: 注:本内容只是作为个人学习记录 1.业务分析进入网页https://movie.douban.com/top250 可以看见每部电影都呈现在眼前,点击电影 ...
python BeautifulSoup爬取豆瓣电影top250信息并写入Excel表格
豆瓣是一个社区网站,创立于2005年3月6日.该网站以书影音起家,提供关于书籍,电影,音乐等作品信息,其描述和评论都是由用户提供的,是Web2.0网站中具有特色的一个网站. 豆瓣电影top250网址: ...
利用python爬取豆瓣音乐_Python使用Beautiful Soup爬取豆瓣音乐排行榜过程解析
节点的子节点,获取排名的代码为:li.span.text 绿色框中A节点中是歌曲的链接和图片链接,获取歌曲链接的代码为:li.a['href'] 蓝色框中是歌曲的名字.演唱者和播放次数,歌曲名是在cl ...
爬取豆瓣top250电影并分析
爬取豆瓣top250电影,提取评论关键词,然后将同一国家的关键词做成一个词云,轮廓是每个国家的地图轮廓爬取数据需要爬取电影名称.导演.年份.地区和前10个评论除了地区,其他的都没什么问题,我们来研 ...
爬取豆瓣电影排行榜，并制作柱状图与3d柱状图
**爬取豆瓣电影排行榜,并简单制作柱状图一.首先,我们需要获取页面的信息,下图是从排行第25到50的电影,由此可见start可以想象为偏移量,我们把start的值换为0,得到了第一到25排名的电影, ...

利用BeautifulSoup爬取豆瓣top250排行榜标题

利用BeautifulSoup爬取标题

1.获取随机头部的库方法

2.采用request来获取网页

3.用BeautifulSoup来解析网页，提取想要的标签

4.保存内容

整体代码

BeautifulSoup:爬取数据的规则

利用BeautifulSoup爬取豆瓣top250排行榜标题相关推荐

最新文章

热门文章