django爬取网页数据并展示

一、目标

爬取目标网站的新闻标题，通过Django展示到自己的网页中来；

目标网站网址：http://www.chinaunicom.com.cn/news/list202110.html

二、代码

视图函数：views.py

# 联通新闻中心数据爬取处理展示
def news(request):import requestsfrom bs4 import BeautifulSoupurl = 'http://www.chinaunicom.com.cn/news/list202110.html'headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.198 Safari/537.36"}res = requests.get(url, headers=headers)res.encoding = res.apparent_encodingsoup = BeautifulSoup(res.text, 'html.parser')list = []for t in soup.find_all(name="h2"):for item in t.find_all(name="a"):list.append(item.text)return render(request,'news.html',{'news_list':list})

前段html文件代码：news.html

<!DOCTYPE html>
<html lang="en">
<head><meta charset="UTF-8"><title>联通新闻中心数据处理</title>
</head>
<body><h1>联通新闻中心数据爬取展示</h1><ul>{% for item in news_list %}<li>{{ item }}</li>{% endfor %}</ul>
</body>
</html>

结果展示：

django爬取网页数据并展示相关推荐

java爬取网页数据_利用Python做数据分析—对前程无忧数据类岗位进行分析
引言随着时代的发展,我国在各行各业都需要大量的人才引进,处于近几年最热门的行业也称"最火行业":大数据.数据分析.数据挖掘.机器学习.人工智能,这五门行业各有不同又互有穿插.近几 ...
Jsoup：用Java也可以爬虫，怎么使用Java进行爬虫，用Java爬取网页数据，使用Jsoup爬取数据，爬虫举例：京东搜索
Jsoup:用Java也可以爬虫,怎么使用Java进行爬虫,用Java爬取网页数据,使用Jsoup爬取数据,爬虫举例:京东搜索一.资源为什么接下来的代码中要使用el.getElementsByTa ...
python爬取网页公开数据_如何用Python爬取网页数据
使用Python爬取网页数据的方法: 一.利用webbrowser.open()打开一个网站:>>> import webbrowser >>> webbrowse ...
编程python爬取网页数据教程_实例讲解Python爬取网页数据
一.利用webbrowser.open()打开一个网站: >>> import webbrowser >>> webbrowser.open('http://i.f ...
python爬取网页数据(例如淘宝)
爬取网页数据(例如淘宝) 现在淘宝商品页面不能直接爬取,需要登录,所以我们得实现模拟登录,如下即可实现模拟登录: import requests cookie_str = r'cna=QsJDGKPt ...
python爬虫教程：实例讲解Python爬取网页数据
这篇文章给大家通过实例讲解了Python爬取网页数据的步骤以及操作过程,有兴趣的朋友跟着学习下吧. 一.利用webbrowser.open()打开一个网站: >>> import w ...
如何使用python实现简单爬取网页数据并导入MySQL中的数据库
前言:要使用 Python 爬取网页数据并将数据导入 MySQL 数据库,您需要使用 Requests 库进行网页抓取,使用 BeautifulSoup 库对抓取到的 HTML 进行解析,并使用 Py ...
Python小姿势 - Python爬取网页数据
Python爬取网页数据爬取网页数据是一个比较常见的Python应用场景,有很多第三方库可以帮助我们完成这个任务.这里我们介绍一下urllib库中的一个常用方法:urllib.request.url ...
python初学-爬取网页数据
python初学-爬取网页数据 1,获取网页源代码 import urllib url = 'http://www.163.com'wp = urllib.urlopen(url) file_cont ...

django爬取网页数据并展示

django爬取网页数据并展示相关推荐

最新文章

热门文章