python斗鱼抽奖_python3爬取斗鱼某些版块的主播人气
python 3爬取斗鱼某些版块的主播人气
1.爬虫版块
import Test3
import urllib.request
from bs4 import BeautifulSoup
import json
def Reptilian(url):
#添加头部,伪装浏览器
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.103 Safari/537.36'}
resquest = urllib.request.Request(url=url, headers=headers)
response = urllib.request.urlopen(resquest)
if response.code == 200:
print("服务器连接成功")
#读取数据
data = response.read()
html = data.decode('utf-8')
#解析器
soup = BeautifulSoup(
html,
'html.parser',
from_encoding='utf-8'
)
links1 = soup.find_all('span', class_="dy-name ellipsis fl") #主播的名字
links2 = soup.find_all('span', class_="dy-num fr") # 主播的人气
#数据插入到数据库
for i in range(0,120):#暂时只爬取了第一个,一页有120条数据
Test3.mysqldb(links1[i].get_text(),links2[i].get_text())
if __name__=="__main__":
url = "https://www.douyu.com/directory/game/LOL"#爬取地址,这里爬取的是斗鱼DNF版块的
Reptilian(url)
2.插入数据库版块
import pymysql
#插入数据到数据库
def mysqldb(name,renqi):
db = pymysql.connect(host='localhost',
port=3306,
user='root',
passwd='root',
db='testinfo',
charset='utf8')
cursor = db.cursor()
name1="'" name "'"
renqi1="'" renqi "'"
sql="INSERT into renqiinfo(id,name,renqi) VALUES(1,%s,%s)"%(name1,renqi1)
print(sql)
cursor.execute(sql)
db.commit()
运行代码截图如下
3.查询数据库版块
import pymysql
#查询入库的数据
def mysqldb():
db = pymysql.connect(host='localhost',
port=3306,
user='root',
passwd='root',
db='testinfo',
charset='utf8')
cursor = db.cursor()
sql = """select * from renqiinfo"""
cursor.execute(sql)
results = cursor.fetchall();
return results
if __name__=="__main__":
results=mysqldb()
for row in results:
print("id:" str(row[0]))
print("name:" row[1])
print("renqi:" row[2])
print()
运行代码截图如下
3.总结
后续还会添加新的功能:
1.例如分页爬取,把版块所有的主播信息都爬取下来.
2.代理爬虫,绕开网站的反爬虫
3.多线程,同时爬取多个网站
4.定时爬虫,间隔多长时间爬取网站
http://www.icode9.com/content-1-26961.html
python斗鱼抽奖_python3爬取斗鱼某些版块的主播人气相关推荐
- python刷直播人气_python3爬取斗鱼某些版块的主播人气
python 3爬取斗鱼某些版块的主播人气 1.爬虫版块 import Test3 import urllib.request from bs4 import BeautifulSoup import ...
- Python爬虫:scrapy爬取斗鱼直播图片
通过斗鱼给出的api,获取json文件,解析出图片地址,可以获取直播间的图片 斗鱼api接口: http://open.douyucdn.cn/api/RoomApi/live/{num} 比如: h ...
- 利用斗鱼api学习爬取斗鱼直播间信息
python爬取斗鱼房间的弹幕 斗鱼弹幕服务api:https://open.douyu.com/source/api/63 基本步骤: 连接斗鱼api服务器 构造登录请求 进入房间并构造获取弹幕请求 ...
- 自从学会:用Python爬取虎牙颜值区美女主播照片后,身体一天不如一天
本次干货内容给大家呈现的利用爬虫获取海量美女图片.不知道大家有没有上过斗鱼直播.虎牙直播,直播室里面美女姐姐可是比比皆是. 有很多美女姐姐的图片做桌面,即使加班也是高兴的! 好啦!先唠叨一下爬虫的步骤 ...
- python爬取斗鱼_python selenium爬取斗鱼所有直播房间信息过程详解
还是分析一下大体的流程: 首先还是Chrome浏览器抓包分析元素,这是网址:https://www.douyu.com/directory/all 发现所有房间的信息都是保存在一个无序列表中的li中, ...
- python古诗朝代_python3爬取古诗词
代码如下 导入需要使用的模块 import mysql.connector from requests_html import HTMLSession from multiprocessing imp ...
- python面向对象爬取某鱼颜值区主播图片
通过对目标网站的分析,通过查看源码没有看到相关信息,怀疑是动态加载的. 按下F12定位到network xhr,通过查找发现这个包含主播信息. 但是我一开始没找到,就切换成移动端看的. 这个是我们查找 ...
- Python抓取熊猫TV分类下的主播人气排名
抓取LOL分类下的主播人气排名情况: """ 抓取熊猫TV当前分类主播人气排名 """ import re from urllib impo ...
- Python 爬虫 之 Selenium 模拟打开操作浏览器爬取斗鱼全部视播相关信息,并json保存信息
Python 爬虫 之 Selenium 模拟打开操作浏览器爬取斗鱼全部视播相关信息,并json保存信息 基础: Python 爬虫 之 Selenium.webdriver 的安装,以及模拟打开操作 ...
最新文章
- pdo mysql 建库_一帖让PHP小白彻底了解PDO操作数据库的方法
- NLTK与NLP原理及基础
- DataGridView的使用
- 下一个排列—leetcode31
- 网站api自己怎么写_网站描述怎么写?对网站优化有什么作用?
- centos8安装mysql5.5_CentOS 6.8 编译安装MySQL5.5.32 (二 多实例)
- 第十三节:HttpHander扩展及应用(自定义扩展名、图片防盗链)
- 帝国cms内容页调用php,帝国CMS内容页调用上一篇与下一篇方法汇总
- diskgeniuslinux版_DiskGenius 4.6.2 正式版发布,现已提供下载
- 联想 计算机无线网络设置方法,在Windows XP下如何配置无线网络
- ERROR Error: [copy-webpack-plugin] patterns must be an array
- 【树莓派】树莓派3B+搭建Ubuntu
- 物联网系列之WIFI模块ESP8266一介绍
- grep命令的-P选项
- matlab画时间 频率图,在matlab中画频数图和累积频率图
- 【bzoj1123】BLO
- 说几个微信实用重磅功能!
- [解读] Unsupervised Feature Learning via Non-Parametric Instance Discrimination
- 分布式定时任务—xxl-job学习(四)——调度中心web页面端api调用源码分析
- 电机与运动控制笔记整理(六)——步进电机
热门文章
- 携职教育:中级职称有用吗?怎么评中级?
- idea的Terminal的git提示密码,修改git配置文件配置
- [转]谈NAND Flash的底层结构和解析
- PHP检测及判断手机登录用户是安卓或爱疯(iPhone)客户端
- 薄饼核心函数swapExactTokensForTokens
- 58同城CTO邢宏宇:云服务助力企业多元化飞速发展
- Euro-NCAP-2023 安全辅助避撞系统测试流程中文版
- 亚马逊kindle设置_如何从亚马逊网站管理您的Kindle和书籍
- ESP32-S2 SGM58031-热敏电阻电压转温度
- 你还在烦恼如何管理大量镜头吗?VFX总监分享7个实用技巧