python爬取lol所有英雄信息


import json
import time
import urllib.request
import pymysql
def save_to_mysql(db, items):# 获取cursorcursor = db.cursor()# 拼接sql语句sql = 'insert into hero(c_name, tags, image, name, shuxing,jineng,beijing) values("%s","%s","%s","%s","%s","%s","%s")' % (items['c_name'], items['tags'], items['image'], items['name'], items['shuxing'], items['jineng'], items['beijing'])# 执行sql语句try:cursor.execute(sql)db.commit()except Exception as e:print(e)db.rollback()
#保存数据库def get_it(db):
#js获取url = 'https://lol.qq.com/biz/hero/champion.js'headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.67 Safari/537.36',}requests = urllib.request.Request(url=url, headers=headers)content = urllib.request.urlopen(requests).read().decode('gb2312')content = content.split(';')[1]content = content.lstrip('LOLherojs.champion =')# print(type(content))# print(content)content = json.loads(content)#拿到json数据hero_list = list(content['keys'].values())# print(hero_list)items = {}fp = open('hero.json', 'w', encoding='utf8')#存入文件for hero_name in hero_list:src = 'https://lol.qq.com/biz/hero/' + hero_name + '.js'#print(src)requests = urllib.request.Request(url=src, headers=headers)content = urllib.request.urlopen(requests).read().decode('gb2312')content = content.split(';')[1]content = content.split('=', 1)[1]content = json.loads(content)c_name1 = content['data']['title']c_name2 = content['data']['name']items['c_name']=c_name1 + c_name2# 英雄名称items['tags'] = content['data']['tags']# 英雄标签items['image'] = content['data']['image']['full']# 英雄图片items['name'] = content['data']['id']#英文名称print('正在保存--%s'%items['name'])items['shuxing'] = content['data']['info']jineng = {}for i in content['data']['spells']:jineng[i['id']] = i['description']items['jineng'] = jineng#技能被动描述items['beijing'] = content['data']['blurb']#英雄背景可以切词save_to_mysql(db, items)#保存数据库string = json.dumps(items, ensure_ascii=False)#python转为json格式保存fp.write(string + '\n')print('完成保存--%s' % items['name'])time.sleep(3)fp.close()def connect_db():db = pymysql.Connect(host='localhost', port=3306, user='root', password='123456', database='lol', charset='utf8')# 两种引擎  innodb   myisamreturn dbdef main():db = connect_db()get_it(db)if __name__ == '__main__':main()

python爬取lol所有英雄信息相关推荐

Python爬取王者荣耀英雄的皮肤数据并下载皮肤图片项目
Python爬取王者荣耀英雄的皮肤数据,并下载皮肤图片!高清的图片用来做桌面也不错哟~ 网址:https://pvp.qq.com/web201605/herolist.shtml 1.获得英雄信息, ...
教你用python爬取王者荣耀英雄皮肤图片，并将图片保存在各自英雄的文件夹中。（附源码）
教你用python爬取王者荣耀英雄皮肤图片,并将图片保存在各自英雄的文件夹中.(附源码) 代码展示: 保存在各自的文件夹中美么? 让我们开始爬虫之路开发环境 windows 10 python3. ...
python关于二手房的课程论文_基于python爬取链家二手房信息代码示例
基本环境配置 python 3.6 pycharm requests parsel time 相关模块pip安装即可确定目标网页数据哦豁,这个价格..................看到都觉得脑阔 ...
Python爬取安居客经纪人信息
Python爬取安居客经纪人信息 Python2.7.15 今天我们来爬取安居客经纪人的信息.这次我们不再使用正则,我们使用beautifulsoup.不了解的可以先看一下这个文档,便于理解.http ...
python爬取斗鱼当前英雄联盟主播排名
python爬取斗鱼当前英雄联盟主播排名代码 # 目的:爬取斗鱼英雄联盟当前主播的排名 # 找到对应网页 # 分析排名和名称相对的位置# 模拟HTTP请求,获取HTML数据 # 用正则表达式获取对应 ...
Python爬取药监局化妆品管理信息发现的问题
Python爬取药监局化妆品管理信息 **1.json格式本质上是字符串!!! 今天在爬取国家药监局化妆品管理信息的时候,发现"json数据本质上是字符串",以前我还以为json本 ...
Python爬取 | 王者荣耀英雄皮肤海报
这里只展示代码,具体介绍请点击下方链接. Python爬取 | 王者荣耀英雄皮肤海报 import requests import re import os import time import wi ...
Python 爬取拉勾招聘信息
Python 爬取拉勾招聘信息故事背景最近有个好哥们啊浪迫于家里工资太低,准备从北方老家那边来深圳这边找工作,啊浪是学平面设计的知道我在深圳这边于是向我打听深圳这边平面设计薪资水平,当时我有点懵逼 ...
python爬取b站用户_用Python爬取bilibili全站用户信息
教你用Python爬取哔哩哔哩全站用户信息运行下载 git clone https://github.com/cexll/bili_user_Spider.git 复制代码运行环境 Window ...

python爬取lol所有英雄信息

python爬取lol所有英雄信息相关推荐

最新文章

热门文章