python爬取4399小游戏数据_4399小游戏童年的乐趣，python爬取4399全站小游戏
前言
本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理。
PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取
基本环境配置python 3.6
pycharm
requests
parsel
相关模块pip安装即可
'''
动作类游戏：http://www.4399.com/flash_fl/2_1.htm
体育类游戏：http://www.4399.com/flash_fl/3_1.htm
益智类游戏：http://www.4399.com/flash_fl/5_1.htm
射击类游戏：http://www.4399.com/flash_fl/4_1.htm
...
'''
import requests
import parsel
import csv
f = open('4399游戏.csv', mode='a', encoding='utf-8-sig', newline='')
csv_writer = csv.DictWriter(f, fieldnames=['游戏地址', '游戏名字'])
csv_writer.writeheader()
for page in range(1, 106):
url = 'http://www.4399.com/flash_fl/5_{}.htm'.format(page)
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/81.0.4044.138 Safari/537.36'
}
response = requests.get(url=url, headers=headers)
response.encoding = response.apparent_encoding
selector = parsel.Selector(response.text)
lis = selector.css('#classic li')
for li in lis:
dit ={}
data_url = li.css('a::attr(href)').get()
new_url = 'http://www.4399.com' + data_url.replace('http://', '/')
dit['游戏地址'] = new_url
title = li.css('img::attr(alt)').get()
dit['游戏名字'] = title
print(new_url, title)
csv_writer.writerow(dit)
f.close()
数据还是很多的，这里只保存了32548条数据
python爬取4399小游戏数据_4399小游戏童年的乐趣，python爬取4399全站小游戏相关推荐
- python爬取抖音用户数据_一篇文章教会你用Python抓取抖音app热点数据
今天给大家分享一篇简单的安卓app数据分析及抓取方法.以抖音为例,我们想要抓取抖音的热点榜数据. 要知道,这个数据是没有网页版的,只能从手机端下手. 首先我们要安装charles抓包APP数据,它是一 ...
- python朴素贝叶斯分布对数据的要求_统计学习方法与Python实现（三）——朴素贝叶斯法...
统计学习方法与Python实现(三)--朴素贝叶斯法 1.定义 朴素贝叶斯法是基于贝叶斯定理与特征条件独立假设的分类方法. 对于给定的训练数据集,首先基于特征条件独立假设学习输入输出的联合概率分布.然 ...
- python爬取4399小游戏数据_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址 目标网 ...
- 怎么把4399小游戏的代码_25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在...
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址 目标网 ...
- 25行代码带你爬取4399小游戏数据，看下童年的游戏是否还在
前言 本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,如有问题请及时联系我们以作处理. 还记得童年的网页小游戏吗?今天带大家爬取4399小游戏网站的数据,游戏名字+链接地址 目标网 ...
- python爬取抖音用户数据_「docker实战篇」python的docker-抖音web端数据抓取（19）
import re import requests import time from lxml import etree def handle_decode(input_data,share_web_ ...
- 爬取某家乐数据并部署到Linux ，实现自动爬取，定期发送邮件
一.selenium获取网站数据 背景介绍 这篇文章主要包含以下几个内容 使用selenium进行网站登录签到并获取积分数据 基于QQ邮箱发送邮件 在linux安装google-chrome 和 se ...
- python 按条件选择行和列数据_小白学数据结构-排序算法Python（冒泡、选择、快速、希尔等等）...
排序有内部排序和外部排序,内部排序是数据记录在内存中进行排序,而外部排序是因排序的数据很大,一次不能容纳全部的排序记录,在排序过程中需要访问外存. 我们通常所说的排序算法往往指的是内部排序算法,即数据 ...
- python第七章文件和数据格式化选择题_《计算机二级Python语言程序设计考试》第7章：文件和数据格式化...
注明:本系列课程专为全国计算机等级考试二级 Python 语言程序设计考试服务 目录 考纲考点 文件的使用: 文件打开.关闭和读写 数据组织的维度:一维数据和二维数据 一维数据的处理:表示.存储和处理 ...
最新文章
- jquery中对小数进行取整
- python安装venv_Python创建virtualenv（虚拟环境）方法及安装Ubuntu
- 基于Python Tornado的在线问答系统
- 直播 | 帝国理工王剑虹：配电网中用多智能体强化学习进行的主动电压控制
- python waitkey_python中VideoCapture()，read()，waitKey()的使用
- mysql uuid 索引_Mysql使用Java UUID作为唯一值时使用前缀索引测试
- PowerShell 学习笔记——文件系统
- cdr添加节点快捷键_cdr快捷键大全_cdr教程【图文】
- 如何使用node批量修改文件后缀名
- Java笔试 系列一
- 【汇正财经】扬帆起航，医美市场行业规模扩张
- 企业数据备份，需要多少容量和性能满足？
- 【Linux】linux的vim文件怎么全选复制、粘贴
- Java同步技术 (一)
- 华南师范大学计算机学院保研,广东高校保研率｜进了广东这些大学，离保研也近了一步...
- 理光M340W激光打印机加粉清零
- MongoDB——分页排序聚合操作
- 简账(开源记账软件)-功能介绍
- ESP8266的PC客户端和Arduino两种方式的连接及使用笔记
- 控制算法简析8——被控系统的稳定性分析