Python爬虫实战：应用宝APP数据信息采集

应用宝app数据采集

工具准备
项目思路解析
简易源码分析

工具准备

数据来源: 应用宝
开发环境：win10、python3.7
开发工具：pycharm、Chrome

项目思路解析

明确需要采集的数据：

app的下载地址
app的下载次数
app的名字
app的开发公司

提取到页面的分类标签
获取到a标签的href属性
用于之后拼接动态地址

找到动态加载的app数据加载地址

url的值是每个分类标签的值
https://sj.qq.com/myapp/cate/appList.htm?orgame=1&categoryId=-10&pageSize=20&pageContext=undefined
拼接新的url值发送请求

简易源码分析

import requests  # 工具包发送网络请求
from lxml import etree   # 转换成对象
import csv    # 处理表格数据
url = "https://sj.qq.com/myapp/category.htm?orgame=1"
response = requests.get(url)
html_data = etree.HTML(response.text)
li_list = html_data.xpath('//ul[@data-modname="cates"][position()>1]/a/@href')
del(li_list[-1])
for url1 in li_list:for i in range(10):new_url = "https://sj.qq.com/myapp/cate/appList.htm" + url1 + "&pageSize=20&pageContext={}".format(i*20)res = requests.get(new_url).json()if res["count"] == 0:breakwith open("应用宝.csv", "a", newline="", encoding="utf-8")as f:csv_data = csv.DictWriter(f, fieldnames=["appName", 'authorName', "apkUrl"])for info in res["obj"]:appName = info['appName'] authorName = info['authorName']apkUrl = info['apkUrl']print({"appName": appName, "authorName": authorName, "apkUrl": apkUrl})csv_data.writerow({"appName": appName, "authorName": authorName, "apkUrl": apkUrl})

辛苦码字不易，如果能帮助到各位请来个三连吧，写了这么久都没有信心写下去了，兄弟们能给点力嘛。

Python爬虫实战：应用宝APP数据信息采集相关推荐

Python爬虫实战：手机APP数据抓取分析！谁说不能爬取app数据的？
大多数手机APP里面返回的是json格式数据,或者一堆加密过的数据 .这里以超级课程表APP为例,使用python抓取超级课程表里用户发的话题.主要是练习python爬取app的一些方式和技巧. 1. ...
python爬取app播放的视频,Python爬虫工程师必学——App数据抓取实战视频教程
爬虫分为几大方向,WEB网页数据抓取.APP数据抓取.软件系统数据抓取.本课程主要为同学讲解如何用python实现App数据抓取,课程从开发环境搭建,App爬虫必备利器详解,项目实战,到最后的多App ...
Python爬虫实战：天猫商品数据爬虫使用教程
本文的文字及图片来源于网络,仅供学习.交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理. 下载chrome浏览器查看chrome浏览器的版本号,下载对应版本号的chro ...
Python爬虫实战（5）：模拟登录淘宝并获取所有订单
Python爬虫入门(1):综述 Python爬虫入门(2):爬虫基础了解 Python爬虫入门(3):Urllib库的基本使用 Python爬虫入门(4):Urllib库的高级用法 Python爬虫 ...
Python爬虫实战（4）：抓取淘宝MM照片
Python爬虫入门(1):综述 Python爬虫入门(2):爬虫基础了解 Python爬虫入门(3):Urllib库的基本使用 Python爬虫入门(4):Urllib库的高级用法 Python爬虫 ...
Python爬虫实战爬取租房网站2w+数据-链家上海区域信息（超详细）
Python爬虫实战爬取租房网站-链家上海区域信息(过程超详细) 内容可能有点啰嗦大佬们请见谅后面会贴代码带火们有需求的话就用吧正好这几天做的实验报告就直接拿过来了,我想后面应该会有人用的到吧 ...
Python 爬虫实战，模拟登陆爬取数据
Python 爬虫实战,模拟登陆爬取数据从0记录爬取某网站上的资源连接: 模拟登陆爬取数据保存到本地结果演示: 源网站展示: 爬到的本地文件展示: 环境准备: python环境安装略安装r ...
【Python爬虫实战】用urllib与服务端交互（发送和接收数据）
本文节选自<Python爬虫技术:深入理解原理.技术与开发>. urllib是Python3中内置的HTTP请求库,不需要单独安装,官方文档链接如下: https://docs.pytho ...
app小程序手机端Python爬虫实战12实现自动化退出考研帮app并清空缓存
app小程序手机端Python爬虫实战11实现自动化退出考研帮app并清空缓存一.捕获安卓吐司的消息结束安卓的吐司操作: while True:if self.d.toast.get_messag ...