mysql_dc.ncf_GitHub - ytyagi1025/PythonPractice: Python practice works
PythonPractice
使用说明
使用db.sql建立mysql数据库
在wanghong.py的BoseModel定义里设置mysql的连接参数
安装python库pymysql, requests, BeautifulSoup
运行以下命令, 会提示支持的操作
# python3 wanghong.py
Usage: python3 wanghong.py [spider_womiyouxuan_actors|spider_yixia_videos|spider_yixia_follows|womiyouxuan_actors_count|yixia_videos_count|yixia_actors_count]
运行某一个命令,比如:
# python3 wanghong.py spider_yixia_follows
命令
含义
逻辑
spider_womiyouxuan_actors
爬取沃米优选的主播信息
遍历每个分页并将主播信息写入数据表Tbl_WMYX_Actor
spider_yixia_videos
爬取一下网的视频
从数据库中取出最新爬取的主播数据,进而爬取每个主播的视频数据,写入数据表Tbl_YiXia_Video
spider_yixia_follows
爬取一下网的主播
从数据库中取出最新爬取的主播数据,进而爬取每个主播关注的人的数据,写入数据表Tbl_YiXia_Actor
yixia_videos_count
查看爬取的一下网视频总数
yixia_actors_count
查看爬取的一下网主播总数
已实现对以下直播类网站的数据爬取:
### 访问主播页面,从该页面获取到suid和主播个人信息
uid = 'paike_oq7pzk336s'
ret = YiXia().parse_user_page(uid)
print(ret)
"""
{'relayed': '4', 'avatar': 'http://tp2.sinaimg.cn/2714280233/180/5728135083/0', 'video_count': '140', 'suid': 'ZPWwDeYSvPUb23SL', 'uid': 'paike_oq7pzk336s', 'follow': '13', 'followed': '21031136', 'descr': '微信订阅:dapapi。微博:papi酱。', 'location': '北京 崇文区', 'nickname': 'papi酱', 'praised': '0'}
"""
### 获取某用户的关注列表
suid = 'ZPWwDeYSvPUb23SL'
page = 1
ret = YiXia().get_follow_list(suid, page)
print(ret)
"""
[{'followed': '169054', 'nickname': 'lyxp', 'follow': '3', 'descr': 'ta很懒什么都没有留下', 'uid': 'wxsso_nz297durpu', 'avatar': 'http://wx.qlogo.cn/mmopen/gobtgL6xn9Z6KMsibqkqWeOa8Npickk1XKUbrwIWASjw40vdNWUT74PxVIdFe8FmAQu80Yq01rx4WL74rULianT2iaSz5PKgAedH/0', 'suid': '64tfU0JCV~O2YyFVR7sRGw__', 'video_count': '11'}, {'followed': '6827071', 'nickname': '最神奇的视频', 'follow': '11', 'descr': '搞笑,预告,你的喜怒哀乐这里都能看到,通过视频,让你感', 'uid': 'sina_0udpfn0a2h', 'avatar': 'http://tp4.sinaimg.cn/2141823055/180/5621846443/0', 'suid': 'lfMtGJsFJMlMhYm2', 'video_count': '3455'}, {'followed': '352', 'nickname': '扬名止过', 'follow': '14', 'descr': '波澜不惊,荣辱不争。', 'uid': 'paike_8iqcuo8pko', 'avatar': 'http://tp2.sinaimg.cn/1583429645/180/5621703354/1', 'suid': 'gn2U51iUx4PT6k8-', 'video_count': '0'}, {'followed': '499', 'nickname': '段蓓珊', 'follow': '13', 'descr': '……', 'uid': 'paike_c4i54d6ey2', 'avatar': 'http://tp2.sinaimg.cn/1670302465/180/5632141584/0', 'suid': '1Kev5Dmc1H7SMMnX', 'video_count': '1'}, {'followed': '145', 'nickname': '胖大星Alis', 'follow': '0', 'descr': 'ta很懒什么都没有留下', 'uid': 'paike_76o4l8zotz', 'avatar': 'http://tp3.sinaimg.cn/1760582170/180/5709471341/0', 'suid': 'epu~2vdSHF23E0Q-', 'video_count': '1'}, {'followed': '295', 'nickname': '文史_海巴子', 'follow': '0', 'descr': 'ta很懒什么都没有留下', 'uid': 'paike_7bnuhrz12h', 'avatar': 'http://tp2.sinaimg.cn/2624069177/180/5634691164/1', 'suid': 'CGTQC2jMVAA4Me26', 'video_count': '0'}, {'followed': '5880191', 'nickname': '英国那些事儿', 'follow': '45', 'descr': '一个在英国爱吐槽的主页君.没事爱分享英国最搞最有意思大', 'uid': 'paike_t9y36wkt4c', 'avatar': 'http://tp3.sinaimg.cn/2549228714/180/40021372518/1', 'suid': 'Ii9QcPCa~novHdgc', 'video_count': '744'}, {'followed': '12312', 'nickname': '每天搞笑排行榜', 'follow': '6', 'descr': 'ta很懒什么都没有留下', 'uid': 'paike_oqbmsp87kq', 'avatar': 'http://tp3.sinaimg.cn/2281122894/180/5661656420/0', 'suid': 'PQX0xTUI4fgV~s3v', 'video_count': '0'}, {'followed': '3414317', 'nickname': '史上第一最最搞', 'follow': '7', 'descr': 'ta很懒什么都没有留下', 'uid': 'paike_pomohtzbiw', 'avatar': 'http://tp1.sinaimg.cn/1134796120/180/40069206893/0', 'suid': '3Xlno6tiKcXS6noq', 'video_count': '5000'}, {'followed': '63631', 'nickname': '霍泥芳', 'follow': '8', 'descr': '<夏天有风吹过>里,我是内向叛逆的半夏;<幸福生活在招', 'uid': 'paike_4kf51dy2de', 'avatar': 'http://tp1.sinaimg.cn/1277126544/180/5641596294/0', 'suid': 'yVwNg6clktoWe-Ib', 'video_count': '10'}, {'followed': '20308', 'nickname': 'M大王叫我来巡', 'follow': '0', 'descr': 'ta很懒什么都没有留下', 'uid': 'paike_rx2xp66tks', 'avatar': 'http://tp4.sinaimg.cn/1720173771/180/40048639291/1', 'suid': 'tJ2tClKrqCYm6uDc', 'video_count': '26'}, {'followed': '7195252', 'nickname': 'gogoboi', 'follow': '12', 'descr': '冒着脑残的炮火前进,前进,前进进!工作联系:gogob', 'uid': 'paike_bg95tflssd', 'avatar': 'http://tp2.sinaimg.cn/1706372681/180/40017354355/1', 'suid': 's5u1-93x2yMZx6NM', 'video_count': '20'}, {'followed': '8929355', 'nickname': '秒拍', 'follow': '659', 'descr': '秒拍-10秒拍大片!', 'uid': 'paike_i1dudsh696', 'avatar': 'http://dynimg3.yixia.com/square.124/storage.video.sina.com.cn/user-icon/EfFEP4pOsmYCl0Nf_480__1438164133711.jpg', 'suid': 'EfFEP4pOsmYCl0Nf', 'video_count': '622'}]
"""
### 获取某用户的视频列表
suid = 'ZPWwDeYSvPUb23SL'
page = 1
ret = YiXia().get_video_list(suid, page)
print(ret)
"""
[{'scid': 'Svl4iqHkBsM~DCNCf0WPsQ__', 'detail_page': 'http://www.yixia.com/show/Svl4iqHkBsM~DCNCf0WPsQ__.htm', 'praised': 2321, 'discussed': 3258, 'flash': 'http://wscdn.miaopai.com/splayer2.2.0.swf?scid=Svl4iqHkBsM~DCNCf0WPsQ__&fromweibo=false&fromweibo=false&token=', 'img': 'http://wsacdn4.miaopai.com/stream/Svl4iqHkBsM~DCNCf0WPsQ___tmp_11_409_.jpg', 'title': '“难道只有我一个人觉得吗?”是呀!当然只有你一个人觉得!你多厉害呀!你最与众不同啦!你存在感爆棚!(祝大家一周&周一愉快嗷~比心~最近的雾霾超好吸超带感超咳咳咳咳咳咳咳咳咳', 'pub_date': '17:44', 'watched': 4680000}, {'scid': 'd5xoiWIzy9edsWtNhNZBEw__', 'detail_page': 'http://www.yixia.com/show/d5xoiWIzy9edsWtNhNZBEw__.htm', 'praised': 29000, 'discussed': 4347, 'flash': 'http://wscdn.miaopai.com/splayer2.2.0.swf?scid=d5xoiWIzy9edsWtNhNZBEw__&fromweibo=false&fromweibo=false&token=', 'img': 'http://wsacdn1.miaopai.com/stream/d5xoiWIzy9edsWtNhNZBEw___tmp_11_354_.jpg', 'title': '“现在的观众,根本不知道什么才是好电影”,资深影迷pa某酱表示。近期影片盘点,该看什么?看点在哪儿?pa某酱让你更迷惑。(本视频纯属胡说八道,不接受任何反驳,比心️', 'pub_date': '12-17', 'watched': 8200000}, {'scid': 'd3Ph834EJZtuSNeSL7AJng__', 'detail_page': 'http://www.yixia.com/show/d3Ph834EJZtuSNeSL7AJng__.htm', 'praised': 27000, 'discussed': 56, 'flash': 'http://wscdn.miaopai.com/splayer2.2.0.swf?scid=d3Ph834EJZtuSNeSL7AJng__&fromweibo=false&fromweibo=false&token=', 'img': 'http://wsacdn3.miaopai.com/stream/d3Ph834EJZtuSNeSL7AJng___tmp_11_741_.jpg', 'title': 'papi酱不定期更新的日常——pa老师的英语课。同学们', 'pub_date': '12-16', 'watched': 20240000}, {'scid': 'ZzRKTzzvM6WgNZbLRO2HUg__', 'detail_page': 'http://www.yixia.com/show/ZzRKTzzvM6WgNZbLRO2HUg__.htm', 'praised': 29000, 'discussed': 93, 'flash': 'http://wscdn.miaopai.com/splayer2.2.0.swf?scid=ZzRKTzzvM6WgNZbLRO2HUg__&fromweibo=false&fromweibo=false&token=', 'img': 'http://qncdn.miaopai.com/stream/ZzRKTzzvM6WgNZbLRO2HUg___qnweb_14818081966424.jpg', 'title': '“爱所有人,信任一些人,不伤害任何人。”这句莎剧的台词,是我在自己的视频中一直想要传达的,也是我静下来的时候不断回想的。不知多少人能接受这个视频里这样的我,希望你们看完后能认识并且接受一个或许不太熟悉的papi。(实不相瞒,这个视频,我是捂着眼睛看的(评论里不要截图给我(我羞赧...', 'pub_date': '12-15', 'watched': 21190000}]
"""
TODO:
代码逻辑请参考以下文章:
These files and scripts are not intended for malicious purposes
mysql_dc.ncf_GitHub - ytyagi1025/PythonPractice: Python practice works相关推荐
- minty_Brit666‘s python practice no.2
minty_Brit666 Today's blog is about the practice of the leetcode. And I'll give my own answer in thi ...
- 学习Python编程的11个入门技巧
We are so excited that you have decided to embark on the journey of learning Python! One of the most ...
- python音频聚类_利用python的KMeans和PCA包实现聚类算法
题目: 通过给出的驾驶员行为数据(trip.csv),对驾驶员不同时段的驾驶类型进行聚类,聚成普通驾驶类型,激进类型和超冷静型3类 . 利用Python的scikit-learn包中的Kmeans算法 ...
- Python模块包中__init__.py文件的作用
2019独角兽企业重金招聘Python工程师标准>>> 在eclipse中用pydev开发Python脚本时,我遇到了一个这样的现象,当我新建一个pydev package时,总会自 ...
- 学习Python编程的19个资源
用Python编写代码一点都不难,事实上它一直被赞誉为最容易学的编程语言.如果你准备学习web开发, Python是一个不错的开始,甚至想做游戏的话,用Python来开发游戏的资源也有很多.这是快速学 ...
- python资料免费-python 资料
广告关闭 腾讯云双11爆品提前享,精选热门产品助力上云,云服务器首年88元起,买的越多返的越多,最高满返5000元! github,是源码学习.版本控制不可缺少的网站,找源码学习请第一时间到此网站,f ...
- 基于python opencv实现广角相机标定和图像畸变矫正
目的: 实现相机标定,得到相机的内参以及畸变旋转参数等 尝试矫正由相机产生的图像畸变 代码: import cv2 as cv import numpy as np import glob impor ...
- python no module name_python导包显示No module named XXX问题
最近用sublime text写python脚本,在导包是一直显示No module named XXX. 问题描述: 首先文件夹的目录结构如下: count.py文件,代码如下: 1 #coding ...
- Python 实现类似sed命令的字符串替换小程序
背景 sed命令 sed 's/原字符串/新字符串' 单引号中间是s表示替换,原字符串就是要被替换掉的字符串,新字符串就是想要的字符串. 效果 在命令行输入python practice.py i 3 ...
最新文章
- 老BOJ 11 Counting
- 洛谷 1137 旅行计划
- java 年计算_java实现计算某年某月的天数
- Python破解滑块验证码算法,完美避开人机识别
- 百度计算机视觉暑期实习面经(成功上岸!已拿offer)
- 机器人绳索英雄下载苹果手机_机器人绳索英雄
- 计算机存储单位以及内存原理
- 视觉SLAM十四讲学习记录 第三讲
- XMPP即时通讯基础知识
- 图像质量评价函数SSIM介绍
- sl4a+android截屏,使用SL4A Python在android桌面上显示数据(示例)
- 测试工具Monitor入门
- 大厂程序员完美的一天
- 【Codeforces Round #420 (Div. 2) B】Okabe and Banana Trees
- 物联网网关神器 Kong ( 四 )- 利用 Konga 来配置生产环境安全连接 Kong
- 点量云流化在智慧党建中的应用
- 移动应用性能测试简介
- 图解机器学习算法(6) | 决策树模型详解(机器学习通关指南·完结)
- 淘宝网页显示不正常,其它网站正常显示---解决办法
- 怎么判断冠词用a还是an_不定冠词a和an有哪些用法
热门文章
- 调用函数求最大值最小值,平均值
- pycharm配置python环境变量详细步骤
- Java基础2面向对象和数组
- mysql自动无序索引_SQL优化 MySQL版 - 避免索引失效原则(一)
- MogoDB安装与使用(Windows篇)
- error C2226: 语法错误 : 意外的“HFONT”类型
- 微信H5网页唤起 跳转APP
- 调试经验——使用Excel绘制二维向量值函数的曲线(等速螺线r(t)=(tcost)i+(tsint)j)
- 数字电子技术基础课后题答案204页 4.18 4.21题-Ss1Two
- 创新实训(十一)机票爬取 公司信息