假期女友尽管在外花钱，我在家用python赚钱，随便花~~~
嗨害大家好鸭~我是小熊猫❤
女友好不容易放假，她带着我花花花的样子真的很迷人~
不为什么 我的女友我来宠！
作为一个程序员，要有会用自己的技术创造价值的自觉~
今天来给大家展示一下用python采集一下外包网站~
这可是财富道路的第一步啊~
环境使用:
- Python 3.8
- Pycharm
模块使用:
- requests >>> pip install requests
- parsel >>> pip install parsel
- csv
模块安装问题:
- win + R 输入 cmd 点击确定, 输入安装命令 pip install 模块名 (pip install requests) 回车
- 在pycharm中点击Terminal(终端) 输入安装命令
安装失败原因:
失败一: pip 不是内部命令解决方法: 设置环境变量
失败二: 出现大量报红 (read time out)
解决方法: 因为是网络链接超时, 需要切换镜像源
清华：https://pypi.tuna.tsinghua.edu.cn/simple
阿里云：http://mirrors.aliyun.com/pypi/simple/ 中国科技大学
https://pypi.mirrors.ustc.edu.cn/simple/
华中理工大学：http://pypi.hustunique.com/ 山东理工大学：http://pypi.sdutlinux.org/
豆瓣：http://pypi.douban.com/simple/ 例如：pip3 install -i
https://pypi.doubanio.com/simple/ 模块名
失败三: cmd里面显示已经安装过了, 或者安装成功了, 但是在pycharm里面还是无法导入
解决方法: 可能安装了多个python版本 (anaconda 或者 python 安装一个即可)
卸载一个就好或者你pycharm里面python解释器没有设置好
如何实现一个爬虫案例?
一. 去分析数据是什么样? 分析数据来源?
通过开发者工具进行抓包分析, 分析数据从哪里的
二. 代码实现步骤:
- 发送请求, 对于找到url地址发送请求
- 获取数据, 获取服务器返回数据
- 解析数据, 提取我们想要数据内容
- 保存数据, 保存csv表格里面
- 多页数据采集: 分析请求的url变化规律
代码
导入模块
# 导入数据请求模块 导入模块没有使用 灰色待机状态
import requests # 第三方模块 pip install requests (别人写好 开源代码,你可以直接去调用)
# 导入数据解析模块
import parsel # 第三方模块 pip install parsel
# 导入csv模块
import csv # 内置模块 不需要安装的
完整
f = open('data.csv', mode='a', encoding='utf-8', newline='')
# 快速替换 选择替换内容 按住ctrl + R 输入正则
csv_writer = csv.DictWriter(f, fieldnames=['标题','招标','浏览人数','竞标人数','招标状态','价格','详情页',
])
csv_writer.writeheader()# 1. 发送请求, 对于找到url地址发送请求
for page in range(1, 11):print(f'正在爬取第{page}页的数据内容')url = f'https://task.epwk.com/page{page}.html' # 确定网址# 爬虫模拟(伪装成)浏览器 对于url地址发送请求# 反爬 相当于别人给你打电话, 电话显示推销广告headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/99.0.4844.51 Safari/537.36'}response = requests.get(url=url, headers=headers) # <Response [200]> 200状态码表示 请求成功 不代表得到数据了# 2. 获取数据, 获取服务器返回数据# print(response.text) # 返回html字符串数据内容 >>> 提取字符串数据 要使用re正则# 3. 解析数据, 提取我们想要数据内容selectors = parsel.Selector(response.text) # 需要转一下数据类型# 有了解过css选择器吗? xpath根据标签节点提取数据, css选择器是根据标签属性提取数据# 第一次提取, 获取所有div标签divs = selectors.css('.itemblock') # 列表for div in divs: # for遍历循环# 定位有一个class类名字为title的div标签 下面a标签里面 title 属性# attr() 属性选择器, 选择某一个标签里面属性内容title = div.css('div.title a::attr(title)').get() # get 返回字符串, 并且取第一个标签数据# strip() 去除字符串左右两端空格modelName = div.css('div.modelName::text').get().strip() # 招标num = div.css('div.browser div:nth-child(2) span::text').get().strip() # 浏览人数num_1 = div.css('div.browser div:nth-child(3) span::text').get().strip() # 竞标人数status = div.css('span.status::text').get().strip() # 招标状态price = div.css('span.price::text').get().strip() # 价格href = div.css('div.title a::attr(href)').get() # 详情页# 4. 保存数据, 保存到表格数据 字典创建 键:值 >>> 键值对 键值对与键值对之间用 逗号隔开# 值 可以是用任何数据类型, 键 大多数情况字符串数据类型 不能以数字dit = {'标题': title,'招标': modelName,'浏览人数': num,'竞标人数': num_1,'招标状态': status,'价格': price,'详情页': href,}csv_writer.writerow(dit)print(title, modelName, num, num_1, status, price, href)
视频教程【有缘就能看 没缘就算辽】
https://www.bilibili.com/video/BV1vS4y1v7Fu/?spm_id_from=333.999.0.0
希望大家都可以赚小钱钱~
文章到这里就结束啦~
我是小熊猫，咱下篇文章再见啦(✿◡‿◡)
假期女友尽管在外花钱，我在家用python赚钱，随便花~~~相关推荐
- python花钱培训值吗-python培训需要花多少钱？
Python简化的语法是其更接近自然语言,就是小白也能通过python编写代码.Python作为对新手友好型语言典范,受到大多数编程初学者的欢迎.如果想要转入IT行业,python绝对是一个突破口.那 ...
- 女友想买个手机！我用Python做了个比价机器人了！
"菜鸟学Python",第"548"篇原创 还有一个月不到就过年啦,大家都要买点年货啥的,女友一直想买个手机,但是有的时候在京东购物时,你是否遇到如下情况: 心 ...
- 50行python代码打造一款女友监控器_手把手教你50行Python代码，给心目中的女友微博秒评论...
突然觉得,现在发微博已经成为当代青年的潮流,或分享自拍美照,或分享美食美景,小编的女朋友也不例外,平时爱分享一些我俩生活的趣事. 但是她最近开始给我抱怨我从来不给她的微博评论,我作为骨灰级" ...
- 外网访问内网 内网穿透 花生壳
1.下载花生壳,登录注册 下载地址:https://hsk.oray.com/download/ 注册账号:https://hsk.oray.com/ 2.购买http服务,创建映射 1>花生壳 ...
- Python接外包养无敌可爱的她，每天都随便花~
人生苦短,我用python 女友好不容易放假,她带着我花花花的样子真的很迷人~ python 安装包+资料:点击此处跳转文末名片获取 不为什么 我的女友我来宠! 作为一个程序员,要有会用自己的技术创造 ...
- （九）相机内参、外参、反透视变换python opencv
背景知识 任务需求:将相机上的一个点投影到真实世界平面上去. 原则上单目相机是不可以的,因为只记录了二维信息,真实世界是三维的,双目相机可以通过视差,或者单目+IMU组合,但是由于特征点在地面上的先验 ...
- python花钱培训值吗-Python培训班学生刚学到70%就拿到月薪万元的Offer
原标题:Python培训班学生刚学到70%就拿到月薪万元的Offer 刘宇是马哥Python开发实战班的学生,作为开办以来最为优秀的十几名学生之一,现在在一间创业公司担任高级开发.很少有人知道,再进入 ...
- python花钱培训值吗-Python培训费用高不高?Python培训真的值得吗?
Python是一门非常受欢迎的编程语言,面向对象的解释型计算机程序设计语言,具有丰富和强大的第三方库. 说起,Python这门语言,大家最先想到的就是人工智能,可以说是非常火爆的.不过在很多人想要学习 ...
- 想花钱速学互联网行业，大概花两三个月的时间，出来好找工作吗
背景: 汇总了下老王在其他平台的原创回复,欢迎关注老王原创公众号[软件老王],关注不迷路! 1.想在深圳自己花一两万块钱速学互联网行业,大概花两三个月的时间,出来好找工作吗? 老王观点: 评论区很多留 ...
最新文章
- 浅谈UWB（超宽带）室内定位技术（转载）
- finally 关键字
- 高一计算机常考内容,高一信息科技合格考知识点.doc
- 不错的电子书下载网站
- 递归（特别重要,小计算用）
- golang-context
- 学习“用 深度卷积神经域 预测蛋白质二级结构”(1)
- cocos2d-x android游戏使用自己的字体
- Web安全渗透测试基本流程
- 找不到本地计算机策略组,Win10家庭版找不到本地组策略gpedit.msc解决办法
- 微博微信QQ等开发者平台注册应用时提交签名信息的坑点。
- SpringBoot替换jar包中引用的jar包（Unable to open nested entry ‘BOOT-INF/lib/**.jar‘. It has been compressed）
- 手机控制树莓派驱动投影仪DLPDLCR230NPEVM
- SBG Ellipse2最强替代型号推荐？AHRS INS/GNSS
- 令人敬畏的泰格伍兹 万维钢_令人敬畏的桌面壁纸：Windows 7版
- 3D游戏之父--John Carmack连载系列（四)
- ms721调试总结及光电传感器板测试总结
- docker搭建fabric
- 从小白到大师-用OpenSSH在不同主机上传输文件
- 香侬科技 Shannon.AI 招聘自然语言处理、计算机视觉工程师