阿里云服务器定时在线运行python爬虫代码

前言

这是我听老师讲课做的笔记

作者：神的孩子都在跳舞

关注我的csdn博客，更多python知识还在更新

前言：

为了参加计算机设计大赛，我和我的团队做了个数据分析项目，由于涉及到数据的爬取，实时更新等，所以有了这一篇文章

思路：

其实定时爬取并不难，无非就是在linux上跑程序，加上一个时间给它，如果你学过linux那么一定听说过这个cron服务，接下来我们就用它弄个定时任务就可以了

服务器：centos
任务管理：cron服务
环境：python3.7

对于cron服务不了解的可以看我这篇文章cron服务——Linux计划任务管理

使用xshell连接服务器

我们先查看crontab服务是否开启

如果是active说明开启了否则需要start启动

调用文本编辑器对cron任务进行编辑

crontab -e

定时运行python爬虫文件的设置命令是这样的

分钟 小时 天数 月份 星期 python 运行文件名

由于我的项目已经在服务器上部署好了，项目运行是在虚拟环境下面的,所以我需要进入指定目录和环境

0 0 * * 7 cd /www/wwwroot/RecruitDataVsible-master1 && source ./ccccc_venv/bin/activate && python dataView/数据爬取/总的爬取项目/conten2.py

我这里的意思是每个星期天0点0分（就是晚上12点整）cd进入项目文件，source启动进入环境，使用python命令运行conten2.py这个文件

具体的修改查看命令可以看上面的文章

目前我的项目是这样子的，总共有九个类别的数据

现在我们让它爬取两个类别，看看设定定时任务后能否自动爬取，然后存入数据库，自行展示

为了方便演示我这里设定了每分钟爬一次，’/'就是每的意思

*/1 * * * *

然后我们等一分钟，在我们没有做任何操作的情况下数据发生了改变，之前的数据被替换了，这就起到了定时爬取页面展示的效果

也可以手动运行代码

本人博客：https://blog.csdn.net/weixin_46654114
本人b站求关注：https://space.bilibili.com/391105864
转载说明：跟我说明，务必注明来源，附带本人博客连接。

请给我点个赞鼓励我吧

阿里云服务器定时在线运行python爬虫代码相关推荐

[CentOS Python系列] 一.阿里云服务器安装部署及第一个Python爬虫代码实现
从2014年开始,作者主要写了三个Python系列文章,分别是基础知识.网络爬虫和数据分析. Python基础知识系列:Pythonj基础知识学习与提升 Python网络爬虫系列:Python爬虫之S ...
阿里云服务器搭建Golang运行环境
阿里云服务器搭建Golang运行环境 1. 下载安装Golang 2. 使用9090端口编写网页 1. 下载安装Golang 下载Golang安装包: 解压之: tar -zxvf go1.14.2. ...
阿里云服务器宝塔面板配置Python项目
本文仅供学习交流使用,如侵立删! 阿里云服务器使用宝塔面板搭建Python项目环境 centos7.4.5 python3.7 nginx1.18.0 1.阿里云重置服务器系统全新服务器可跳过此步 ...
阿里云服务器搭建java运行环境（jdk+mysql+tomcat）
网上的教程现在已经有很多了,我只是记录一下我自己搭建环境的过程 1.首先进入阿里云官网登录之后直接搜索"学生机",然后点击"云翼计划",我购买的是一个服务器EC ...
阿里云服务器定时跑python_通过python调用阿里api定时备份阿里云RDS
需求:全量备份数据库,但是数据库比较大,如果采用mysqldump在其他机器备份会大量占用mysql,所以采用全量备份,可以采用登录RDS控制台来手动点击备份,全量备份.但是太麻烦,所以研究了阿里ap ...
阿里云服务器定时跑python_Python实现定时任务
Django学习笔记-定时器 CRONTAB 一.Introduction 二.Backgoround 三.CRONTAB 1.安装 2.配置 3.添加定时任务 4.启动任务四.结束五.参考一. ...
ubuntu阿里云服务器配置anaconda在线运行程序
阿里云服务器安装anaconda 1.创建阿里云esc服务器系统:ubuntu 20.4 2.windows使用cmd连接阿里云云服务器ECS ssh root@公网ip 初次登陆之后创建一个普通用 ...
[CentOS Python系列] 四.阿里云服务器CentOS连接远程MySQL数据库及pymsql
从2014年开始,作者主要写了三个Python系列文章,分别是基础知识.网络爬虫和数据分析. Python基础知识系列:Pythonj基础知识学习与提升 Python网络爬虫系列:Python爬虫之S ...
# 阿里云服务器的运行与维护（1）
云服务器在百科上关于云服务器有这样的解释: 云服务器(ElasticComputeService,简称ECS)是一种处理能力可弹性伸缩的计算服务,其管理方式比物理服务器更简单高效.云服务器帮助您快速 ...

阿里云服务器定时在线运行python爬虫代码

阿里云服务器定时在线运行python爬虫代码相关推荐

最新文章

热门文章