python怎么跑数据_python定时重跑获取数据

做大数据的童鞋经常会写定时任务跑数据，由于任务之间的依赖(一般都是下游依赖上游的数据产出)，所以经常会导致数据获取失败，因为很多人发现数据失败后

都会去查看日志，然后手动去执行自己的任务。下面我实现了一个自动重复执行去数据库取数，如果失败后自动重新去获取，直到把数据获取到。

建数据表：

CREATE TABLE `testtable` (

`id` int(11) unsigned NOT NULL AUTO_INCREMENT,

`name` varchar(20) NOT NULL,

PRIMARY KEY (`id`)

) ENGINE=InnoDB AUTO_INCREMENT=1 DEFAULT CHARSET=utf8;

开始的时候数据表是空的，等到脚本重试第3秒的时候向数据库插入数据。以下是python代码的实现

#!/usr/bin/env python

#-*- coning:utf-8 -*-

import MySQLdb

from time import sleep

class GetData(object):

def __init__(self):

self.conn = ''

self.host = '127.0.0.1'

self.port = 3306

self.user = 'root'

self.passwd = ''

self.db = 'test'

self.cnum

python怎么跑数据_python定时重跑获取数据相关推荐

地区的json数据_Python 连接开放航空交通数据，轻松构建航班跟踪应用！
作者 | geomatics译者 | 弯月,责编 | 郑丽媛头图 | CSDN 下载自视觉中国出品 | CSDN(ID:CSDNnews) 以下为译文: 我喜欢跟踪位置这个主题,因为感觉像是我有第六感 ...
Python爬虫笔记——分析AJAX传递的JSON获取数据-初步分析动态网页
转载文章链接: Python爬虫:分析AJAX传递的JSON获取数据-初步分析动态网页(1) [4]实战:爬取动态网页的两种思路爬取新浪趣图(1) [5]实战:爬取动态网页的两种思路爬取新浪趣图(2) ...
layui 读取本地excel内容_layui之数据表格--与后台交互获取数据的方法
jsp或html js //用户列表 var tableIns = table.render({ elem: '#userList', url : 'userAction_findAll.action ...
python从txt拿取数据_python从txt文件读取数据
(作为一个python初学者,记录一点学习期间的笔记,方便日后查阅,若有错误或者更加便捷的方法,望指出!) 1.读取TXT文件数据,并对其中部分数据进行划分.一部分作为训练集数据,一部分作为测试集数据 ...
python往mysql存入数据_Python操作mysql之插入数据
之前有写过一篇python查询mysql数据的文章,今天写通过python插入数据到mysql数据库. 相关mysql视频教程推荐:<mysql教程> 先建库,建表,建用户mysql> ...
python查看dataframe数据类型_python pandas中DataFrame类型数据操作函数的方法
python数据分析工具pandas中DataFrame和Series作为主要的数据结构. 本文主要是介绍如何对DataFrame数据进行操作并结合一个实例测试操作函数. 1)查看DataFrame数 ...
python爬虫导入数据库_python爬虫爬下来的数据怎么导入到MySQL
展开全部下载mysql.connector库然后把爬虫2113爬到的数据5261通过mysql里面的insert语句查到数4102据库,当然也可以建表1653,一般我没用python建表是先建好 ...
python处理mysql数据结构_python环境下使用mysql数据及数据结构和二叉树算法（图）...
python环境下使用mysql数据及数据结构和二叉树算法(图): 1 python环境下使用mysql 2使用的是 pymysql库 3 开始-->创建connection-->获取cu ...
python读取grib2数据_python读取grib grib2气象数据
GRIB是WMO开发的一种用于交换和存储规则分布数据的二进制文件格式,主要用来表示数值天气预报的产品资料.现行的GRIB 码版本有GRIB1 和GRIB2 两种格式.由于小编只接触过GRIB1数据,所 ...

python怎么跑数据_python定时重跑获取数据

python怎么跑数据_python定时重跑获取数据相关推荐

最新文章

热门文章