把iphonebenchmark获取的数据存入MySQL数据库

Iphone_PassMarkRating.py

#coding=utf-8
#---------------------------------------
#   程序：iphonebenchmark爬虫
#   作者：ewang
#   日期：2016-7-11
#   语言：Python 2.7
#   功能：获取页面中的iphone PassMark Rating信息保存到文件中。
#---------------------------------------import string
import urllib2
import re
import osclass iphonebenchmark_Spider:#申明相关属性def  __init__(self,url):#给SougoPicUrl属性赋值self.iphonebenchmarkUrl=url#用来保存图片URL信息self.iphonebenchmark=[]print u'爬虫，爬爬...'#初始化加载页面并将其转码存储def  iphoneBenchMark(self):#读取页面的原始信息Page=urllib2.urlopen(self.iphonebenchmarkUrl).read()#获取页面标题title=self.find_title(Page)print u'网页名称:'+title#获取页面中文本信息self.save_infor(title)#查找页面标题def find_title(self,page):#匹配<title>xxxx</title>myTitle=re.search(r'<title>(.*?)</title>',page,re.S)#初始化标题名为暂无标题title=u'暂无标题'#如果标题存在把标题赋值给titleif myTitle:#(.*?)这称作一个group，组是从1开始title=myTitle.group(1)else:print u'爬虫报告：无法加载网页标题...'return title#保存页面信息   def save_infor(self,title):#加载页面文本信息到数组中self.get_infor()#创建并打开本地文件f=open(title+'.csv','w+')#把获取的页面信息写入文件中    f.writelines(self.iphonebenchmark)#关闭打开的文件f.close() print u'爬虫报告：文件'+title+'.csv'+u'已经下载:'+os.getcwd()print u'按任意键退出...'raw_input()#获取页面源码并将其存储到数组中def get_infor(self):#获取页面中的源码page=urllib2.urlopen(self.iphonebenchmarkUrl).read()#把页面中所有jpg图片的URL提取出来self.deal_iphone_Device(page)def deal_iphone_Device(self,page):#获取所有设备名称iphone_Device=re.findall('\<a href=\"phone\.php\?phone=(.*?)\"\>',page,re.S)#把手机型号的添加到iphonebenchmark列表中for aItem in iphone_Device:self.iphonebenchmark.append(aItem)

BenchMark.py

#coding=utf-8
import MySQLdb
from  Iphone_PassMarkRating import iphonebenchmark_Spiderclass BenchMark:def Iphone(self,values):try:conn=MySQLdb.connect(host='127.0.0.1',user='root',passwd='root',port=3306,charset="utf8")cur=conn.cursor()cur.execute('create database if not exists BenchMark')conn.select_db('BenchMark')cur.execute('create table if not exists Iphone(info varchar(100))')cur.execute('insert into Iphone values(%s)',values)n=cur.execute('select * from Iphone')print 'select',nconn.commit()cur.close()conn.close()except MySQLdb.Error,e:print "Mysql Error %d: %s" % (e.args[0], e.args[1])
print u'需要爬取得URL(passmark_chart,memmark_chart,cpumark_chart,diskmark_chart,g2dmark_chart,g3dmark_chart)：'
bdurl = 'http://www.iphonebenchmark.net/' + str(raw_input(u'http://www.iphonebenchmark.net/')) +'.html'
values=iphonebenchmark_Spider(bdurl)
values.iphoneBenchMark()
print values.iphonebenchmark
iphone=BenchMark()
for var in values.iphonebenchmark:iphone.Iphone(var)

把iphonebenchmark获取的数据存入MySQL数据库相关推荐

scrapy爬虫数据存入mysql数据库
上篇博客使用scrapy框架爬取豆瓣电影top250信息将各种信息通过json存在文件中,不过对数据的进一步使用显然放在数据库中更加方便,这里将数据存入mysql数据库以便以后利用. 运行环境: 1. ...
如何将数据存入mysql_怎样将数据存入mysql数据库
怎样将数据存入mysql数据库 mip版关注:231 答案:2 悬赏:80 解决时间 2021-01-18 14:57 已解决 2021-01-17 20:37 怎样将数据存入mysql数据库 ...
Python爬取股票数据存入mysql数据库，获取股票（最新、最高、今开、成交量、成交额、量比、换手率、涨幅等）支持多线程+数据库连接池
项目简介 (Python)爬虫 + MySQL + Redis项目. 爬取下来的数据可用于后续的数据分析(我计划将其用于我的毕业设计). 未来会将数据分析的可视化部署到服务器上, 并添加股票降价通知的 ...
scrapy mysql数据库_Python3学习系列（十三）：Scrapy将数据存入Mysql数据库
前言: 下面给大家介绍将下载的数据存入到Mysql数据库的用法,数据来源是Mooc的课程. 代码实现: items.py from scrapy import Item,Field class Moo ...
Python 爬虫基础: 如何将数据存入Mysql数据库
使用爬虫爬数据,总要涉及到数据持久化,也就是数据存储的问题. 我们可以根据具体情况把数据保存在本地 txt 文件里,excel 里,csv 里等等,当然也可以存储在数据库里. 本篇博客主要记录如何通过 ...
python将数据存入数据库_python3 两种方法将数据存入mysql数据库
原博文 2017-09-22 18:25 − 方法一:(数据量小的时候推荐使用这种) 第一步:pip install mysqlclient 这里我没有报错也许你可能会报错Read timed ou ...
web项目数据存入mysql数据库中文乱码问题
刚开始怀疑是项目中编码设置问题,发现在web.xml中已经有过设置:后来dubug显示数据在传输的过程中一切正常,怀疑是数据库编码问题,然后查看mysql编码: show variables like ...
jsp获取当前时间存入mysql数据库_jsp获取当前时间插入Mysql数据库?
匿名用户 1级 2013-05-27 回答展开全部 MySQL 中,默认值无法使用函数也就是你无法设置某一列,默认值是 NOW () 这样的处理假如需要某列的默认值为当前数据库时间,那么可 ...
python将数据存入mysql数据库中_python3 两种方法将数据存入mysql数据库
方法一:(数据量小的时候推荐使用这种) 第一步:pip install mysqlclient 这里我没有报错也许你可能会报错Read timed out 此时不要慌,这是因为你的网络问题,你使 ...

把iphonebenchmark获取的数据存入MySQL数据库

把iphonebenchmark获取的数据存入MySQL数据库相关推荐

最新文章

热门文章