mongodb 持久化 mysql_scrapy数据持久化存储(MySQL、MongoDB)

1、在setting.py中定义相关变量

#定义mysql相关变量

MYSQL_HOST = '127.0.0.1'

MYSQL_USER = 'root'

MYSQL_PWD = '123456'

MYSQL_DB = 'maoyandb'

MYSQL_CHAR = 'utf8'

2、pipelines.py中新建管道类，并导入settings模块

def open_spider(self,spider):

# 爬虫开始执行1次,用于数据库连接

def process_item(self,item,spider):

# 用于处理抓取的item数据

def close_spider(self,spider):

# 爬虫结束时执行1次,用于断开数据库连接

# -*- coding: utf-8 -*-

# Define your item pipelines here

# Don't forget to add your pipeline to the ITEM_PIPELINES setting

# See: https://docs.scrapy.org/en/latest/topics/item-pipeline.html

class MaoyanPipeline(object):

def process_item(self, item, spider):

print(item['name'])

print(item['star'])

print(item['time'])

return item

import pymysql

from .settings import *

#定义一个MYSQL管道类

class MaoyanMysqlPipeline(object):

def open_spider(self,spider):

#爬虫程序启动时，只执行一次，一般用于建立数据库连接

self.db = pymysql.connect(

host = MYSQL_HOST,

user = MYSQL_USER,

password = MYSQL_PWD,

database = MYSQL_DB,

charset = MYSQL_CHAR

)

self.cursor = self.db.cursor()

print("我是open_spider函数")

def process_item(self, item, spider):

ins = 'insert into filmtab values(%s,%s,%s)'

film_list = [

item["name"],item["star"],item["time"]

]

self.cursor.execute(ins,film_list)

self.db.commit()

#必须写，此函数返回值会交给下一个管道处理item数据

return item

def close_spider(self,spider):

# 爬虫程序结束时，只执行一次，一般用于断开数据库连接

self.cursor.close()

self.db.close()

print("我是close_spider函数")

3、settings.py中添加此管道

ITEM_PIPELINES = {'':200}

image.png

# 注意：process_item() 函数中一定要 return item

必须写，此函数返回值会交给下一个管道处理item数据

mongodb 持久化 mysql_scrapy数据持久化存储(MySQL、MongoDB)相关推荐

mongoose换成mysql_如何将MongoDB数据库的数据迁移到MySQL数据库中
FAQ v2.0终于上线了,断断续续忙了有2个多月.这个项目是我实践的第一个全栈的项目,从需求(后期有产品经理介入)到架构,再到设计(有征询设计师的意见).构建(前端.后台.数据库.服务器部署),也是 ...
数据持久化mysql_Nacos数据持久化到MySQL
阅读文本大概需要3分钟. Nacos在0.7版本之前,在单机模式时nacos使用嵌入式数据库实现数据的存储,不方便观察数据存储的基本情况.0.7版本增加了支持mysql数据源能力,具体的操作步骤:安装 ...
python变量持久化_Python 数据持久化：JSON
Python 数据持久化:JSON 编程派微信号:codingpy 淡蓝色字体可以直接点击查看上周更新的<Think Python 2e>第14章讲述了几种数据持久化的方式,包括dbm. ...
持久化框架数据持久化框架(JPA)及其具体实现
时间紧张,先记一笔,后续优化与完善. 对于数据的持久化问题,我们很容易想到,也很长用到持久化框架jpa. 持久化框架实现起来重要包括以下几个部分 1开发持久化bean Persistence.xml ...
mysql 数据如何存储,MySQL如何存储数据
I looked around google but didn't find any good answers. Does it store the data in one big file? Wha ...
android数据持久化框架,Android：数据持久化、Environment、SharedPreferences、内部存储internalStorage...
1.数据持久化-SDCard//数据持久化-SDCard findViewById(R.id.button1).setOnClickListener(new OnClickListener() { @ ...
Android：数据持久化、Environment、SharedPreferences、内部存储internalStorage
1.数据持久化-SDCard //数据持久化-SDCard findViewById(R.id.button1).setOnClickListener(new OnClickListener() {@ ...
python实现mongodb数据导入到mysql
在实际项目中需要把mongodb数据库的数据迁移到mysql数据库,由于该功能只使用一次,因此使用python实现,代码量比较小,特此奉上自己的代码,供大家参考,谢谢!如有问题,请在下方留言,我会及时 ...
scrapy框架对接seleniumpipeline数据持久化
文章目录 1.**scrapy对接selenium** 2.pipeline数据持久化 1.scrapy对接selenium 动态数据加载: 1.ajax: ①url接口存在规律, 可以自行构建url ...

mongodb 持久化 mysql_scrapy数据持久化存储(MySQL、MongoDB)

mongodb 持久化 mysql_scrapy数据持久化存储(MySQL、MongoDB)相关推荐

最新文章

热门文章