系列文章目录

python爬虫实战

前言

本文主要用python爬取豆瓣电影TOP250数据并将爬取到的数据保存到MySQL中。同时也介绍了该项目中遇到的问题。
爬取内容：电影名称，电影别名，导演，主演，电影类型，评分分数，评价人数，电影描述。

一、使用的库

import requests
from lxml import etree
import pymysql
import re
from pymysql.converters import escape_string

二、运行图

三、项目遇到的问题

1.python将包含有单引号或者双引号的字符串保存到MySQL中

案例

给出一个含有单引号的字符串，将其保存到Mysql中会发现错误。

无法保存，是因为单引号’ 无法保存？想想也不可能。去验证：

可以看到是可以保存单引号的，也能保存双引号。是什么原因导致的呢？

原因

是因为字符串中添加了单引号或者双引号，python在读取过程中会将其进行字符串分割，例如:“Smith’s Friend” 读取到单引号后就会以为是 Smith s Friend两个字符串，从而与你sql语句不相符，出现错误

解决办法

将含有单引号或者双引号的字符串不进行转义，这样就能将其正常保存到数据中了。

from pymysql.converters import escape_strings = "Smith's friend"
s = escape_string(s)

python爬虫实战—豆瓣电影TOP250相关推荐

爬虫实战——豆瓣电影Top250
爬虫实战--豆瓣电影Top250 准备阶段网页分析在目标网页直接ctrl+u查看网页源代码(或者F12审查),豆瓣的网页源代码就出现了(非常友好): <!DOCTYPE html> & ...
第一期：【python爬虫】豆瓣电影top250
1.首先看最后的爬取结果还有电影的信息,我保存的是csv文件.可以学到爬虫的相关知识和数据保存的信息. 删除信息,直接上代码. 红色圆点旁边的是清空.(如上图所示) 下面请求中的第一个或者前几个(如 ...
Python3 爬虫实战 — 豆瓣电影TOP250【requests、Xpath、正则表达式、CSV、二进制数据储存】
爬取时间:2019-09-27 爬取难度:★★☆☆☆☆ 请求链接:https://movie.douban.com/top250 以及每部电影详情页爬取目标:爬取榜单上每一部电影详情页的数据,保存为 ...
Python爬虫获取豆瓣电影TOP250
最近在学python,研究了下,写了两个爬虫成功爬取了一些东西.有一个很黄很暴力,就不放出来了,还有一个比较绿色,简单,适合初学者学习,思路也比较清晰,也方便我以后再捡起来,注释写的很清楚,特把源码放 ...
xhr get获取文件流下载文件_python爬虫实战——豆瓣电影get初体验
影评许可证公众号[2019]第22期本栏目由"数据皮皮侠"独家呈献专场 python爬虫实战--豆瓣电影get初体验 2019.10.28 / 早上7点场 / 免费本期&q ...
python爬虫获取豆瓣图书Top250
在上一篇博客<python爬虫获取豆瓣电影TOP250>中,小菌为大家带来了如何将豆瓣电影Top250的数据存入MySQL数据库的方法.这次的分享,小菌决定再带着大家去研究如何爬取豆瓣图片 ...
Python爬虫实战----------豆瓣TOP250
*前段时间学习了一些浅显的爬虫知识,防止遗忘写个博客记录一下,如果能帮到其他人是更好的本篇介绍一下如何一步一步实现使用python爬取豆瓣电影TOP250,博主是个小白,如果内容有误,请将宝贵的建议 ...
python爬取豆瓣电影top250的代码_Python爬虫——爬取豆瓣电影Top250代码实例
利用python爬取豆瓣电影Top250的相关信息,包括电影详情链接,图片链接,影片中文名,影片外国名,评分,评价数,概况,导演,主演,年份,地区,类别这12项内容,然后将爬取的信息写入Excel表中 ...
Python爬取豆瓣电影top250的电影信息
Python爬取豆瓣电影top250的电影信息前言一.简介二.实例源码展示小结前言相信很多小伙伴在学习网络爬虫时,老师们会举一些实例案例讲解爬虫知识,本文介绍的就是经典爬虫实际案例–爬取豆 ...

python爬虫实战—豆瓣电影TOP250