Python爬虫1-Scrapy环境的安装

一. Scrapy环境的安装

1. Scrapy各平台支持情况

除了python3在Windows下不支持外，其余（Linux，Mac）均支持

2. 安装miniconda

(1)建议使用Python2，用miniconda安装scrapy

(2)miniconda时Python环境管理工具，是Anaconda的子集

(3)安装miniconda（必须要求已经安装了Python）

查看是否已经安装miniconda：进入终端，命令conda–version，查看是否安装miniconda，如果显示版本号，则已经安装成功了

首先下载自己对应操作系统的安装包，进入到miniconda所在文件夹，命令：chmod+x Miniconda….(名称) （给予miniconda执行权限）

命令：ls，如果Miniconda的安装包变成绿色则表示具有安装权限了。

命令：ls –lh，查看所有权限。

命令：./Miniconda…，执行Miniconda，然后回车，一直回车，最后跳转，yes，然后会询问安装位置，直接回车就好，然后继续yes

然后重启终端，命令：conda –version，就可以查看到当前的Miniconda的版本

(4) 使用Miniconda

创建一个Python环境，命令：condacreat –n Name python=2,说明-n是n是名字的意思，Name是自己取的一个名字，python=2是你想要创建的版本型号

安装依赖软件，命令：condainstall –n env_name BeautifulSoup4 scrapy pymongo flask

激活环境，命令：sourceactivate env_name,每次使用自己创建的Python环境时，都需要使用该条指令

查看Miniconda管理的所有Python环境，命令：condaenv list

Python爬虫1-Scrapy环境的安装相关推荐

python爬虫之Scrapy介绍八——Scrapy-分布式（以爬取京东读书为示例）
Scrapy-分布式(scrapy-redis)介绍 1 Scrapy-分布式介绍 1.1 Scrapy-redis工作原理 1.2 Scrapy-redis 安装和基本使用 1.2.1 安装 1.2 ...
python spider 安装_Python爬虫(11):Scrapy框架的安装和基本使用
大家好,本篇文章我们来看一下强大的Python爬虫框架Scrapy.Scrapy是一个使用简单,功能强大的异步爬虫框架,我们先来看看他的安装. Scrapy的安装 Scrapy的安装是很麻烦的,对于一 ...
Python爬虫之Scrapy库的下载和安装
Python爬虫之Scrapy库的下载和安装下载scrapy库 1.点击https://www.lfd.uci.edu/~gohlke/pythonlibs,进入该网页后Ctrl+F输入scrapy ...
python 爬虫实例-Python 爬虫：Scrapy 实例（二）
原标题:Python 爬虫:Scrapy 实例(二) 稍微增加点难度,做个所需项目多一点的,并将的结果以多种形式保存起来.我们就从网络天气预报开始. 首先要做的是确定网络天气数据的来源.打开百度,搜索 ...
阅读《精通Python爬虫框架Scrapy》
精通Python爬虫框架Scrapy 精通Python爬虫框架Scrapy 2018年2月的书,居然代码用的是Python2 环境使用的是Vagrant,但是由于国内网络的问题,安装的太慢了. 书里内 ...
python数据分析案例2-1：Python练习-Python爬虫框架Scrapy入门与实践
本文建立在学习完大壮老师视频Python最火爬虫框架Scrapy入门与实践,自己一步一步操作后做一个记录(建议跟我一样的新手都一步一步进行操作). 主要介绍: 1.scrapy框架简介.数据在框架内如 ...
精通python爬虫框架-精通Python爬虫框架Scrapy.pdf
作者 :(美)迪米特里奥斯·考奇斯·劳卡斯(Dimitrios Kouzis Loukas)著:李斌译出版发行 : 北京:人民邮电出版社 , 2018.02 ISBN号 :978-7-115-47 ...
Python爬虫之Scrapy框架爬虫实战
Python爬虫中Scrapy框架应用非常广泛,经常被人用于属于挖掘.检测以及自动化测试类项目,为啥说Scrapy框架作为半成品我们又该如何利用好呢 ?下面的实战案例值得大家看看. 目录: 1.Scr ...
python爬虫之Scrapy框架的post请求和核心组件的工作流程
python爬虫之Scrapy框架的post请求和核心组件的工作流程一 Scrapy的post请求的实现在爬虫文件中的爬虫类继承了Spider父类中的start_urls,该方法就可以对star ...
精通python爬虫框架-精通Python爬虫从Scrapy到移动应用（文末福利）
原标题:精通Python爬虫从Scrapy到移动应用(文末福利) 我能够听到人们的尖叫声:"Appery.io是什么,一个手机应用的专用平台,它和Scrapy有什么关系?"那么,眼 ...

Python爬虫1-Scrapy环境的安装

Python爬虫1-Scrapy环境的安装相关推荐

最新文章

热门文章