Linux下安装Scrapy框架

Linux系统：Centos7 64位

Scrapy框架：python的一个爬虫框架

python版本：python3.6.3

安装步骤：

[root@localhost Python3.6.3]# pip3 install scrapy

安装过程可能报的错，解决方案：

解决Could not find a version that satisfies the requirement Twisted>=13.1.0 (from Scrapy)

解决You are using pip version 9.0.1, however version 18.0 is available. You should consider upgrading

解决import twisted.persisted.styles # NOQA ModuleNotFoundError: No module named 'twisted.persisted'

安装成功：

在python3中导入scrapy:表示安装成功。

[root@localhost Python3.6.3]# python3
Python 3.6.3 (default, Aug 21 2018, 20:41:20)
[GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux
Type "help", "copyright", "credits" or "license" for more information.
>>> import scrapy
>>> exit()

建立scrapy的软连接：

[root@localhost Python3.6.3] # ln -s /usr/local/ Python3.6.3/bin/scrapy /usr/bin/scrapy

验证Scrapy软链接

[root@localhost Python3.6.3]# scrapy --v
Scrapy 1.5.1 - no active projectUsage:scrapy <command> [options] [args]Available commands:bench         Run quick benchmark testfetch         Fetch a URL using the Scrapy downloadergenspider     Generate new spider using pre-defined templatesrunspider     Run a self-contained spider (without creating a project)settings      Get settings valuesshell         Interactive scraping consolestartproject  Create new projectversion       Print Scrapy versionview          Open URL in browser, as seen by Scrapy[ more ]      More commands available when run from project directoryUse "scrapy <command> -h" to see more info about a command

我的座右铭：不会，我可以学；落后，我可以追赶；跌倒，我可以站起来；我一定行。

Linux下安装Scrapy框架相关推荐

Window10/Linux 下安装 scrapy （twisted 安装失败的解决办法）
安装前的一些所谓的"废话" Scrapy 是一个优秀的 Python 框架,相信很多初学者在安装 Scrapy 的时候会遇到一些坑(这些坑主要体现在 Windows 下的 twis ...
windows环境下安装scrapy框架报错问题--最快捷有效的解决方案
windows在执行如下命令,安装scrapy的过程中会报错: pip install scrapy 报错分析: windows环境下,会出现如下错误: 1.提示的错误是编译环境的问题,字面意思看需要 ...
Windows环境下安装scrapy
scrapy是Python开发的一个爬虫框架,很多情况下都是基于Linux系统安装,本篇将介绍windows环境下安装scrapy框架,亲测有效. 1.安装依赖直接pip install scrap ...
linux下scrapy安装教程,linux centos7安装scrapy
linux centos7安装scrapy 时间:2018-01-02 17:41作者:scrapy中文网阅读: 本scrapy中文教程主要介绍,centos7 linux下scrapy的安装,pyt ...
win10+python3.7下安装scrapy
有很多同学反馈安装scrapy总失败,其实有个简单的方法,今天总结一下一.爬虫框架Scarpy简介 Scrapy 是一个快速的高层次的屏幕抓取和网页爬虫框架,爬取网站,从网站页面得到结构化的数据,它 ...
Python下安装Scrapy
Python下安装Scrapy 依次执行如下命令: pip install wheel pip install lxml pip install pyOpenSSL pip install D:\T ...
linux下安装部署ansible
linux下安装部署ansible 介绍 Ansible是一种批量部署工具,现在运维人员用的最多的三种开源集中化管理工具有:puppet,saltstack,ansible,各有各的优缺点,其中sal ...
python爬虫scrapy步骤mac系统_Mac中Python 3环境下安装scrapy的方法教程
前言最近抽空想学习一下python的爬虫框架scrapy,在mac下安装的时候遇到了问题,逐一解决了问题,分享一下,话不多说了,来一起看看详细的介绍吧. 步骤如下: # 在Mac上Python3环境 ...
linux blender骨骼绑定,Linux下安装Blender
Blender在Windows下,可以在官方直接下载免安装的版本,下载解压缩就能用. 在Linux下稍微麻烦一点点. 如下3步安装的blender不一定是最新版本,且安装完成后发现设置中文会变为方块. ...