大数据爬虫基础（三）Scrapy在ubuntu 16.04下的安装

Scrapy ubuntu下安装

系统：ubuntu 16.04 no gui

依赖包及依赖包的依赖包：
下列的安装步骤假定您已经安装好下列程序:
http://scrapy.org/
Python 2.7
Python Package: pip and setuptools. 现在 pip 依赖 setuptools ，如果未安装，则会自动安装 setuptools 。
lxml. 大多数Linux发行版自带了lxml。如果缺失，请查看http://lxml.de/installation.html
OpenSSL. 除了Windows(请查看平台安装指南)之外的系统都已经提供。
您可以使用pip来安装Scrapy(推荐使用pip来安装Python package).

使用pip安装:
小写scrapy不是大写，官网是小写
http://scrapy-chs.readthedocs.org/zh_CN/latest/intro/install.html
pip install scrapy

1、pip,easy_install
Ubuntu下安装pip的方法
http://www.2cto.com/os/201305/213725.html
安装pip的方法：
Install pip and virtualenv for Ubuntu 10.10 Maverick and newer

$ sudo apt-get install python-pip python-dev build-essential
$ sudo pip install --upgrade pip
$ sudo pip install --upgrade virtualenv
For older versions of Ubuntu

Install Easy Install
$ sudo apt-get install python-setuptools python-dev build-essential
Install pip
$ sudo easy_install pip
Install virtualenv
$ sudo pip install --upgrade virtualenv
sudo apt-get install python-setuptools python-dev build-essential

2、lxml
先安装依赖包，否则装不上，报错：x86_64-linux-gnu-gcc error
装：apt-get install -y libxml2-dev libxslt1-dev zlib1g-dev python3-pip

或者装：apt-get install build-essential autoconf libtool pkg-config python-opengl python-imaging python-pyrex python-pyside.qtopengl idle-python2.7 qt4-dev-tools qt4-designer libqtgui4 libqtcore4 libqt4-xml libqt4-test libqt4-script libqt4-network libqt4-dbus python-qt4 python-qt4-gl libgle3 python-dev

success后
再pip install lxml
success

3、cryptography及其依赖包
直接pip install scrapy会报 cryptography和cffi的错误，安装以下依赖包：
https://cryptography.io/en/latest/installation/#building-cryptography-on-linux
apt-get install build-essential libssl-dev libffi-dev python-dev
success

4、Scrapy
pip install scrapy
success

5、可选包：
pip install pymongo
pip install pillow
pip install pycrypto

6、报错参考
http://stackoverflow.com/questions/22073516/failed-to-install-python-cryptography-package-with-pip-and-setup-Python
http://stackoverflow.com/questions/27130286/error-command-x86-64-linux-gnu-gcc-failed-with-exit-status-1-in-virtualenv
http://www.cnblogs.com/lyroge/archive/2013/02/22/2922515.html

大数据爬虫基础（三）Scrapy在ubuntu 16.04下的安装相关推荐

linux如何安装vi命令,Ubuntu 16.04 下 Vim安装及配置
Ubuntu 16.04 下安装Vim 默认已经安装了VIM-tiny linuxidc@linuxidc:~$ locate vi | grep 'vi$' |xargs ls -al lrwxrw ...
Ubuntu 16.04下如何安装VMware-Workstation
一.下载下载地址:https://my.vmware.com/cn/group/vmware/details?downloadGroup=WKST-1411-LX&productId=686 ...
Ubuntu 16.04 下 Vim安装
默认已经安装了VIM-tiny linuxidc@linuxidc:~$ locate vi | grep 'vi$' |xargs ls -al lrwxrwxrwx 1 root root 17 ...
ubuntu 环境下调试mysql源码_【转】Ubuntu 16.04下 Mysql 5.7.17源码编译与安装
Ubuntu 16.04下 Mysql5.7.17源码编译与安装系统环境一. 系统安装条件 1.cmake MySQL使用cmake跨平台工具预编译源码,用于设置mysql的编译参数. sudo ...
VNC实现Windows远程访问Ubuntu 16.04（无需安装第三方桌面,直接使用自带远程工具）----本人亲测可用
原文地址::VNC实现Windows远程访问Ubuntu 16.04(无需安装第三方桌面,直接使用自带远程工具)-蒲公英云相关文章 1.VNC实现Windows远程访问Ubuntu 16.04(无需 ...
ubuntu安装pr_在Ubuntu 16.04服务器上安装Zabbix 3.2
监控服务器 - 什么是Zabbix Zabbix是企业级开源分布式监控服务器解决方案. 该软件监控网络的不同参数和服务器的完整性,还允许为任何事件配置基于电子邮件的警报. Zabbix根据存储在数据库 ...
ubuntu 16.04下切换python版本小结
主要是记录ubuntu 16.04下python环境配置. 对于ubuntu 16.04,由于本身是自带python,这样就减少了在windows下的下载和环境变量配置,非常不错.但是他本身是自带两个 ...
Ubuntu 16.04下EasyOpenJTAG+OpenOCD的安装和使用【转】
本文转载自:http://www.linuxdiyf.com/linux/24086.html Ubuntu 16.04下EasyOpenJTAG+OpenOCD的安装和使用发布时间:2016-09 ...
在linux搭建wiki教程,在Ubuntu 16.04系统上安装WikkaWiki
一.WikkaWiki介绍 WikkaWiki是一个灵活的.兼容标准的.轻量级的.平台独立的开源Wiki引擎,它使用PHP语言开发,后端存储采用了MySQL数据库.WikkaWiki的设计目标是速度快 ...

大数据爬虫基础（三）Scrapy在ubuntu 16.04下的安装

大数据爬虫基础（三）Scrapy在ubuntu 16.04下的安装相关推荐

最新文章

热门文章