• 推荐自己的专栏:玩一玩爬虫咯

  • 官方文档:下载Scrapy
  • 如果你的系统是MacOS或者Linux,不小心点进来了,请直接移步官方文档
  • 如果你使用的是Anaconda:
  • 若是Windows环境使用pip安装,请往下看

文章目录

  • Scrapy安装
  • VSCode搭建虚拟环境中安装Scrapy
  • 安装问题:error: Microsoft Visual C++ 14.0 is required.

Scrapy安装

在终端中输入以下pip命令,安装它们

python -m pip install scrapy

它还会自动安装以下依赖包:

  • lxml,高效的XML和HTML解析器
  • parsel,在lxml之上编写的HTML / XML数据提取库
  • w3lib,用于处理URL和网页编码的多功能帮助器
  • twisted,异步网络框架
  • cryptographypyOpenSSL,以处理各种网络级别的安全需求

VSCode搭建虚拟环境中安装Scrapy

官方文档中推荐使用虚拟环境安装Scrapy,虚拟环境使您不会与已经安装的Python系统软件包冲突

  • 方法一:如果你使用的是Anaconda,虚拟环境正是它的长项
  • 方法二:官方提供 See Virtual Environments and Packages on how to create your virtual environment.
  • 方法三:因为我使用编辑器是VSCode,它也提供了创建虚拟环境的功能:
    请阅读 怎么使用VSCode编写Python代码?(Win10 x64系统) 文章中的目录六:虚拟环境中安装、使用软件包

安装问题:error: Microsoft Visual C++ 14.0 is required.

当安装到twisted包时,很可能会以下问题提示:

error: Microsoft Visual C++ 14.0 is required. Get it with “Microsoft Visual C++ Build Tools”:https://visualstudio.microsoft.com/downloads/

意思说我们电脑缺少Microsoft Visual C++ 14.0,但是通过它给的网页链接,打开后发现没找到Microsoft Visual C++ Build Tools啊,干他呀的,

  • 蓝奏云链接:Microsoft Visual C++ 14.0.exe

    点击安装即可

重新使用pip命令即可

python -m pip install scrapy

它会在原本断掉的位置继续下载安装

Scrapy安装教程(Windows)相关推荐

  1. HEG安装教程(windows平台)

    HEG安装教程[windows平台] HEG介绍 HEG下载 安装 HEG介绍 HEG(HDF-EOS To GeoTIFF Conversion Tool )是一种从HDF-EOS到GeoTIFF转 ...

  2. 【OpenVINO】OpenVINO 2022.1 安装教程(Windows)

    OpenVINOTM2022.1 安装教程 Windows 1. OpenVINOTM介绍 2.OpenVINOTMTM 安装环境和安装特性介绍 2.1OpenVINOTMTM 安装环境 2.2 Op ...

  3. hdf heg 批量拼接_HEG安装教程(windows平台)

    HEG安装教程[windows平台] HEG介绍 HEG下载 安装 HEG介绍 HEG(HDF-EOS To GeoTIFF Conversion Tool )是一种从HDF-EOS到GeoTIFF转 ...

  4. node.js 安装教程 (Windows zip 版)

    node.js 安装教程 (Windows zip 版) 1 官网 地址:Node.js (nodejs.org) 界面: 2 下载 地址:下载 | Node.js (nodejs.org) 自行选择 ...

  5. linux下scrapy安装教程,linux centos7安装scrapy

    linux centos7安装scrapy 时间:2018-01-02 17:41作者:scrapy中文网阅读: 本scrapy中文教程主要介绍,centos7 linux下scrapy的安装,pyt ...

  6. Python3.7 Scrapy安装(Windows)

    2019独角兽企业重金招聘Python工程师标准>>> 本文分为两个部分,前大半部分说的都是Windows下手动安装Scrapy,文末给初学编程的童鞋或者不想这么手工安装的童鞋推荐了 ...

  7. 【超详细】Anaconda简介、下载及安装教程(Windows 64位系统)

    目录 简介 下载 安装 测试 简介 博主觉得,一开始接触Anaconda不需要长篇大论的去了解....也不需要理解的特别深入,先明白 "面"上的东西,用起来,在不断使用的过程中加深 ...

  8. Git 安装教程(Windows)

    Git 安装教程(windows) 版权声明:本文为CSDN博主「松哥不要」的原创文章,遵循CC 4.0 BY-SA版权协议,转载请附上原文出处链接及本声明. 原文链接:https://blog.cs ...

  9. 超详细Git 安装教程(Windows)

    Git 安装教程(windows) 给新电脑安装下git,顺便记下笔记(安装版本为2.30.2 ) git下载地址: https://git-scm.com/download/win 下载后点击即可进 ...

最新文章

  1. 局域网抓包分析工具_[源码和文档分享]基于Libpcap实现的局域网嗅探抓包发包解析工具...
  2. Interview:算法岗位面试—10.15上午—上海某公司算法岗位(偏图像算法,制造行业)技术面试考点之AI算法与实际场景结合产生商业价值的头脑风暴
  3. 安卓流行布局开源库_如何使用流行度在开源库之间进行选择
  4. java中final是修饰符么_Java final修饰符详解
  5. 从Wireshark看TCP连接的建立与关闭
  6. PowerShell 笔记
  7. 创建 demo.html,demo.html
  8. 公布几个流氓软件分析报告——哇哇资讯精灵
  9. bzoj 3406: [Usaco2009 Oct]Invasion of the Milkweed 乳草的入侵
  10. Docker-----Cgroup资源配置详细教程,图文并茂
  11. windows系统查看md5
  12. 关闭Dell笔记本触摸板
  13. 用matlab作椭圆方程,用matlab做椭圆拟合方程
  14. ASP中Err.number返回的错误代码解释大全
  15. 轻松看透WeX5产品能力和技术
  16. 计算机组织结构南京大学,南京大学09年计算机组织结构期中考试试题.docx
  17. c++中“ error C2953: “XXXXx”: 类模板已经定义”的另类方式错误
  18. 序列化和反序列化漏洞的简单理解
  19. 图片LSB隐写(java)
  20. Windows 上的网络通信编程

热门文章

  1. Keras Model模型方法
  2. 一根苹果数据线背后的“血战”
  3. 每天学一点英文:Espresso 20210809
  4. linux文件权限许可fap,FAP 文件扩展名: 它是什么以及如何打开它?
  5. css去掉p标签上下空白_使用CSS标签大小保留空白
  6. 重启SQLServer数据库服务的方法
  7. 去香港读CS硕士了!有点迷茫......
  8. 计算机课程设置图片,《计算机图像处理》课程教学大纲.doc
  9. 期刊信息管理list.php,收录有信息管理方面期刊的数据库
  10. Java:封装案例(下)