python process参数_将参数传递给Scrapy python中的process.crawl

我想得到与此命令行相同的结果：

scrapy crawl linkedin_anonymous -a first = James -a last = Bond -o output.json

我的脚本如下：

import scrapy

from linkedin_anonymous_spider import LinkedInAnonymousSpider

from scrapy.crawler import CrawlerProcess

from scrapy.utils.project import get_project_settings

spider = LinkedInAnonymousSpider(None, "James", "Bond")

process = CrawlerProcess(get_project_settings())

process.crawl(spider) ##

process.start()

我发现(1)中的process.crawl()创建了另一个LinkedInAnonymousSpider,其中第一个和最后一个是None(打印在(2)中),如果是这样,那么就没有创建对象蜘蛛的意义了,怎么可能首先传递参数,最后传递给process.crawl()？

linkedin_anonymous：

from logging import INFO

import scrapy

class LinkedInAnonymousSpider(scrapy.Spider):

name = "linkedin_anonymous"

allowed_domains = ["linkedin.com"]

start_urls = []

base_url = "https://www.linkedin.com/pub/dir/?first=%s&last=%s&search=Search"

def __init__(self, input = None, first= None, last=None):

self.input = input # source file name

self.first = first

self.last = last

def start_requests(self):

print self.first ##

if self.first and self.last: # taking input from command line parameters

url = self.base_url % (self.first, self.last)

yield self.make_requests_from_url(url)

def parse(self, response): . . .

python process参数_将参数传递给Scrapy python中的process.crawl相关推荐

Python灰帽子_黑客与逆向工程师的Python编程之道
收藏自用链接:Python灰帽子_黑客与逆向工程师的Python编程之道
python process返回值_如何恢复传递给multiprocessing.Process的函数的返回值？
如何恢复传递给multiprocessing.Process的函数的返回值? 在下面的示例代码中,我想恢复函数的返回值worker.我该怎么做呢?这个值存储在哪里? 示例代码: import mult ...
python ray定时_使用 Ray 用 15 行 Python 代码实现一个参数服务器
使用 Ray 用 15 行 Python 代码实现一个参数服务器参数服务器是很多机器学习应用的核心部分.其核心作用是存放机器学习模型的参数(如,神经网络的权重)和提供服务将参数传给客户端(客户端通常 ...
js有默认参数的函数加参数_函数参数：默认，关键字和任意
js有默认参数的函数加参数 PYTHON开发人员的提示 (TIPS FOR PYTHON DEVELOPERS) Think that you are writing a function that ...
mysql 传递数组_将数组传递给MySQL存储例程
我需要将字符串数组作为参数传递给MySQL存储例程.该数组可能很长,其元素数量不是固定的.然后,我想将字符串值放入具有一列的内存表中,以便可以处理数据.我不知道这是否可以在MySQL中完成.也许需要肮 ...
powerbuilder TriggerEvent 参数_静态参数-输入失调电压
对于运放的认知,初学者可能只记得虚短虚断.输入阻抗/开环增益无穷大,但是若要设计一个性能优良的放大器,熟悉运放其他一些参数指标必不可少.这些参数可分成两大类:静态参数和动态参数.静态参数主要描述运放的 ...
python方法重载_关于类：如何在Python中使用方法重载？
我尝试在python中实现方法重载: class A: def stackoverflow(self): print 'first method' def stackoverflow(self, i) ...
python老师武_跟着廖雪峰老师学python （5）
若想技术精进,当然得把基础知识打得牢牢的. 廖雪峰的官方网站 python3教程,该网站提供的教程浅显易懂,还附带了讲学视频,非常适合初学者正规入门. 以下是通过廖雪峰python官方网站学习的个人 ...
python 面试问题_值得阅读的30个Python面试问题
python 面试问题 Interview questions are quite tricky to predict. In most cases, even peoples with great ...

python process参数_将参数传递给Scrapy python中的process.crawl

python process参数_将参数传递给Scrapy python中的process.crawl相关推荐

最新文章

热门文章