scrapy处理JSON API

有时候你会发现你需要的数据在原始的HTML页面上找不到。比如下面这种情况：

右击查看元素会看到一个普通的DOM树，但是用scrapy shell或右击选择查看源代码的时候，会发现源代码中没有任何信息。

在这种情况下，可以F12打开开发者工具，选择Network界面，在左边的列表里就能看到浏览器为加载此页面而发出的所有请求。这里有三项：static/已经看过了（URL就是），jquery.min.js是一个JS框架，这样看来api.json应该就是数据了。如果点击这一项，然后选择Preview界面，就能看到这些数据。比如：

    [{"id": 0,"title": "better set unique family well"},... {"id": 29,"title": "better portered mile"}]

以上只是一个很简单的JSON API的例子，更复杂的可能要求你登录、使用POST请求或者返回更复杂的数据。JSON格式的数据还是很好解析的，因为不需要写XPath表达式。Python提供了一个解析JSON的库，可以import json后使用json.loads(response.body)。

start_urls可以这样写：

start_urls = ('http://web:9312/properties/api.json',
)

如果需要使用POST请求或者其他更复杂的操作可以用start_requests()方法。

scrapy处理JSON API相关推荐

python构建json_如何使用Python构建JSON API
python构建json The JSON API specification is a powerful way for enabling communication between client ...
JSON API免费接口
JSON API免费接口各种提供JSON格式数据返回服务网站的API接口这里为大家搜集了一些能够返回JSON格式的服务接口.部分需要用JSONP调用. 电商接口淘宝商品搜索建议: http:// ...
Scylla——开源免费的优秀代理 IP 池：自动验证、JSON API、基于 React 的 Web UI、Docker 支持...
GitHub:github.com/imWildCat/s- 中文文档:scylla.wildcat.io/zh/latest/ 自己是一个爬虫爱好者,有时候爬虫写的太过强大了被目标网站封了(笑).所 ...
在.Net Core 3.0中尝试新的System.Text.Json API
.NET Core 3.0提供了一个名为System.Text.Json的全新命名空间,它支持reader/writer,文档对象模型(DOM)和序列化程序.在此博客文章中,我将介绍它如何工作以及如何 ...
.NET Core 3.0 新 JSON API - JsonSerializer
JsonSerializer 前面几节的内容可能稍微有点底层,我们大部分时候可能只需要对C#的类进行串行化或者将JSON数据反串行化成C#类,在.NET Core 3.0里面,我们可以使用JsonS ...
.NET Core3发布Json API
我们给DNC3(.NET Core 3)上了一个新包,叫做System.Text.Json(点我下载),支持读写器,DOM(文档对象模型),和序列化,在这篇博文里,我会告诉大家为什么要做这个,这个包怎 ...
[译]试用新的System.Text.Json API
译注尝试新的System.Text.Json API 对于.NET Core 3.0,我们提供了一个名为System.Text.Json的全新命名空间 ,支持读取器/写入器,文档对象模型(DOM) ...
将json转为map的两种方式及前后端开发json Api设计规范总结
一.使用jackson String jsonData = "{\"identifier\":\"18111111111\",\"opTyp ...
单独的REST JSON API服务器和客户端？ [关闭]
本文翻译自:Separate REST JSON API server and client? [closed] I'm about to create a bunch of web apps fro ...

scrapy处理JSON API

scrapy处理JSON API相关推荐

最新文章

热门文章