对某音乐网站歌曲链接抓取的分析

一、用到的工具：

chrome

fiddler

二、网站内容分析

1、打开该网站，分析页面歌曲链接，特点是都在尾端连接一个数字序列，猜测为songid。

2、点击歌曲，跳转到歌曲播放页面，通过查看页面的源代码，分析js代码，发现页面有该歌曲的json数据（包括歌曲id，src等信

息），使用chrome内置console.log()方法打印当前页面播放器对象，发现

entityde currentSrc属性为歌曲的链接地址。在浏览器打开

该地址跳转到首页，而不是真正的歌曲地址。该歌曲地址在chrome开发工具切换到network选项也能得到，在fiddler一样得到。

在fiddler中发现页面在打开该歌曲地址时，网站302 跳转到真正的歌曲地址（response header里面有location到真正的歌曲

地址）。至此，明白了该网站隐藏歌曲地址的原理，通过ajax异步获取该歌曲的相对路径，生成歌曲的解析地址，再通过ajax异步

解析歌曲的真正地址进行播放。

3、通过分析该网站的歌曲搜索，异步加载歌曲搜索结果，该结果是jsonp格式返回歌曲搜索结果的。这为在本地构建一个歌曲

搜索提供了支持。

三、本地搜索歌曲模拟

1、编写一个简单的歌曲搜索页面，当提交查询时，能够跨域异步获取该网站对该关键词的查询结果，结果包括该歌曲的songid,

src(相对地址）、singerName等。

2、在歌曲异步获取的success：function(){}中完成对歌曲真正地址的解析，地址解析的基本步骤就是通过在后台服务端请求

解析地址，获取response header信息，提取location属性值得到该歌曲的真正地址，返回给前端，进而生成了真正歌曲链接。

四、总结本次抓包分析

1、chrome内置的console功能强大，可以直接打印javascript对象、数组，查看数据情况。

2、fiddler抓包分析，能够根据http code了解请求、返回结果情况。

3、jsonp的使用,fiddler内置json数据解析。

4、对该网站的js代码分析，接受到了跨域的其他技术比如window.name与document.domain在根域名相同的情况，二级域名

跨域访问的问题。

5、通过使用jquery，学习了为动态生成的元素绑定事件的方法在动态生成的元素的父元素上（静态）.live('eventname','要

绑定的元素',function(){}。

对某音乐网站歌曲链接抓取的分析相关推荐

扣扣音乐歌曲链接抓取
第六章歌手详情页开发-歌曲链接抓取遇到了些小问题. 根据视频中老师的地址直接抓取报403. 分析了一下扣扣音乐的网络请求,要补充vkey和几个参数拼到url中才能获取到.下面整理一下获取vkey的步 ...
python爬取音乐网站排行榜_通过Python轻松访问音乐网站歌曲,python,爬取
准备工作: 1.在已经安装python开发环境的情况下,还需安装第三方库:requests,安装教程可以参考: 2.对目标网站进行分析,获取目标文件链接目标文件:第一页中的20个音乐文件获取到歌曲 ...
Python爬虫+可视化分析技术实现招聘网站岗位数据抓取与分析推荐系统
程序主要采用Python 爬虫+flask框架+html+javascript实现岗位推荐分析可视化系统,实现工作岗位的实时发现,推荐检索,快速更新以及工作类型的区域分布效果,关键词占比分析等. 程序 ...
百度SEO网站链接抓取器 v1.0
简介: 网站链接抓取器可以帮助用户对网站上面的各个内容进行抓取,操作很简单,用户只需要输入网址域名就能够获取相应的源代码,从而获取网站上面的图片.脚本等等,适用于需要淘宝抓图或者仿站的用户,支持批量抓 ...
NetCloud——一个网易云音乐评论抓取和分析的Python库
在17的四月份,我曾经写了一篇关于网易云音乐爬虫的文章,还写了一篇关于评论数据可视化的文章.在这大半年的时间里,有时会有一些朋友给我发私信询问一些关于代码方面的问题.所以我最近抽空干脆将原来的代码整理 ...
百度认为什么样的网站更有抓取和收录价值
百度认为什么样的网站更有抓取和收录价值百度认为什么样的网站更有抓取和收录价值呢?我们从下面几个方面简单介绍.鉴于技术保密以及网站运营的差异等其他原因,以下内容仅供站长参考,具体的收录策略包括但不仅限 ...
各大网站屏蔽搜索引擎抓取分析
2019独角兽企业重金招聘Python工程师标准>>> 前面转载了一篇关于淘宝屏蔽百度的文章,但是那是其他人的看法,还是想发表一下自己的看法,当然由于本人对屏蔽爬虫内幕了解不是很多 ...
短视频评论的抓取及分析
短视频评论的抓取及分析一.设计背景目前,短视频已经成为大多数人娱乐消遣的主要方式.用户在观看视频内容的同时,也同样关注视频评论,并且很多时候评论带给人们的乐趣远远超过视频本身.但是各短视频平台都没 ...
JAVA+网络数据包的抓取与分析实验
一.实验目的熟悉TC P/IP数据包的结构. 掌握Wireshark的使用方法. 能够利用JNet Pcap编程实现数据包的抓取与分析. 二.实验准备 1.通过抓包,可以进行网络故障分析.流量监控. ...

对某音乐网站歌曲链接抓取的分析

对某音乐网站歌曲链接抓取的分析相关推荐

最新文章

热门文章