1.当网页打开的方式不同时，在开发者选项找到的包含评论的文件地址不同，比如第一种，当我们找到的评论界面是含有下一页选项的时候(如下图)。我们在左边文件界面发现包含评论的网页地址名字为‘'productPageComments.action'开头的，点开查看header和response可以分析得网址的规律，Query string  parameters 里面的page对应着评论的页面，改变这个参数就可以实现评论网页的翻页了。

对于网页的内容点开response可以看见是json格式的网页，所以复制下来可以用在线的json在线解析工具解析一下，看清楚网站的结构。我随便找了个json解析的网站，分析了一下这个网页的结构。

2.当评论网页是以另外一种方式打开，如下图，打开后网页可以一直往下拖自动加载评论，不需要点击下一页(也不包含下一页选项)。这时我们在左边的文件选项中找到包含评论的网页地址名字为‘'getcommentlist'开头的，其他的内容和上面一样，找到url的规律，再到网站里用爬虫规则来提取需要的信息。

3.小技巧，当打开开发者选项时，在network里面文件特别多，找到想要的文件比较困难，可以按住'ctrl +shift+F',调出search选项，键入关键词，在打开的文件中查找包含关键词的文件。如下图，查找包含‘评论’的文件

4.因为这些动态网页通常都是脚本(json,xml)可以点击'Type'选项对文件进行自动归类，在script类型中找相应的评论文件，这样可以接更清晰，一目了然，如下图

5.爬取的代码

整体爬取的思路，首先，确定爬去的网页是否是动态网页，如果直接对爬取网页打开源代码可以看见所有的需要的信息，并且可以直接获得每一页的网页的url,那么静态网页就不需要上面的那些操作了，直接看源代码用写爬虫了。如果针对某一产品打开不同网页的评论页面但是url地址都不变，说明隐藏了url的其他部分，鉴定为动态网页，运用上面的方法打开开发者选项，找到对应的爬去的网页的文件，获取url参数，找到地址变动的规律，一般都是页面page的变动。找到url地址就好办了，找到某一个爬取页面，分析页面结构，用requests,BeautifulSoup,re等抽取需要的信息。下面是爬取京东小米手机的代码，因为网站反扒，所以限定了爬去的时间，不然爬太快会报错。关于json之前不太明白，查了一下后就是网页用字典形式来变现出来，网页结构清晰，易于处理。这里爬的网页就是json格式。

1 from bs4 importBeautifulSoup2 importrequests3 importre,json4 importpandas as pd5 importtime6

7 #京东小米官方网站爬取小米6X的评论

8 #动态网页爬取

9

10 def getHtml(url,data): #只输入URL的主体部分，后面的参数用下面的字典附加上

11 try:12 r=requests.get(url,params=data)13 r.raise_for_status()14 r.encoding=r.apparent_encoding15 returnr.text16 except:17 print('爬取失败')18

19 def getComment(html):#获得一页的评论

20 commentList=[]21 i = json.dumps(html) #将页面内容编码成json数据，(无论什么格式的数据编码后都变成了字符串类型str)

22 j = json.loads(i) #解码，将json数据解码为Python对象

23 #print(type(j))

24 comment = re.findall(r'{"productAttr":.*}', j) #对网页内容筛选找到我们想要的数据，得到值为字典的字符串即'{a:1,b:2}'

25 #print(comment)

26 comm_dict = json.loads(comment[0]) #将json对象obj解码为对应的字典dict

27 #print(type(comm_dict))

28 commentSummary = comm_dict['comments'] #得到包含评论的字典组成的列表

29 for comment in commentSummary: #遍历每个包含评论的字典，获得评论和打分

30 c_content = ''.join(comment['content'].split()) #获得评论,由于有的评论有换行，这里用split()去空格，换行，并用join()连接起来形成一整段评论，便于存储

31 score = comment['score'] #用户打分

32 #print(score)

33 #print(c_content)

34 commentList.append([score,c_content])35 returncommentList36

37 '''获得多页评论'''

38 def conments(url,num):#url主体和爬取网页的数量

39 data = {'callback': 'fetchJSON_comment98vv6708', #调整页数page

40 'productId': '7437756',41 'score': 0,42 'sortType': 5,43 'page': 0,44 'pageSize': 10,45 'isShadowSku': 0,46 'rid': 0,47 'fold': 1

48 }49 comments=[]50 for i in range(num+1):51 try:#防止网页提取失败，使爬取终断，直接跳过失败页，继续爬取

52 data['page']=i53 html =getHtml(url, data)54 comment =getComment(html)55 except:56 continue

57 comments+=comment58 print('页数',i)59 time.sleep(3)#由于网站反爬虫，所以每爬一页停3秒

60 #if i/20==0:

61 #time.sleep(5)

62 returncomments63

64 if __name__ =='__main__':65 time_start =time.time()66 url = 'https://sclub.jd.com/comment/productPageComments.action?'

67 comm=conments(url,500)68 print('共计%d条评论'%(len(comm)))#打印出总共多少条评论

69 name=['score','comment']70 file=pd.DataFrame(columns=name,data=comm)71 file.to_csv('D:/machinelearning data/crawlerData/mi6x_JD500.csv',index=False)72 time_end =time.time()73 print('耗时%s秒' % (time_end - time_start))