涉及知识点

1、抓取数据

2、分页爬虫

规律分析

1、抓取数据，发现每一项都是data-tools标签

2、分页分析

代码

import requests
from bs4 import BeautifulSoup
import re
import json
import jieba
#获取html页面信息
def getKeywordResult(keyword, pagenum):url = 'http://www.baidu.com/s?wd=' + keyword + '&pn=' + pagenum + '0'try:r = requests.get(url, timeout=30)r.raise_for_status()r.encoding = 'utf-8'return r.textexcept:return ""
#解析并抽取数据
def parserLinks(html):soup = BeautifulSoup(html, "html.parser")links = []for div in soup.find_all('div', {'data-tools':re.compile('title')}):data = div.attrs['data-tools']d = json.loads(data)links.append(d['title'])words_all.append(d['title'])return links, words_all
#词频统计
def words_ratio(words_all):words = []for i in words_all:tmp = jieba.lcut(i)for tmp_word in tmp:words.append(tmp_word)counts = {}for word in words:if len(word) == 1:continueelse:counts[word] = counts.get(word, 0) + 1items = list(counts.items())items.sort(key=lambda x: x[1], reverse=True)for i in range(30):word, count = items[i]print("{0:<10}{1:>5} 占比：{2}".format(word, count, int(count)/len(words)))
def main():for pagenum in range(0, 50):html = getKeywordResult('老张', str(pagenum))#输入搜索关键词和页数ls, words_all = parserLinks(html)count = pagenum + 1for i in ls:print("[{:^3}]{}".format(count, i))ls = []words_ratio(words_all)
if __name__ == '__main__':words_all = []main()

结果

后续的思考

代码都很简单，高手要懂得如何去扩展。现在虽然数据都爬下来了，但是非常凌乱，仍然需要人工去分析比对。这样的数据我称之为裸数据，理想的数据是可读且有关联的，我称之为金子数据。

这个转换分析的过程涉及到两个问题：

1、如何实现可读？

可以用字典里面的del[]方法删去坏的数据

2、如何实现数据的关联性？

先将裸数据进行二次分析，将相关的字项放到一块，然后再做运行