有无原创进行划分。

最终实现：

%%time

result = []

errlist = []

# 先得到其中一个

el_divs = browser.find_elements_by_xpath('//div[@class="weui_msg_card_list"]/div[@class="weui_msg_card js_card"]')

i = 0

for div in el_divs:

date = title = url = yuanchuang = ''

try:

date = div.find_element_by_xpath('.//div[@class="weui_msg_card_hd"]').get_attribute('innerHTML')

el_content = div.find_element_by_xpath('.//div[@class="weui_media_bd js_media"]')

if el_content.get_attribute('data-type') == 'APPMSG':

el = el_content.find_element_by_xpath('./h4[@class="weui_media_title"]')

title = el.text

url = el.get_attribute('hrefs')

xb = el_content.find_element_by_xpath('./p[@class="weui_media_extra_info"]').text

yuanchuang = '原创' if xb.find('原创') != -1 else ''

elif el_content.get_attribute('data-type') == 'TEXT':

title = '随文'

url = el_content.find_element_by_xpath('./div').text

yuanchuang = '原创'

else:

# 其他未能识别的类型

errlist.append([i,div.get_attribute('innerHTML')])

except NoSuchElementException:

errlist.append([i,div.get_attribute('innerHTML')])

print(str(i),':',date,title,url,yuanchuang)

result.append([date,title,yuanchuang,url])

i = i + 1

5、将得到url保存到excel

dfout = pd.DataFrame(result, columns=['日期', '标题', '原创', '地址'])

with pd.ExcelWriter(savename) as writer:

dfout.to_excel(writer,index=False,sheet_name = 'Sheet1')

最终保存形式

6、在遍历最后的链接地址，逐个requets保存，即可得到。组建成菜单形式的文章，可参考

遇到的坑：

1、find_element_by_xpath 需要配上 NoSuchElementException 使用，否则遇到未找到的节点就会出错，最初find_elements_by_xpath 来防止找不到相关节点，结果发现，执行速度异常的慢，需要查找原因。

2、cookies使用的时候是人为获取，如果太长时间不用，需要重新获取。可以考虑结合pyautogui来控制weixin客户端来进行获取。？

3、构建的时候，最后分布试行，最初的文章类型没有做好判断，结果执行时间很久。做好异常捕获，再逐步分析错误的节点问题。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持脚本之家。