python爬虫之中国新闻网（简洁版）

注释挺详细了，直接上全部代码，欢迎各位大佬批评指正。

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.common.by import By
from time import sleep
from lxml import etree
import os
import requests
import csv#创建一个无头浏览器对象
chrome_options = Options()
#设置它为无框模式
chrome_options.add_argument('--headless')
#如果在windows上运行需要加代码
chrome_options.add_argument('--disable-gpu')
browser = webdriver.Chrome(chrome_options=chrome_options)
#设置一个10秒的隐式等待
browser.implicitly_wait(10)
def start_get(url):browser.get(url)sleep(1)# 翻到页底browser.execute_script('window.scrollTo(0,document.body.scrollHeight)')sleep(1)#拿到页面源代码source = browser.page_sourceparse_page(source)# 对新闻列表页面进行解析
def parse_page(html):# 创建etree对象tree = etree.HTML(html)new_lst = tree.xpath('//div[@class="content_list"]//a')for one_new in new

python爬虫之中国新闻网（简洁版）相关推荐

Python爬虫图片爬取简陋版
Python爬虫图片爬取简陋版因为在自学Python 学了几天打算写一个爬虫,后来发现学的python的基础还要学库于是花了好长时间查资料终于写出来一个简陋版本的东拼西凑还真让我搞成了下面 ...
[Python爬虫案例]-中国古诗网
[Python爬虫案例]-中国古诗网看懂代码,你需要相关知识爬虫必备知识只是想得到目标的话,直接运行就好了 import requests import re import jsondef pa ...
利用python爬虫获取中国最好大学排名和B站排行榜视频
笔者刚学到python爬虫无聊玩一玩功能描述: 输入url 获取一系列的数据在命令板输出技术路线:requests>bs4 步骤: List item 先从网上找到中国大学排名的url中 ...
python爬虫 2021中国大学排名定向爬虫
最近的几篇博客来源是之前我下载的一个课件在网上搜索了一下是一下这个课程的,可以结合视频博客以及代码去更好地学习 Python网络爬虫与信息提取_北京理工大学_中国大学MOOC(慕课) (icours ...
php爬虫实时更新天气,Python爬虫获取中国天气网天气预报数据[2018-06-12更新]
实时天气显示建议用Domoticz内置的DarkSky. 天气预报只能自己获取. 此脚本获取中国天气网七日预报,设备需要自建虚拟硬件,添加虚拟设备,设备类型选择Text文本. 效果: 屏幕快照 201 ...
python爬虫消费者与生产者_Condition版生产者与消费者模式
概述: 在人工智能来临的今天,数据显得格外重要.在互联网的浩瀚大海洋中,隐藏着无穷的数据和信息.因此学习网络爬虫是在今天立足的一项必备技能.本路线专门针对想要从事Python网络爬虫的同学而准备的,并 ...
170 道 Python 爬虫面试题（2019 版）
引言最近在刷面试题,所以需要看大量的 Python 相关的面试题,从大量的题目中总结了很多的知识,同时也对一些题目进行拓展了,但是在看了网上的大部分面试题不是很满意,一个是有些部分还是 Python ...
python爬虫获取中国天气网天气数据 requests BeautifulSoup re
python获取中国天气网天气数据:http://www.weather.com.cn/textFC/henan.shtml main.py # -*- coding: utf-8 -*- impor ...
python零基础入门最简洁版
最近学习了python入门,做一些必要的笔记,一来是对自己学习的知识的巩固,二来对有同样问题的人有参考作用文章目录一环境配置二变量和简单数据类型三数据类型转化与运算四列表五程序控 ...
python爬虫02-urllib使用和简版爬虫案例
文章目录 urllib urlopen 爬取http请求 response 对象 data 参数 timeout参数 Request error urlparse urlencode quote un ...

python爬虫之中国新闻网（简洁版）

python爬虫之中国新闻网（简洁版）相关推荐

最新文章

热门文章