python网页爬虫selenium与csv文件写入储存应用

2024-06-11 07:29:21

一、工具准备

在库中加入selenium

为了用它控制网站
要安装一个chromedriver

这里加的是他的一个低版本
因为新版本有些地方仍然不兼容

1.获取当前谷歌浏览器版本信息：chrome://version/
用谷歌浏览器登录上面网站获得自己的谷歌浏览器版本

在下面网址下载chromedriver
chromedriver下载地址：http://chromedriver.storage.googleapis.com/index.html

选取一个最近的版本，即与你的版本最近的

下载文件，解压
放入python安装目录
就可以使用了

用下面代码测试，能不能打开谷歌浏览器

from selenium.webdriver import Chromeb = Chrome()
b.get('https://www.baidu.com')

如果运行完了，跳出谷歌浏览器就是成功安装工具

二、csv文件操作

1. 什么是csv文件 - 逗号分隔值文件

一种后缀是.csv的文本文件，文件中每一行通过逗号分割成不同的列。
csv可以用excel软件像打开excel文件一样去打开。
导入库

import csv

2. csv文件读操作

1)创建reader

csv.reader(文件对象) - 创建reader获取文件内容，文件内容每一行一个列表的形式返回

csv.DictReader(文件对象) - 创建reader获取文件内容，文件内容每一行一个字典，并且将第一行的数据作为键的形式返回

f = open('files/电影.csv', 'r', encoding='utf-8', newline='')
# reader = csv.reader(f)
reader = csv.DictReader(f)# reader获取文件内容，将每一行内容作为一个**迭代器**中的元素返回
```python
print(next(reader))
print(next(reader))
print(list(reader))f.close()

3. csv文件写操作

1)创建一个writer

csv.writer(文件对象) - 写入数据的时候每一行数据对应一个列表

writer1 = csv.writer(open('files/students1.csv', 'w', encoding='utf-8', newline=''))

2)写入数据

python网页爬虫selenium与csv文件写入储存应用相关推荐

c++ 写入文件_利用Python把数据存储在csv文件中
鼠年第一天开盘,很多股票跌停,太闹心了!今天再找点开心的事情做吧.人生最幸福的事情莫过于看到自己写的程序调试通过了! 前面我们介绍了,如何用Python做一个串口通讯的上位机.用这个上位机我们可以从E ...
pandas读取csv写入mysql_使用python的pandas库读取csv文件保存至mysql数据库
第一:pandas.read_csv读取本地csv文件为数据框形式 data=pd.read_csv('G:\data_operation\python_book\chapter5\\sales.cs ...
python 如何使用 pandas 在 flask web 网页中分页显示 csv 文件数据
目录一.实战场景二.知识点 python 基础语法 python 文件读写 python 分页 pandas 数据处理 flask web 框架 jinja 模版三.菜鸟实战初始化 Flask ...
python网页爬虫+简单的数据分析
python网页爬虫+简单的数据分析文章目录 python网页爬虫+简单的数据分析一.数据爬取二.数据分析 1.我们今天爬取的目标网站是:http://pm25.in/ 2.需要爬取的目标数据是 ...
将CSV文件写入到MySQL中（用Pandas库实现MySQL数据库的读写）
转载自公众号:python-china 转载自公众号:python-china 本次分享将介绍如何在Python中使用Pandas库实现MySQL数据库的读写.首先我们需要了解点ORM方面的知识. O ...
【puthon】把大量csv文件写入h5文件制作数据集
背景每一个样本的数据被写入了一个csv中,在制作数据集时,需要先将大量的csv文件写入到一个h5文件中样例代码 import os import sys import h5py import nu ...
python网页爬虫-python网页爬虫浅析
Python网页爬虫简介: 有时候我们需要把一个网页的图片copy 下来.通常手工的方式是鼠标右键 save picture as ... python 网页爬虫可以一次性把所有图片copy 下来. ...
python网页爬虫-Python网页爬虫
曾经因为NLTK的缘故开始学习Python,之后渐渐成为我工作中的第一辅助脚本语言,虽然开发语言是C/C++,但平时的很多文本数据处理任务都交给了Python.离开腾讯创业后,第一个作品课程图谱也是选 ...
Python 网页爬虫文本处理科学计算机器学习数据挖掘兵器谱 - 数客
曾经因为NLTK的缘故开始学习Python,之后渐渐成为我工作中的第一辅助脚本语言,虽然开发语言是C/C++,但平时的很多文本数据处理任务都交给了Python.离开腾讯创业后,第一个作品课程图谱也是选 ...
ETL KETTLE 读取csv文件写入数据库
任务: 将大量CSV文件写入数据库中:可以一张表一个csv文件输入,表输出:但是如果表文件太多,达到100多张表入库:那会写死人的:所以我们可以偷懒一下:采用配合kettle java脚本代码:完成任 ...

最新文章

热门文章