python下载txt_Python读取TXT文件中的URL并下载文件

说明: 上一篇只是把image表格存入到数据库，后序又存入了classname表格，bbox表格等，通过连接查询最终获取到想要的所有url地址。采用简单粗糙的方法，把获取到的url地址全部存储到txt文件中，之后通过读取txt文件中的内容下载图片到本地。

1.前提说明

ladder.txt

ladder链接样式

2.出现问题

urllib.error.URLError:

解决参考：

https://stackoverflow.com/questions/49183801/ssl-certificate-verify-failed-with-urllib

所以最后的程序为：

# -*- coding: utf-8 -*-

# 根据图片链接列表获取图片保存到本地

from urllib.request import urlretrieve

import os

# 解决

import ssl

ssl._create_default_https_context = ssl._create_unverified_context

'''

通过txt网址文件，现在图片到本地

'''

def download():

categories = ['ladder']

for category in categories:

# 新建存储ladder文件夹存储图片

os.makedirs('data/%s' % category, exist_ok=True)

# 读取txt文件

with open('%s.txt' % category, 'r') as file:

urls = file.readlines()

# 计算链接地址条数

n_urls = len(urls)

# 遍历链接地址下载图片

for i, url in enumerate(urls):

try:

# 请求下载图片，并截取最后链接第一最后一节字段命名图片

urlretrieve(url.strip(), 'data/%s/%s' % (category, url.strip().split('/')[-1]))

print('%s %i/%i' % (category, i, n_urls))

except:

print('%s %i/%i' % (category, i, n_urls), 'no image')

if __name__ == '__main__':

download();

3. 补充说明

其实在刚运行代码时，总是进入except运行，之后在测试过程中print(url.strip())都是可以打印出正确的链接地址，点击链接也可以查看到图片，所以就测试直接打印 print( urlretrieve(url.strip(), 'data/%s/%s' % (category, url.strip().split('/')[-1]))), 此时输出错误：urllib.error.URLError:

4.参考

python下载txt_Python读取TXT文件中的URL并下载文件相关推荐

python怎么读取txt文件-Python笔记（读取txt文件中的数据）
在机器学习中,常常需要读取txt文本中的数据,这里主要整理了两种读取数据的方式数据内容共有四列数据,前三列为特征值,最后一列为数据标签 409208.3269760.9539523 144887. ...
Python Pandas 通过读取txt文件内容创建DataFrame
本文主要介绍Python中,通过读取txt文件内容创建Pandas的DataFrame,创建DataFrame分别使用pd.DataFrame.from_records()和pd.read_csv() ...
python写入、读取txt文本内容
python写入.读取txt文本内容一. 写入txt文本文件 # 保存数据 def writeData(datalist,savepath):for data in datalist:with op ...
python pandas库读取excel/csv中指定行或列数据详解
通过阅读表格,可以发现Pandas中提供了非常丰富的数据读写方法,下面这篇文章主要给大家介绍了关于python利用pandas库读取excel/csv中指定行或列数据的相关资料,需要的朋友可以参考下 ...
python 利用jieba读取txt文本进行分词后存入新txt
python 利用jieba读取txt文本进行分词后存入新txt import jieba txt = open("news.txt",encoding='UTF-8').read ...
效率最高的Excel数据导入---（c#调用SSIS Package将数据库数据导入到Excel文件中【附源代码下载】）...
本文目录: (一)背景 (二)数据库数据导入到Excel的方法比较 (三)SSIS的简介 (四)数据库中存储过程示例(SSIS应用需要) (五)Excel模板的制作(这步这么简单,稍微介 ...
效率最高的Excel数据导入---（c#调用SSIS Package将数据库数据导入到Excel文件中【附源代码下载】）转...
效率最高的Excel数据导入---(c#调用SSIS Package将数据库数据导入到Excel文件中[附源代码下载]) 本文目录: (一)背景 (二)数据库数据导入到Excel的方法比较 ( ...
python 在一个py文件中调用另一个py文件中的变量以及一个有趣的问题
python 在一个py文件中调用另一个py文件中的变量以及一个有趣的问题 1.在一个py文件中调用另一个py文件中的变量新建一个py文件,记为t1.py # t1.py m = 2 n = 1 a ...
assert文件夹设置android_android使用build.xml配置assert文件中不压缩的类型文件
问题: 在做文本文件读取时,从assert文件中获取文件 getResources().getAssets().openFd("test.txt").getFileDescript ...
linux中sed -i命令修改文件内容、在文件中插入行、删除文件中删除行
文章目录 0.sed -i与sed 1.修改文件内容 2.在文件中插入行 3.在文件中删除行 4.使用find查找文件,并用 | xargs传输文件名给sed命令 0.sed -i与sed sed - ...

python下载txt_Python读取TXT文件中的URL并下载文件

python下载txt_Python读取TXT文件中的URL并下载文件相关推荐

最新文章

热门文章