python重定向_在Python中使用urlopen()防止“隐藏”重定向
我正在使用BeautifulSoup进行网页抓取,并且在使用urlopen时遇到特定类型网站的问题.网站上的每个商品都有其独特的页面,并且商品具有不同的格式(例如:500 mL,1L,2L等).
当我使用Internet浏览器打开产品的URL(www.example.com/product1)时,会看到500 mL格式的图片,有关其的信息(价格,数量,风味等)以及以下内容的列表:此特定项目可用的所有其他格式.如果单击另一种格式(例如1L),则图片和有关该项目的信息将发生变化,但浏览器顶部的URL将保持不变(www.example.com/product1).但是,通过检查页面的HTML代码,我知道所有格式都有其自己的唯一URL(500 mL:www.example.com/product1/123; 1L:www.example.com/product1/456,… ).在Internet浏览器中使用1L格式的唯一URL时,我会自动重定向到www.example.com/product1页面,但是页面上显示的图片和信息与1L格式相对应. HTML代码还包含我需要的有关1L格式的信息.
当我使用urlopen打开这些唯一的URL时,出现了我的问题.
from bs4 import BeautifulSoup
from urllib import urlopen
webpage = urlopen('www.example.com/product1/456')
soup=BeautifulSoup(webpage)
print soup
汤中包含的信息与使用我的Internet浏览器显示的唯一URL的信息不符:www.example.com/product1/456.它为我提供了有关默认情况下在www.example.com/product1上显示的项目格式的信息,该格式始终为500 mL.
有什么方法可以阻止这种重定向,使我可以使用BeautifulSoup捕获唯一URL的HTML代码中包含的信息?
python重定向_在Python中使用urlopen()防止“隐藏”重定向相关推荐
- 第一章 第一节:Python基础_认识Python
Python基础入门(全套保姆级教程) 第一章 第一节:Python基础_认识Python 1. 什么是编程 通俗易懂,编程就是用代码编写程序,编写程序有很多种办法,像c语言,javaPython语言 ...
- python 示例_在Python中带有示例的while关键字
python 示例 关键字的Python (Python for keyword) while is a keyword (case-sensitive) in python, it is used ...
- latex附录中放python代码_在Latex中插入Python代码
这里指的插入是指最终能在生成的pdf中显示高亮的Python代码. 在Latex中插入Python代码,需要一个第三发的宏包pythonhighlight: https://github.com/ol ...
- ppt python 图表_利用python分析weibo数据做成图表放入PPT中
起因 很久以前,就有个想法,就是自动分析微博的数据,但是之前一直想的是网页版展示,flask想学了好久都没学,偶然的一次看到了一篇关于python处理pptx的文章,再加上同窗三年的室友在毕业后竟然主 ...
- cmd中如何运行python文件_在cmd中运行.py文件: python的操作步骤
在cmd中运行.py文件: python的操作步骤 1 打开cmd, 不改变运行的目录: 输入python 空格 调试好的python文件路径 或者python 空格 将python文件拖入cmd ...
- shell运行python文件_在python shell中运行python文件的实现
在python shell中运行python文件的实现 最近在学习flask开发,写好程序后需要在python shell中运行测试功能.专门抽时间研究了下,总结以防止以后遗忘. 这是测试文件的结构, ...
- iphone看python文件_通过python获取苹果手机备份文件中的照片,视频等信息采集
前言: 苹果手机用户通常会将手机备份到电脑上,而备份文件通常不会自动删除.在我们电脑取证,或者***到一台电脑后可以通过python脚本获取到备份文件中的一些隐私信息,比如照片.视频.相关软件中的一些 ...
- 类的继承python事例_【Python五篇慢慢弹(5)】类的继承案例解析,python相关知识延伸...
作者:白宁超 2016年10月10日22:36:57 摘要:继一文之后,笔者又将python官方文档认真学习下.官方给出的pythondoc入门资料包含了基本要点.本文是对文档常用核心要点进行梳理,简 ...
- java python算法_用Python,Java和C ++示例解释的排序算法
java python算法 什么是排序算法? (What is a Sorting Algorithm?) Sorting algorithms are a set of instructions t ...
最新文章
- rfc6455 WebSockets
- Llinux课程计划安排
- Vue:对象更改检测注意事项
- SQL Server导入导出工具弱爆了
- 2 _RESETFUL介绍
- Visual Studio 2019 for Mac 8.3 正式发布
- 什么是应用管理与运维平台(ServiceStage)?
- 路由器的分组转发算法
- 计算机网络专业名称解释
- 【SSL】2021-08-19 1100.神秘数列
- 文言文编程背后-语言的本质
- 美团2023届笔试题解
- WEBGIS开发 常用开发功能简介 数据处理 标绘 业务数据可视化 视频融合 Cesium EarthSDK
- android 实现刮刮乐刮奖效果
- 【读书笔记】《未来闪影》罗伯特·J·索耶
- Reddit 的源代码和内部数据被盗
- 咦,我和名画撞脸了!
- 低代码开发平台到底是何方圣神? 居然可以虏获世界500强等企业的芳心!
- CANoe DEMO12.0安装包下载地址
- openstack core components use 总结