cookiejar包_cookiejar的用法

我们在使用爬虫的时候，经常会用到cookie进行模拟登陆和访问。在使用urllib库做爬虫，我们需要借助http.cookiejar库中的CookieJar来实现。

cookiejar怎么样

CookieJar类有一些子类，分别是FileCookieJar，MozillaCookieJar，LWPCookieJar。

CookieJar：管理HTTPcookie值、存储HTTP请求生成的cookie、向传出的HTTP请求添加cookie的对象。整个cookie都存储在内存中，对CookieJar实例进行垃圾回收后cookie也将丢失。

FileCookieJar(filename,delayload=None,policy=None)：从CookieJar派生而来，用来创建FileCookieJar实例，检索cookie信息并将cookie存储到文件中。filename是存储cookie的文件名。delayload为True时支持延迟访问访问文件，即只有在需要时才读取文件或在文件中存储数据。

MozillaCookieJar(filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与Mozilla浏览器cookies.txt兼容的FileCookieJar实例。

LWPCookieJar(filename,delayload=None,policy=None)：从FileCookieJar派生而来，创建与libwww-perl标准的Set-Cookie3文件格式兼容的FileCookieJar实例。

其实大多数情况下，我们只用CookieJar()，如果需要和本地文件交互，就用MozillaCookjar()或LWPCookieJar()。

当然，如果我们对cookie有定制的需要，那么我们也要借助HTTPCookieProcess处理器来处理。具体看下面代码。

使用CookieJar获取cookie值

代码如下：

if__name__=='__main__':

url='http://www.baidu.com/'

headers={

'User-Agent':'Mozilla/5.0(WindowsNT10.0;WOW64)AppleWebKit/537.36(KHTML,likeGecko)Chrome/53.0.2785.104Safari/537.36Core/1.53.3427.400QQBrowser/9.6.12513.400'

}

总之，cookiejar给大家简单的介绍了一些，希望大家多看看。

cookiejar包_cookiejar的用法 | 学步园相关推荐

cookiejar包_cookiejar的用法
我们在使用爬虫的时候,经常会用到cookie进行模拟登陆和访问.在使用urllib库做爬虫,我们需要借助http.cookiejar库中的CookieJar来实现. cookiejar怎么样 Cook ...
matlab clabel函数用法,CLabel的用法 | 学步园
DDX_Control(pDX, IDC_STATIC_CONNSTATE, m_labConnState); IDC_STATIC_CONNSTATE 是某静态控件的ID,设置这个静态控件的控制变 ...
java swing removeall_java中JFrame中函数removeAll的用法 | 学步园
用baidu搜了半天搜不出来,用google一下就出来了~~~ 下面用自己的代码来解释下removeAll()的用法注意一定要在getContentPane()中用removeAll(): impo ...
java 反斜杠_java反斜杠\的用法 | 学步园
java反斜杠\的用法比较怪异,分为两种场景: 1. 正则表达式匹配点(.) 或 {.[.(.?.$.^ .+和 * 这些特殊符号要要前加双斜框,表示字符类的时候也是用双斜杠譬如(\\s[空白符] ...
ear包目录_EAR包的组成结构 | 学步园
EAR文件结构在J2EE标准定义了所有的EJB classes 都应该打包成一个JAR 文件. 所有的web 组件(JSPs, static pages, Servlets, gifs)都应该打包在一 ...
java biginteger使用_java中的BigInteger的基本用法 | 学步园
注 : 为了更好的理解BigInteger类,特提供了一篇关于BigInteger的题目及本人的解答,感兴趣的朋友可以到我的博客看一下 import java.math.BigInteger; pub ...
java的startswith_java startsWith和endsWith的用法 | 学步园
public class StringDemo{ public static void main(String args[]){ String s1="this is my original ...
mysql函数match_Mysql全文搜索match…against的用法 | 学步园
全文检索在 MySQL 中就是一个 FULLTEXT 类型索引.FULLTEXT 索引用于 MyISAM 表,可以在 CREATE TABLE 时或之后使用 ALTER TABLE 或 CREAT ...
vector用法 java equals_java泛型vector的用法 | 学步园
java.util 类 Vector boolean add(E o) 将指定元素追加到此向量的末尾. void add(int index, E element) 在此向量的指定位置插入指定的元素 ...

cookiejar包_cookiejar的用法 | 学步园

cookiejar包_cookiejar的用法 | 学步园相关推荐

最新文章

热门文章