php curl 批量,关于用php的curl批量抓取内容
先上个单个采集的curl访问案例<?php
$curl = curl_init();
curl_setopt($curl, CURLOPT_URL, 'www.baidu.com');
curl_setopt($curl, CURLOPT_SSL_VERIFYPEER, 0);
curl_setopt($curl, CURLOPT_SSL_VERIFYHOST, 1);
curl_setopt($curl, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20100101 Firefox/21.0');
curl_setopt($curl, CURLOPT_FOLLOWLOCATION, 0);
curl_setopt($curl, CURLOPT_AUTOREFERER, 0);
curl_setopt($curl, CURLOPT_HTTPGET, 0);
//curl_setopt($curl, CURLOPT_COOKIEFILE, $this->_cookie); // 如果是需要登陆才能采集的话,需要加上你登陆后得到的cookie文件
curl_setopt($curl, CURLOPT_TIMEOUT, 0); // 设置超时限制防止死循环
curl_setopt($curl, CURLOPT_CONNECTTIMEOUT, 0); // 在发起连接前等待的时间,如果设置为0,则无限等待。
curl_setopt($curl, CURLOPT_CONNECTTIMEOUT_MS, 0); // 尝试连接等待的时间,以毫秒为单位。如果设置为0,则无限等待。
curl_setopt($curl, CURLOPT_HEADER, 0);
curl_setopt($curl, CURLOPT_RETURNTRANSFER, 1);
$tmpInfo = curl_exec($curl);
var_dump($tmpInfo); exit;
?>
在php开发中,会涉及到一些数据方面的采集工作.那么在我们采集的时候,避不可免的会碰到要批量采集的时候.
举个粟子.
当我们要采集新闻的时候,到了一个新闻的列表页,那么我们分析了这个列表的链接后,当然可以通过循环的方法,一个个的按普通的方式来采集.但是,这很影响效率.执行超慢.于是,翻开php手册,发现还可以批量采集 批量采集神器 curl_multi_init 登场;
假如需要同时采集两个地址,怎么办?
下面这个例子,我想你看了就会明白了<?php
$urls = array('http://www.baidu.com/','http://www.sogou.com/');
$queue = curl_multi_init(); //允许并行地处理批处理cURL句柄。
foreach($urls as $url) {
$ch = curl_init();
curl_setopt($ch, CURLOPT_URL, $url);
//这个curl只是说明了它是要干嘛,但是一直到 curl_multi_add_handle 都啥也没有去干,也就是说没有去模拟访问
curl_setopt($ch, CURLOPT_SSL_VERIFYPEER, 0);
curl_setopt($ch, CURLOPT_SSL_VERIFYHOST, 1);
curl_setopt($ch, CURLOPT_TIMEOUT, 25000);//超时
curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
curl_setopt($ch, CURLOPT_USERAGENT, 'Mozilla/5.0 (Windows NT 6.1; rv:21.0) Gecko/20100101 Firefox/21.0'); //指明你的浏览器,这是我的
//curl_setopt($ch, CURLOPT_COOKIEFILE, $this->_cookie); // 如果是需要登陆才能采集的话,需要加上你登陆后得到的cookie文件
curl_setopt($ch, CURLOPT_HEADER, 0);
curl_setopt($ch, CURLOPT_NOSIGNAL, true);
curl_multi_add_handle($queue,$ch); //向批处理句柄中,添加句柄 后面批量的去模拟访问,抓取回资源
}
$responses = array(); //事先声名一个数组
do{
while(($code = curl_multi_exec($queue,$active)) == CURLM_CALL_MULTI_PERFORM); //返回值如果是0,那就得继续
}while($active); //一直到资源里还有0条为止
//经过了刚才的循环指抓取 此时 $queue 就是一个批量的资源集了 这只是资源集,你需要把它读取出来.好,读取在下面闪亮登场
while($done = curl_multi_info_read($queue)){// 用这个专门读取批量资源集的函数,可以把这个资源集的内容一条条的读出来
//用上面的函数读出来的,是一个数组,数组中有批量资源中的一条资源,而且被放在 handle 键上
$str = curl_multi_getcontent($done['handle']);
//要读取资源集的资源条抓取回来的内容,还得用专门的curl_multi_getcontent函数才能完成
curl_multi_remove_handle($queue,$done['handle']); //读取了资源,别忘记把该资源从资源集中移除
curl_close($done['handle']); //也别忘记把这个资源句柄关闭,减小内存开销
$responses[] = $str;
}
curl_multi_close($queue); //把总句柄关闭
var_dump($responses); //好,打印一下你刚才批量抓取的内容
?>
试着把代码拷到你的电脑上运行一下.
看明白了吗?
php curl 批量,关于用php的curl批量抓取内容相关推荐
- php curl_setopt抓取内容,PHP的CURL方法curl_setopt()函数案例介绍(抓取网页,POST数据)
通过curl_setopt()函数可以方便快捷的抓取网页(采集很方便),curl_setopt 是php的一个扩展库 使用条件:需要在php.ini 中配置开启.(PHP 4 >= 4.0.2) ...
- php爬取html内容,php抓取网页html,curl和file_get_contents通过get或post方式抓取网页内容,源代码
1.curl方式获取 <?php$a = 'http://www.888.com/123.html'; $ch = curl_init($a); curl_setopt($ch, CURLOPT ...
- PHP使用CURL抓取网页
CURL是一个非常强大的开源库,支持很多协议,包括HTTP.FTP.TELNET等,我们使用它来发送HTTP请求.它给我 们带来的好处是可以通过灵活的选项设置不同的HTTP协议参数,并且支持HTTPS ...
- php curl post上传图片,PHP中使用CURL发送get/post请求上传图片批处理功能
cURL是利用url语法规定传输文件和数据的工具.php中有curl拓展,一般用来实现网络抓取,模拟发送get post请求,文件上传. 在php中建立curl的基本步骤如下: 1.初始化 2. ...
- 百度站长资源平台自动批量抓取诊断工具(站长站群seo工具)
背景 百度站长资源平台抓取诊断功能提供了如下说明: 抓取诊断工具,可以让站长从百度蜘蛛的视角查看抓取内容,自助诊断百度蜘蛛看到的内容和预期是否一致. 每个站点每周可使用70次,抓取结果只展现百度蜘蛛可 ...
- 使用CURL构建爬虫,抓取百度百科内容
实现这个功能的步骤: 首先打开百度百科,在搜索框输入"php"关键词,得到搜索列表,一般都是10条: 然后使用火狐的Firebug分析百度列表的内容组成,主要是html标签,发现去 ...
- 一段使用cURL实现的网页抓取源码,支持POST,Cookies,代理,自定义头.
为什么80%的码农都做不了架构师?>>> <?php /*** 名称:cURL网页抓取* 版本:v0.3* 作者:吣碎De人(http://www.qs5.org)* 最 ...
- php curl 下载网页,php 通过cURL函数抓取网页、下载网页的简单示例
这篇文章主要为大家详细介绍了php 通过cURL函数抓取网页.下载网页的简单示例,具有一定的参考价值,可以用来参考一下. php通过cURL函数抓取和下载网页,感兴趣的小伙伴,下面一起跟随512笔记的 ...
- curl抓取页面时遇到重定向的解决方法(转)
用php的curl抓取网页遇到了问题,为阐述方便,将代码简化如下: [php] view plaincopy <?php function curlGet($url) { $ch = curl_ ...
最新文章
- 微型计算机系统结构的五大基本组成部件,连接计算机系统结构的五大基本组成部件...
- js之事件冒泡和事件捕获
- golang中的strings.Split
- Ubuntu安装后无法连接无线网络
- ManualResetEvent用法
- Linux中vi显示中文乱码的问题
- 如何使用Arthas提高日常开发效率?
- Spark 入门系列-简介以及生态
- 用户不在sudoers文件中,此事将被报告
- C typedef用途小结
- POJ 3279 Fliptile
- vue自带的实例属性和方法($打头)
- 美国在线教育的启示:教育领域正在革命
- 图灵程序设计丛书 算法(第4版)pdf
- 系统集成项目管理工程师知识点
- 第四期_Metasploit 基础(二)MSFconsole《Metasploit Unleashed Simplified Chinese version(Metasploit官方文档教程中文版)》
- HttpClientHelper
- Windows Server 2012 如何实现多个用户远程桌面登陆?
- 福昕 关闭互联PDF
- 每日一句:day02——From Zero To Hero