一、如何采集信息

以前听说过采集的，但是没自己搞过，一直以为采集是一个十分高大上的技术。这段时间在做一个电商项目，需要往数据库添加数据，一条一条的添加有点蛋疼，谁有这么多时间做这么没有意义的事情呢，所以就想到了数据采集，采集京东、天猫的数据多好，多省事呀，于是便行动起来。

做采集，我首先想到的是正则表达式，我还复习了一下正则，但是如何匹配多层嵌套的div的呢？

我的目的就是获取id="plist"的内容，然后获取li里面的信息

画了不少时间，用正则方式没有找到解决办法，但是找到另外一种方法--phpQuery。phpQuery用来匹配html中的内容比正则简单太多了，只要会jquery，使用起来几乎无障碍。

关于phpQuery的详细使用方法，可以参考博客：https://blog.csdn.net/u012543061/article/details/61194372

二、采集案例

<?phprequire './phpQuery.php';//获取远程图片function curl_file_get_contents($url,$from){//初始化curl会话$ch = curl_init();//设置一个cURL传输选项。curl_setopt($ch, CURLOPT_URL, $url);                 //目标 curl_setopt($ch, CURLOPT_TIMEOUT, 2);//curl_setopt($ch, CURLOPT_USERAGENT, _USERAGENT_);    curl_setopt($ch, CURLOPT_REFERER,$from);           //伪造来路  curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);$result = curl_exec($ch);curl_close($ch);return $result;}//载入文档phpQuery::newDocumentFile('https://list.jd.com/list.html?cat=670,671,672');$list = pq('li.gl-item');$from = 'http://list.jd.com/list.html?cat=670,671,672';for($i=0;$i<count($list);$i++){$src = pq($list)->eq($i)->find('.p-img')->find('img')->attr('src');if(!$src){$src = pq($list)->eq($i)->find('.p-img')->find('img')->attr('data-lazy-img');}$src = str_replace('/n7/','/n1/',$src);$result = curl_file_get_contents('http:'.$src,$from);file_put_contents('./images/'.basename($src), $result);}
?>

一瞬间就保存了60张图片的，牛掰吧

我的大作，欢迎来踩 www.iis7.com

php采集防盗链的图片相关推荐

采用Iframe解决微信图片防盗链‘此图片来自微信公众平台未经允许不可引用’问题
采用Iframe解决微信图片防盗链'此图片来自微信公众平台未经允许不可引用'问题最近使用微信公众号爬虫遇到临时链接过期问题,查了各种博客及论坛,好多方法都已经不能用了,目前能用的就是新榜的一个临时链 ...
java 微信图片反盗链_详解微信图片防盗链“此图片来自微信公众平台未经允许不得引用”的解决方案...
已经获取微信公众号发布的图片,但不能正常显示 ,提示:此图片来自微信公众平台未经允许不得引用. 这是怎么回事呢? 遇到这种问题是因为微信公众平台对图片采用了防盗链设置,微信对外提供了API接口,让我 ...
破解微信图片防盗链微信图片不显示怎么办？
在页面头部加入: <meta name="referrer" content="never"> <meta name="referr ...
lnmp/nginx系统真正有效的图片防盗链完整设置详解
http://www.it300.com/article-15345.html 关于nginx防盗链的方法网上有很多教程,都可以用,但是我发现很多教程并不完整,所做的防盗链并不是真正的彻底的防盗链! ...
绕过图片防盗链的方法
http://cdn.archdaily.net/wp-content/uploads/2011/06/1309476244-elicium-rai-01-528x351.jpg 假设这是一张防盗链的 ...
呆错图床系统源码图片CDN加速与破解防盗链功能
呆错图床系统是一款免费的PHP图床程序,核心功能是提供图片外链服务.图床API服务.图片CDN加速与破解防盗链. 图片上传支持本地储存.FTP储存.第三方云储存(阿里云 OSS.腾讯云 COS.七牛 ...
网站防止盗链的方法总结（复制网页的时候，里面的图片复制不下来，就是别人用了防盗链的方法）...
网站防止盗链的方法总结(复制网页的时候,里面的图片复制不下来,就是别人用了防盗链的方法) 一.总结 1.可以用浏览器请求时HTTP头的Referer字段的值复制网页的时候,里面的图片复制不下来,就 ...
【Nginx】Nginx实现图片防盗链
目录 Nginx有三种方法可以进行防盗链 1.对Nginx下所有项目的指定资源不同文件类型进行防盗链 2.对指定目录或者指定项目目录进行防盗链 3.nginx 的第三方模块ngx_http_acces ...
Typora--终于找到一个能够解决将csdn文章同步到hexo的完美编辑器（解决csdn图片防盗链导致无法直接复制文章的问题）。...
文章目录需求背景新宠告诉我,我的名字叫什么?大声点我听不见~ 页面神奇之处看得见的优点如何设置项目根目录如何显示图片? 于是最终操作流程个人博客:https://mmmmmm.me ...

php采集防盗链的图片

一、如何采集信息

二、采集案例

php采集防盗链的图片相关推荐

最新文章

热门文章