网站屏蔽所有人访问，只允许蜘蛛访问

屏蔽所有人访问，只允许蜘蛛访问

if （$http_user_agent !~* "Baidu|Yisou|Sogou|360|Byte|bing|Soso|Yahoo|Google"）
{
return 404;
}

解释：$http_user_agent 简称UA， ~*为任意包含，不区分大小写，如果是不包含，则为：！~*
这句话的意思就是如果UA里不包含baidu, 神马，搜狗，谷歌字符的话，则返回404，编辑404.html页面，则显示你想要的内容，比如广告。

if （$http_user_agent !~* "Baidu|Yisou|Sogou|Google"）
{
return 301 http://www.hao123.com;
}
解释：这个是，非这几个蜘蛛，就301跳转到hao123.com
if （$http_user_agent !~* "Baidu|Yisou|Sogou|Google"）
{
return 302 http://www.baidu.com;
}
解释：这是302跳转

网站屏蔽所有人访问，只允许蜘蛛访问相关推荐

nginx设置只允许蜘蛛访问其他访问为404或者301跳转
nginx设置只允许蜘蛛访问其他访问为404或者301跳转 ngxinx设置只允许百度360蜘蛛访问,其他任何IP或者蜘蛛访问为404状态 if ($http_user_agent !~* " ...
Nginx屏蔽个别User-Agent蜘蛛访问网站的方法
对于做国内站的我来说,我不希望国外蜘蛛来访问我的网站,特别是个别垃圾蜘蛛,它们访问特别频繁.这些垃圾流量多了之后,严重浪费服务器的带宽和资源.通过判断user agent,在nginx中禁用这些蜘蛛可 ...
西安天讯：怎样添加百度蜘蛛访问网站日志log日志
时间 s-sitename W3SVC1 \: date 2010-07-30 \:06:43 \\\\.;\\\\\服务器名称 s-computername MGL \\ 网站名称 s-ip .日志 ...
Nginx只允许域名访问网站，禁止使用IP 访问80，443端口
转载来源 :Nginx只允许域名访问网站,禁止使用IP 访问80,443端口 :http://www.safebase.cn/article-260225-1.html 摘要: 一.背景为了避免别人 ...
robots里屏蔽百度和GG以外的蜘蛛
robots里屏蔽百度和GG以外的蜘蛛?有个未知的蜘蛛,一个月要爬走6G流量,太恐怖了想屏蔽掉,怎么写? 通过http头进行区分!!robots里能区分?我用的是虚拟主机哦下面仅仅允许google, ...
网站屏蔽中文浏览器/英文浏览器方法
一打开 Apache 的配置文件 httpd.conf . 二将#LoadModule rewrite_module modules/mod_rewrite前面的#去掉三在 httpd.con ...
Z-blogPHP蜘蛛访问日志统计插件+自动收集死链
正文: 我们在运营网站的过程中需要观察网站是否有搜索引擎的抓取,一般我们可以通过日志判断.但是日志判断可能需要较为专业的来分析,而且比较麻烦需要去查看日志. 这里,我们会借助Z-blogPHP搜索引擎 ...
为什么跨境电商独立站要屏蔽国内卖家和非目标国家访问
外贸网站通常会出现这么一个现象:国内无法访问外贸网站,或者非目标国家不能访问网站. 为什么跨境电商独立站要屏蔽国内买家和非目标国家访问? 就普遍的共识来说,屏蔽国内卖家和非目标国家访问,一是为了防止产 ...
各大网站屏蔽搜索引擎抓取分析
2019独角兽企业重金招聘Python工程师标准>>> 前面转载了一篇关于淘宝屏蔽百度的文章,但是那是其他人的看法,还是想发表一下自己的看法,当然由于本人对屏蔽爬虫内幕了解不是很多 ...

网站屏蔽所有人访问，只允许蜘蛛访问

网站屏蔽所有人访问，只允许蜘蛛访问相关推荐

最新文章

热门文章