禁止七牛云存储镜像网站页面的究极大法

前两天写了一篇《七牛云存储导致网站被搜索引擎封锁的解决方法》,如果按照该教程的三个方法操作的话,还是不太放心。

  1. 自定义robots.txt 这个方法不能治本,百度蜘蛛经常是不请自来,来了就爬,禁止它检索页面内容的情况下,百度蜘蛛照爬无误,你一点脾气也没有。如果百度蜘蛛不停止对镜像网站的检索,那么主站被误杀的可能性还是存在的。
  2. 用二级域名来解决七牛镜像的问题,道理上我是没理解明白的。自己的二级域名镜像主站难道就不是镜像了?况且,没有备案的朋友们是享受不到自定义二级域名绑定七牛空间的服务的。
  3. 按照千与琥珀的方法,将七牛的镜像地址填写到/wp-content/这一级又会产生一些莫名其妙的图片错误,部分网页上的图片网址明明是正确的,但是就是无法显示。

今天红人网络带给大家的是一个完全禁止七牛镜像php文件的究极大法,方法如下:

通过UserAgent来屏蔽七牛镜像爬虫对网页文件的抓取,代码如下:

    if( strpos($_SERVER['HTTP_USER_AGENT'],'qiniu-imgstg-spider') !== false) {
    header('HTTP/1.1 503 Service Temporarily Unavailable');
    echo '防七牛镜像';
    exit;
    }

将这段代码加入到网站根目录的index.php里。

加上以上代码,七牛cdn的镜像爬虫再来镜像网页文件就会返回503状态:

直接访问镜像站点,效果图:
2016-03-26_123503

由于只是在php上做限制所以不影响其他静态文件的镜像加速~~。

使用了WP Super Cache插件的小伙伴请点击WP Super Cache插件的高级菜单将七牛的ua: qiniu-imgstg-spider 加入到禁止缓存列表中,如下图:

2016-03-26_123714

如果之前网页已经被七牛给镜像了,那么请先清空七牛的缓存,或者添加代码后更新缓存即可。这样所有通过七牛的域名访问的php网页都会返回503错误,而缓存到七牛服务器上的图片、js、css等静态文件仍旧可以正常访问,不会有任何影响。

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注