• 欢迎使用超级蜘蛛池,超百万蜘蛛与您共享,蜘蛛池引蜘蛛快速提高网站收录,收藏快捷键 CTRL + D

超级蜘蛛池之robots的优化


一、robots概述

①robots.txt纯文本文件,网站管理员可以在这里声明该网站不想robots访问的部分,所以robots优化直接影响着搜索引擎对网站的收录情况;

②robots.txt必须放置在一个站点的根目录下,并且文件名必须全部小写:www.cjzzc.com/robots.txt

超级蜘蛛池之robots的优化

③就算你的网站全部内容都可以被搜索引擎收录,那也要写个空的robots.txt;因为有的服务器的设置会使没有robots.txt的时候返回200状态码和相应的错误信息;


12.jpg

二、robots的写法

# robots.txt file from http://www.cjzzc.com/

# All robots will spider the domain

User-agent:*

Disallow:

1、允许搜索引擎访问所有部分(一般可不写)

User-agent:*

Disallow:

2、禁止搜索引擎访问任何部分

User-agent:*

Disallow:/

3、禁止搜索引擎访问某几个部分

User-agent:*

Disallow:http://www.cjzzc.com/404.html

4、允许某个搜索引擎访问

User-agent:Baiduspiter

Disallow:/

5、禁止所有搜索引擎蜘蛛访问某几个目录下的内容及文件

User-agent:*

Disallow:/sss/

Disallow:/aaa/

8、禁止除了百度蜘蛛以外的所有搜索引擎抓取任何内容:

User-agent:Baiduspiter

Disallow:/

User-agent:*

Disallow:/

9、$:通配符,匹配url结尾的字符。禁止百度蜘蛛抓取所有.jpg文件

User-agent:Baiduspiter

Disallow:.jpg$

10、禁止和允许搜索引擎访问某个目录,如:禁止访问admin目录;允许访问images目录。

User-agent:*

Disallow:/admin/

Allow:/images/

11、禁止和允许搜索引擎访问某个后缀,如:禁止访问admin目录下所有php文件;允许访问asp文件。

User-agent:*

Disallow:/admin/*.php$

Allow:/admin/*.asp$

12、禁止索引网站中所有的动态页面(这里限制的是有“?”的域名,如:index.php?id=8)。

User-agent:*

Disallow:/*?*

本文链接:http://www.cjzzc.com/article/81.html

评论专区

您的大名*
电子邮件*
个人网址 
评论内容 
验证码     

超级蜘蛛工具

  • 超级蜘蛛池引蜘蛛
  • 超级蜘蛛池_关键词快速排名系统_全网搜索引擎SEO优化平台
  • 百度收录查询-百度收录批量查询-百度站长工具-超级蜘蛛池
  • 域名IP地址批量查询_网站IP地址批量查询_超级蜘蛛工具_超级蜘蛛池
  • 超级外链发布工具_免费批量发布SEO外链_发外链工具_超级蜘蛛池
  • 网页蜘蛛模拟抓取测试工具_超级蜘蛛工具_超级蜘蛛池