新浪微博 腾讯微博 | 网站地图 | SEO教程 | 教研室 | SEO人物 你好,欢迎光临东莞市三好教育信息咨询有限公司的SEO培训网站!

东莞SEO

东莞SEO

联系方式CONTACT

三好教育信息咨询有限公司

地址:东莞虎门龙眼东二路3巷5号
手机:+86 136 2002 3931         

传真:+86 0769 8997 9022

E-mail:gd888vip@163.com
网址:www.seowhe.com
电话:+86 0769 8997 9022

您当前的位置:首页 > 新乡SEO

网站robots.txt的作用和写法

发布时间:2016-08-05   信息来源:东莞SEO  作者: SEO培训  访问量:

 最近我发现很多都是在qq上问我就是现在的robots文件的写法是怎么样的,百度上的都是什么样的都有,还有就是对于每个后台的和开发程序的不一样,我应该怎么去写robots文件呢?现在先说robots的作用是什么吧。

 
robots文件的作用:
 
robots文件就是告诉搜索引擎根目录下面的那些文件可以抓取,那些文件是不可以抓取的,但是对于现在robots的作用多数都是针对百度搜索引擎吧,其他搜索引擎的作用不是很大,因为现在我们很多时候都是做的百度排名,好搜,搜狗这些我们都不是很注重的。robots文件说简单点就是给搜索引擎指定的一个规则,无规矩不成方圆嘛。
 
robots文件的写法:
 
1. User-Agent键
 
后面的内容对应的是各个具体的搜索引擎爬行器的名称。如百度是Baiduspider,谷歌是Googlebot。
 
一般我们这样写:
 
User-Agent: *
 
表示允许所有搜索引擎蜘蛛来爬行抓取。如果只想让某一个搜索引擎蜘蛛来爬行,在后面列出名字即可。如果是多个,则重复写。
 
注意:User-Agent:后面要有一个空格。
 
在robots.txt中,指令键后面加:号,后面必有一个空格,和值相区分开。
 
2.Disallow键
 
该键用来说明不允许搜索引擎蜘蛛抓取的URL路径。
 
例如:Disallow: /index.php 禁止网站index.php文件
 
3.Allow键
 
该键说明允许搜索引擎蜘蛛爬行的URL路径
 
例如:Allow: /index.php 允许网站的index.php
 
4.通配符*
 
代表任意多个字符
 
例如:Disallow: /*.jpg 网站所有的jpg文件被禁止了。
 
5.结束符$
 
表示以前面字符结束的url。
 
例如:Disallow: /?$ 网站所有以?结尾的文件被禁止。
 
那对于网站来说,我们应该让搜索引擎抓取什么文件,不抓取什么文件呢?
 
对于网站来说,屏蔽搜索引擎抓取模板,网站后台,会员,网站图片,文件备份,还有就是网站的404页面,这几个是必须屏蔽的。图片如果是做图片站的话就是不用屏蔽,不是的话就屏蔽掉,后台很多人就会问了,难道在robots里面我就需要把后台文件全称写上去么?这个其实是不用的,可以写个开头和结尾就行了,说个很简单的例子就是,假如我的后台文件是hehe吧,写在robots里面的文件格式就是Disallow: /h*e就可以了。如果全称写上去,那你就给黑客留机会攻击你的网站后台了。
 
做好robots文件之后,就需要到百度站长平台去看看robots有没有问题,顺便测试下robots文件有诶有自己没有写到的,方便自己及时修改。
 
写好robots,使用好robots对于我们网站的seo有着重要作用,做的好,可以有效的屏蔽那些我们不想让搜索引擎抓取的页面,也就是对用户体验不高的页面,从而将有利于关键词排名的内页充分展示个客户,获得搜索引擎对站内页面的权重,从而有利于我们将关键词排名做的更好。
 
最后再补充一句,就是自己在写robots的最后必须写上搜索引擎抓取网站地图的xml文件,这样可以加快网站的收录,更快的获取排名,这个是一个做网站的小细节问题,很多自认为很牛叉的人都是在写robots文件的时候忘记这个细节,做优化给好做好细节,细节问题做好,获取排名就不是什么难题了。
 

首页 | SEO培训 | 网站模板 | 产品与服务 | 企业动态 | 行业资讯 | SEO教程 | SEO人物 | 客户见证 | 常见问题 | 工程案例 | 公司荣誉 | 企业优势 | 关于我们 | 联系我们

Copyright © 2016 三好教育信息咨询有限公司
座机:+86 0769 8997 9022
传真:+86 0769 8997 9022
公司:东莞市三好教育信息咨询有限公司
网址:http://www.seowhe.com
手机:+86 136 2002 3931
邮箱:gd888vip@163.com
地址:东莞市虎门镇龙眼东二路3巷5号   
粤ICP备16043294号-2