2016EME学习第六天：robots.txt的用法及设置
一.什么是robots文件
robots.txt：存放在空间根目录；限制搜索引擎对网站内容抓取的协议文件；倘若根目录下无该文件，暗示网站所有网页都准许被抓取；
二.robots文件的格式和内容
1.robots是txt格式的文件，安置在网站的根目录
2.robots文件的写法
User-agent:蜘蛛名叫作(*表率所有蜘蛛)
Disallow:不准许被抓取的文件路径(不写域名，/暗示根目录)
例1：
User-agent: *
Disallow:
暗示网站所有内容都准许抓取；跟无robots.txt是同样的
例2：
User-agent: Baiduspider
Disallow: /
暗示网站所有内容不准许被百度抓取；
例3：
User-agent: *
Disallow: /?p=*
暗示网站中满足 网址/?p=参数的URL都不被抓取，例如网址/?p=1；网址/?p=2；网址/?p=3；
三.robots在seo中的功效
1.死链接提交，倘若网站中显现了死链接，是对咱们网站的SEO有很强影响的，此时候能够利用robots文件，禁止抓取这些死链接，而后提交到百度站长的死链提交工具，从而处理这个问题。
2.robots.txt放网站xml地图：Sitemap:url/sitemap.xml，告诉蜘蛛咱们的网站地图在哪里，提高搜索引擎的抓取效率
3.禁止搜索引擎抓取咱们不想被抓取的文件
倘若对你有一点点帮忙，请百度钟震讲网络营销或长沙网络营销师.!大恩不言谢，自己真诚建站
原文位置 http://www.sheiyouqian.com/eme/1188.html
| 
发表于 2024-8-31 19:06:09
