7wu1wm0 发表于 2024-8-31 19:06:09

2016网络营销学习第六天：robots.txt的用法及设置


    <div style="color: black; text-align: left; margin-bottom: 10px;">
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">2016EME学习第六天：robots.txt的用法及设置</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">一.什么是robots文件</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">robots.txt：存放在空间根目录；限制搜索引擎对网站内容抓取的协议文件；<span style="color: black;">倘若</span>根目录下<span style="color: black;">无</span>该文件，<span style="color: black;">暗示</span>网站所有网页都<span style="color: black;">准许</span>被抓取；</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">二.robots文件的格式和内容</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">1.robots是txt格式的文件，<span style="color: black;">安置</span>在网站的根目录</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">2.robots文件的写法</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">User-agent:蜘蛛名<span style="color: black;">叫作</span>(*<span style="color: black;">表率</span>所有蜘蛛)</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">Disallow:不<span style="color: black;">准许</span>被抓取的文件路径(不写域名，/<span style="color: black;">暗示</span>根目录)</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">例1：</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">User-agent: *</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">Disallow:</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">暗示</span>网站所有内容都<span style="color: black;">准许</span>抓取；跟<span style="color: black;">无</span>robots.txt是<span style="color: black;">同样</span>的</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">例2：</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">User-agent: Baiduspider</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">Disallow: /</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">暗示</span>网站所有内容不<span style="color: black;">准许</span>被百度抓取；</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">例3：</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">User-agent: *</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">Disallow: /?p=*</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">暗示</span>网站中满足 网址/?p=参数的URL都不被抓取，例如网址/?p=1；网址/?p=2；网址/?p=3；</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">三.robots在SEO中的<span style="color: black;">功效</span></p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">1.死链接提交，<span style="color: black;">倘若</span>网站中<span style="color: black;">显现</span>了死链接，是对<span style="color: black;">咱们</span>网站的SEO有<span style="color: black;">很强</span>影响的，<span style="color: black;">此时</span>候<span style="color: black;">能够</span>利用robots文件，禁止抓取这些死链接，<span style="color: black;">而后</span>提交到百度站长的死链提交工具，从而<span style="color: black;">处理</span>这个问题。</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">2.robots.txt放网站xml地图：Sitemap:url/sitemap.xml，告诉蜘蛛<span style="color: black;">咱们</span>的网站地图在哪里，<span style="color: black;">提高</span>搜索引擎的抓取效率</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">3.禁止搜索引擎抓取<span style="color: black;">咱们</span>不想被抓取的文件</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;"><span style="color: black;">倘若</span>对你有一点点<span style="color: black;">帮忙</span>，请百度钟震讲网络营销<span style="color: black;">或</span>长沙网络营销师.!大恩不言谢，<span style="color: black;">自己</span>真诚建站</p>
      <p style="font-size: 16px; color: black; line-height: 40px; text-align: left; margin-bottom: 15px;">原文<span style="color: black;">位置</span></p>http://www.sheiyouqian.com/eme/1188.html

    </div>




听听海 发表于 2024-9-9 19:37:22

对于这个问题，我有不同的看法...

nqkk58 发表于 2024-11-13 15:00:13

我深受你的启发，你的话语是我前进的动力。
页: [1]
查看完整版本: 2016网络营销学习第六天：robots.txt的用法及设置