当前位置:首页 » 好文分享 » 详情

    怎么写robots文件

    对于新手朋友来说,不知道robots文件该如何写,不知道robots文件对网站内的优化又是多么重要(robots文件对网站优化的重要性),今天就来为大家简单讲解下robots文件的正确写法。

    什么是robots文件

    robots文件是用来告诉搜索引擎:这个网站上哪些部分可以被访问、哪些不可以,robots文件是存放在网站根目录下的一个纯文本文件。当搜索引擎访问一个网站时,它首先会检查该网站根目录下是否存在robots文件。robots文件必须放置在一个网站的根目录下,而且文件名必须全部小写。

    网站肯定希望被收录,因为网站流量的一部分或者是大部分都是来自搜索,所以对网站来说是很重要的。问题是:如果有网站内容不希望被搜索到,那么怎么办呢?在这种情况下,我们就有必要会用到robots文件,来与搜索引擎沟通。所有的搜索引擎蜘蛛自动在网站根目录中寻找这个文件,所以你只需创建它并上传,然后等待蜘蛛来阅读。那么该怎么写呢?下面上海SEO就教教大家。

    步骤/方法

    1、允许所有搜索引擎访问

    User-agent: *

    Disallow:

    或者

    User-agent: *

    Allow: /

    在这里大家要注意下,可以最直接的建一个空文件 “robots.txt”然后放到网站的根目录。

    2、禁止所有搜索引擎访问

    User-agent: *

    Disallow: /

    或者

    User-agent: *

    allow:

    3、禁止所有搜索引擎访问网站中的几个部分,在这里我用a、b、c目录来代替

    User-agent: *

    Disallow: /a/

    Disallow: /b/

    Disallow: /c/

    如果是允许,则是

    Allow: /a/

    Allow: /b/

    Allow: /c/

    4、禁止某个搜索引擎的访问,我用w来代替

    User-agent: w

    Disallow: /



    User-agent: w

    Disallow: /d/*.htm

    5、只允许某个搜索引擎的访问,我用e来代替

    User-agent: e

    Disallow:

    在Disallow:后面不加任何东西,意思是仅允许e访问该网站。

    在Disallow:后面加 /d/*.htm的意思是禁止访问/d/目录下的所有以”.htm”为后缀的URL,包含子目录。

    6、使用”$”限制访问url

    User-agent: *

    Allow: .htm$

    Disallow: /

    意思是仅允许访问以”.htm”为后缀的URL

    7、禁止访问网站中所有的动态页面

    User-agent: *

    Disallow: /*?*

    8、禁止搜索引擎F抓取网站上所有图片

    User-agent: F

    Disallow: .jpg$

    Disallow: .jpeg$

    Disallow: .gif$

    Disallow: .png$

    Disallow: .bmp$

    意思是只允许引擎抓取网页,禁止抓取任何图片(严格来说,是禁止抓取jpg、jpeg、gif、png、bmp格式的图片。)

    9、只允许搜索引擎E抓取网页和.gif格式图片

    User-agent: E

    Allow: .gif$

    Disallow: .jpg$

    Disallow: .jpeg$

    Disallow: .png$

    Disallow: .bmp$

    意思是只允许抓取网页和gif格式图片,不允许抓取其他格式图片

    总结

    具体的步骤操作可以看看 百度百科:http://jingyan.baidu.com/article/e5c39bf57bf2a739d7603388.html

    然后补充一点:要是蜘蛛要抓取js和css文件我要不要写robots文件屏蔽呢?答案是:不用,蜘蛛要抓取就让他抓对网站并无影响。
    打赏
    X
    打赏方式:
    • 支付宝
    • 微信
    • QQ红包

    打开支付宝扫一扫
    日期:2017年11月07日 09:54:40 星期二   分类:好文分享   浏览(36594)
    本文地址:https://www.blogs.hk/post-2818.html   [百度已收录]
    声明:本页信息由网友自行发布或来源于网络,真实性、合法性由发布人负责,请仔细甄别!本站只为传递信息,我们不做任何双方证明,也不承担任何法律责任。文章内容若侵犯你的权益,请联系本站删除!
    版权所有:《博客之家
    文章标题:《怎么写robots文件
    除非注明,文章均为 《博客之家》 原创
    转载请注明本文短网址:https://www.blogs.hk/post-2818.html  [生成短网址]

    留言咨询

    自动获取QQ

    昵称

    邮箱

    网址

        站点统计

        • 收录网址:3370 个
        • 发布文章:3008 条
        • 在线人数:1人
        • 总访问量:270564853次
        • 本站运行:12年5月3天
        Copyright © 2025 博客之家 版权所有  
        關於本站免責聲明sitemap新站登錄