robots.txt文件

相信很多SEOer在网站新上线或者改版之后，都见过首页收录有这么一句“由于该网站的robots.txt文件存在限制指令，系统无法提供该页面的内容描述”的提示，这是不是搜索引擎的抓取问题？当然不是，这是由于网站robots文件屏蔽操作导致的。那么你网站内容做的在怎么好，外链在怎么高质量，那么我只能告诉你，你不去修改robots.txt文件，这辈子估计你网站都不会被收录！

网站框架

首先一个网页它要被搜索引擎收录，前提是你必须先有做出这样一个页面出来，其次这个页面要先被搜索引擎的蜘蛛抓取过。蜘蛛抓取完后经过一套过滤删选，如果你的这个页面符合它的胃口，那么这个页面就会被搜索引擎收录。那么问题来了，我们很多的新手SEOer在建站方面都不是很熟练，很多SEOer甚至连建站都不会的，那么你们怎么才能做出一个优秀的网站出来呢？针对这些问题，也就出现了现在很多的框架有问题的个人小站点或企业站点，出现网站上线后一个多月一条收录都没有现象。这是为什么呢，我刚刚说到了，页面要被收录，必须先被抓取，如果你的页面都是采用的js和图片形式的站点，蜘蛛它是没办法识别的，那么怎么可能收录你的网站呢？

页面内容

现在做SEO的都知道，百度搜索引擎很重视页面的质量问题，连续的更新的了针对性的一些列算法。那么百度这么做的目的是什么呢？其实目的很明了吗，为了给用户提供更优质的内容，增加用户体验嘛！你们说是不是呢？那么这和收不收录有什么关系呢？告诉你关系还不小，首先搜索引擎的蜘蛛来到你的网站抓取内容的时候，发现你网站的所有内容都是垃圾信息，很多都是重复或无用死链信息，导致百度对你站点的印象非常的差，那么它凭什么要收录你的网站呢？好好思考思考答案不就有了！

CDN问题

网站cdn一般很少有个人小站点使用，cdn的意思这里简单和大家描述下，cdn就是一个用来给你网站做缓存镜像的服务器，它在全国有很多的节点，用来提高你网站的访问速度的。具体的介绍大家自己百度问度娘就行了。那么cdn和我们的网站收不收录有什么关系呢？可能很多新手还不知道，那今天夏涛就给你们讲讲。其实知道cdn工作原理的都了解，当用户访问了你的域名过后，首先会解析到你的cdn服务器调用缓存文件，然后才是回源到你的服务器上。如果cdn上设置有问题，当蜘蛛来到cdn要抓取数据时，cdn此时给蜘蛛解析了一个不对的ip，那么试问蜘蛛怎么可能抓取到你网站的真实内容呢，那何谈收录呢？