banner图3
bnner图2
bnner图
蜘蛛不爬行的原因你真的清楚吗

当前位置:首页-网站优化 内容点击数: 时间: 2013-05-01

网站不被搜索引擎收录的最佳解决办法就是查看日志,找到原因。一般只要能让蜘蛛经常来抓取,对于收录就有了一半的保障。而蜘蛛不爬行的原因也很多,常见的有以下几种情况。1、被robots.txt文件禁止导致蜘蛛不爬行检查robots.txt文件,看是否阻止了蜘蛛访问你实际上想让它们访问的网站的某部分内容。这个错误相当常见。Google网管工具和必应网管工具都提供检查robots.txt文件是否禁止它们爬行某些内容的简单方法。当网站内容有链接(无论内部或者外部链接)但搜索引擎被robots.txt文件禁止所以没有爬行时,这些报告很有帮助。解决方案很简单。找出robots.txt文件中哪一行禁止搜索引擎蜘蛛,删除它,或者修改使内容不再被屏蔽。被robots meta标签禁止robots meta标签可能是这样:<meta name =”robots” content=”noindex,nofollow”>2、NoIndex告诉搜索引擎不允许在搜索库中包括这个页面。显然,你应该检查是否犯了这个错误。另外,NoFollow这个标签告诉搜索引擎,页面上的标签告诉搜索引擎,页面上的链接不传递链接权重到被链接页面。如果网站上连向特定内容的所有链接都是NoFollow的,这个页面就没有获得任何链接权重。这告诉搜索引擎,你认为这些页面没有价值,因此搜索引擎也不会费精力去索引这个内容(除非有其他人用不带NoFollow的链接连向它)。解决这个问题需要找到网站上有这种robots meta标签的地方并删除。注意,robots meta标签默认设置是”index,follow”,所以如果这是你想要的设置,就不需要用这个标签,只要确认你没有用robots meta标签改变默认值。3、没有直接链接导致搜索引擎不抓取你可能发现某篇内容的链接都是NoFollow的。你也可以使这些链接无法被搜索引擎看到,比如只向支持JavaScript或cookie的用户显示,或者将链接以某种方式编码加密。解决方法是确保使用普通文字(或图片)链接只向内容。婴儿游泳 http://www.dragonbaby.cn/如果能有第三方网站链接到内容页面就更好了。4、要求表格提交直接导致搜索引擎抓取不了要求登录或其他类型的表格提交才能看到内容是另外一个不能被爬行的常见原因。搜索引擎不会尝试提交表格来看看后面是什么。如果你想让搜索引擎索引,最简单的解决方法是去掉填写表格要求。然而,有的网站以订阅方式卖内容,他们不想免费提供内容。2008年10月,Google推出“第一次点击免费”概念,允许基于阅读的网站使其内容被Google爬行及索引,同时继续允许发布商要求用户付费才能访问内容。5、Session IDSession ID会使搜索引擎犯糊涂。搜索引擎怎样理解session id和cookie需要你深入的了解。每次蜘蛛来到你的网站,它们看到一个不同的页面。虽然你的意图是跟踪用户进程,你认为这些都是相同的页面,搜索引擎并不这么想。6、没有足够链接权重使页面保留在主索引中有时问题与我们前面讨论的都没有关系。搜索引擎可以正常看到页面,但是页面没有足够的链接权重使其值得被包括在主索引中。这比人们想象得更常见。搜索引擎并不试图索引世界上的所有页面。例如,Google认为重要性低(也就是没有足够的链接权重)的内容,会被排除在索引之外,被放进Google的补充索引或者完全不被索引。这是因为Google要强调网上更重要的页面。Google采取这个方法是因为,它不想让搜索结果表现被大多数人可能都不想看到的页面所影响。解决方案是增加内部链接以及为内容获得外部链接,使页面在搜索引擎眼里更重要。另一个有关的状况是,页面被搜索引擎认为是重复内容,因此被过滤出去。最好的解决方法是给这些页面增加独特内容。相关文章推荐:蜘蛛爬行了但不抓取内容 百度每天什么时候抓取网站数据的?