如何通过日志分析搜索引擎蜘蛛

大家都知道，看日志最重要的要看http的状态码，看看里面有没有404, 304, 200。通过状态码分析网站的架构有没有问题?服务器稳不稳定?要不要对死链接进行屏蔽还是只用个404页面就可以了?

其二，看看蜘蛛每天爬取页面的情况，是不是很稳定，有没有大起大落?如果发生大起大落的情况你就要注意唠，是不是你的外链数量没控制好，或者是因为你的软文的大量转载而引起的呢?外链的不稳定增长对于一个新站尤其重要，我自己的博客-zero07.cn，本来也没准备做排名，最近想做个试验，在首页挂了一个金华seo的标签，看看通过外链用多少时间可以做上来，于是在ADMIN5发了几篇软文，但由于是个新站，在这之前做链接比较少。突然外链大量增加，结果你猜发生了什么状况。百度的排名瞬间没了，不过google的排名还是可以的。通过日志对蜘蛛跟踪发现，百度蜘蛛从以前的一天10多次，一下多了一条100多次。这是非常糟糕的现象。

其三，蜘蛛对每个页面的抓取情况，是不是比较的均匀，还是对某个页面抓取的特别勤快。如果对某个页面抓的特别的勤快，是不是因为你给这个页面做了大量的链接，或该页面的文章被大量转载。如果不是这也是个问题。

其四，蜘蛛爬取页面的时间分布，是整体比较平均的，还是集中在某个时间段?如果90%时间来访都在一个也时间段，你要考虑下，你是不是每天定时更新文章和外链的。定时更新文章是和好习惯。但定时发外链，很有可能发现被搜索引擎认为用了软件之类的，有可能会被降权。