百度站长工具之链接分析:如何定位网站的SEO问题?
实际上,度娘到底坑不坑爹我是不知道啦,不过我想说度娘只是把问题反映出来,更多地还需要我们自己去定位问题并进行处理,才能确保网站不会因为该问题而受到较大程度的影响。
也就是说,如果我们能想办法把这些文件都合并起来的话,也是有办法区分日期的。
(3)百度站长工具链接分析——三大死链(内链死链、链出死链、链入死链),批量下载数据,合并数据,excel操作,按逻辑分类,定位问题,处理问题。(定位和处理,材料不够,因为好多已经处理过了,没有材料了= =|||||)
比方说,我现在看到的数据的共性是,死链链接都不完整,要么中间用点号来省略了,要么尾部被强行截断了。我们打开死链前链,发现死链链接是作为明链接(无锚文本)出现在页面上。而死链前链的页面,大多数都类似于搜索引擎结果页面,并且这些结果页面上对锚链接都以nofollow进行了控制。
分析外链数据的主要目的是,找出垃圾外链,主动去封堵垃圾外链可能对网站造成的恶劣影响。最终目标:
图注:这是早期定位到的问题,虽然提交了处理建议,但被程序员忽视掉,然后在最近突然爆发出来,因此即使小问题,也应当引起足够重视(由于发生后处理及时,没有出现过于严重的问题)
图注:简单去重后,我们依然可以大致浏览一下。
1、定位出垃圾域名。
D 在robots.txt声明,不允许抓取
权重比较高的网站的站内搜索,一定要注意antispam(反垃圾)。如果不加以防范的话,一旦被黑客利用,那么可能会造成大量搜索页面被百度抓取,黑客利用高权重网站的资源,快速做好黄赌毒行业的关键词排名。但是这对于我们网站来说,则是噩梦般的打击。不作处理的话,可能会导致如下几方面的问题:浪费大量的蜘蛛抓取配额,去抓取垃圾页面;垃圾页面被搜索引擎收录,网站词库被黑客污染,使得网站的行业词和品牌词排名不理想;对网站形象造成损失……等。
(只是结合例子中,如果有其他相似功能的工具,请结合自身习惯使用即可)
这里,我会重点讲解第一点;第二点比较简单,我会讲解得比较粗略。
好吧,说干就干。
然后把原始sheet中剩下的数据进行去重(空白行),得到剩余的链接信息。
我们之所以要这么辛苦地找出垃圾外链,目的就是要把这些垃圾外链的域名记录下来,避免这些垃圾域名被黑客重复利用,拿去制作新的垃圾链接,从而在第一时间拒绝掉这些垃圾外链,使百度蜘蛛从垃圾外链访问我们网站上内容时,无法获取到任何信息(也就是返回404状态码,被识别成死链),久而久之,这些垃圾域名的权重就会越来越低(因为导出了死链,影响搜索引擎的正常抓取工作),这样我们不仅保护了自己,也惩罚了敌人。
图注:下载得到的表格文件(csv逗号分隔符)
1、本文的主要内容有哪些呢?
内部死链,就是我们网站上出现的,由于种种原因使得百度蜘蛛抓取链接时,无法获取到内容而被识别的死链。大部分情况下,对于我们来说,这种死链是可以通过一些方式进行避免的,因此是可控的。同时,由于链向死链的页面,都是我们网站上的页面,并且链出了死链的页面,对搜索引擎非常不友好,所以不及时处理的话,极有可能使搜索引擎无法顺利地对网站上有价值页面进行抓取,从而间接导致“局部降权”(抓取一些页面的周期变得越来越长,快照更新缓慢,排名上不去之类)。
功能:一键打开剪切板中存在的URL。(注意URL中只能有英文数字标点,如果有中文可能无法被识别)。快捷键:alt + shift +K(先复制好单个或者多个URL)
首先,我们可以快速浏览一下,进行直观判断,这些页面大部分是什么页面呢?
我们把数据按照一定逻辑关系分成了四类,分别是【外部死链】【垃圾链接】【百度】【子域名(也属于内部死链)】
copy *.csv..\ok.csv
2、处理站内可能存在问题的页面。
然后,我们需要对黑链进行筛选。黑链的数据,一般需要先从网站日志中分析得到(这样是最全面的,为了保证效率,会需要使用到shell脚本来自动运行,但是涉及篇幅过多,我将在以后的专题中进行讲解)。
内部死链问题比较严重,所以应当优先处理内部的死链。
经过与技术部门沟通,我确认到该类问题出现的原因,主要是我们网站的服务器之间同步数据时不成功,或者服务器之间连接偶然断开所致。这类问题暂时难以避免,因此只能让技术人员将因为这种情况出现的404(永久不可访问)状态码改为返回503(临时不可访问)状态码了。
然后,你就可以复制下这些URL,然后到火狐浏览器中,用我们之前安装好的Launch Clipboard插件,使用其快捷键alt + shift +K批量打开上图中的链接,然后我们的火狐浏览器就会自动把这些文件下载存储到我们指定好的位置。
B 页面上的TKD等关键位置,不对搜索词进行调用
C 指定敏感词库过滤规则,将敏感词全部替换为星号*(有一定技术开发要求)
接下来的处理会使用到一款小工具,来快速获取这些链接的主域名。
站长之家(Chinaz.com)注:网站链接分析,源于对Web结构中超链接的多维分析,是网站优化运营中不可缺少问题诊断方法。百度站长平台也推出其官方的链接分析工具。那么,我们该如何利用好百度站长工具的链接分析功能,来定位网站可能存在的SEO问题呢?
【表格处理】:Microsoft Office 2013 Excel
内链死链(子域名A指向子域名A)和链出死链(子域名A指向子域名BCD……),一般来说比较容易分析,我们来针对链入死链(子域名BCD……指向子域名A)来进行一些批量处理吧。
图注:筛选数据、复制到新的sheet中,删除原始sheet中的筛选数据,来分类数据
进行以上处理,可以解决掉大部分站内搜索页面(不局限于该类页面,甚至其他的页面只要不希望搜索引擎抓取以及建立索引的话,都可以这样处理)容易出现的问题。
如果不输入cd空格的话,会报错,如下图。(cd的意思是跳转目录到指定目录)
1、找到垃圾外链的域名,进行防盗链处理(针对来源为垃圾域名的,直接返回404状态码);