最详细火车头数据采集系统DedeCMS发布文章攻略
搜索引擎不喜欢复制的东西更不喜欢数据采集,但有时候遇到一些情况,比如网站由于改版、换数据库、换管理程序等,需要把网络数据采集或网站备份。提醒各位:
①做任何操作之前一定要备份数据库并打包原站;
②对排名较好的网站不建议对网站管理系统进行这样大的修改;
③对新站不建议采集别人网站的信息,会降低新站特殊权重给分。
前段时间做一个老网站的改版方案,由于管理系统和数据库都更换,决定采用对原网站数据采集的解决方案。新手进行网站改版需要掌握的建站知识和SEO知识是非常多的,这些经验拿来跟大家分享。
网站基本情况这个站原来有排名,收录量也比较多,优化也比较好,制作风格和吖七很相似,代码简洁,前端大气,标签运用还可以,只是网站优化方法带点黑帽。用的asp程序后台,数据库是access,要换成php,数据库是mysql。网站改版用的软件工具-EditPlus或DreamWear(代码编辑器);-APMServ(本地ASP、PHP环境);-FiddlerWeb汉化版(web数据抓包);-火车头(LocoySpider)采集7.6(破解稳定版、数据采集);-DedeCMSV5.7(后台内容管理程序);-其他辅助工具。网站借助火车头采集改版详细步骤1.本地环境搭建、安装DedeCMS、安装Fiddler Web抓包工具、安装火车头采集7.6等软件安装方法很简单,相关文章《本地安装PHP环境 测试织梦CMS》,《如何安装dedecms织梦详解》。
提供部分软件下载链接:http://pan.baidu.com/s/1qXSaMOs 密码:3n7e2.火车头设置(重点内容)官方说明较简单,新手采集网站数据一定要多看多实践。打开火车头采集工具,新建一个任务和分组。
第一步:采集网址规则
①起始地址。即提取分页规则,按照下图依次:点击添加-点击批量/多页-输入地址格式,比如我要采集的地址列表有,即是:
http://www.123.com/case.asp?page=1&SmallClass=1http://www.123.com/case.asp?page=2&SmallClass=1http://www.123.com/case.asp?page=3&SmallClass=1看得出变量是1,2,3...采用通配符写法就是
http://www.123.com/case.asp?page=(*)&SmallClass=1选择等差数列的项数为所要采集的列表数量,根据实际情况写。依次点击添加
再依次点击添加-完成-关闭。
②多级网址获取。即获取某个分页的URL地址列表。在任意一个目标列表中,鼠标右键-查看源代码,一般来说有基础的同学就不必多说了,实在不懂的网上资源也多。找到特征代码片段,按下图写好,保存即可。
点击测试网址采集,确保列表采集规则正确后,进行第二步。