最新消息:建议添加本博客到收藏夹,方便您下次查看哦

湖南长沙seo:抓住蜘蛛的来访踪迹

seo工具 admin 214浏览 0评论

一个网站的文章是否被抓取,是否能够有排名,和蜘蛛的抓取是分不开的。这个时候我们就会有很多的疑问了。比如:那么我们怎么知道蜘蛛是抓取了目录?抓取了哪些页面?蜘蛛访问的频率怎么样?等等有关蜘蛛来访我们网站的信息。如果我们能够获得这样的一些信息,那么对于我们分析蜘蛛对我们网站抓取的重点,对我们网站的喜爱程度等等方面都是很有帮助的。那么我们该怎么获取到这些信息呢?答案是从日志中获取,蜘蛛来访我们的网站是有记录的,通过这些记录,我们就可以抓住蜘蛛的来访踪迹了。湖南长沙seo建议,通过光年seo日志分析工具来分析日志,可以很方便地获取到蜘蛛的来访踪迹。这里博主来做一下总结。

湖南长沙seo:抓住蜘蛛的来访踪迹

一、工具地址

这是一个绿色软件,不需要安装即可使用,下载链接在文章末尾。

 

二、使用工具

①获取到日志文件,这里以乐呵seo(www.leheseo.com)为例,找到今天的日志文件,下载下来,由于搭建的是lnmp,所以产生的是nginx服务器日志文件。

nginx日志文件

nginx日志文件

②打开光年seo日志分析工具。

③新建分析任务,点击左边那个文本图标。

④根据提示,一步步操作。过程中,选择下载下来的日志文件,作为要分析的文件。

⑤选择报告的保存目录,其实就是说,分析的结果放在哪里,在这里选择一个位置存放。

选择报告的保存目录

选择报告的保存目录

⑥按照步骤操作下去,就可以了。

 

三、对结果进行分析

可以看到分析结果主要有三个大的栏目,分别是:蜘蛛分析、搜索引擎分析、状态码分析。其中最主要的是蜘蛛分析,这里主要总结这个吧。

①概要分析,可以看到不同的蜘蛛访问的次数、总的停留时间(小时)、总抓取量。比如百度蜘蛛,来访2次,总停留时间为0.001小时,总的抓取量为28,占据所有蜘蛛的比例为39.437%。

概要分析

概要分析

②目录抓取,还是以百度蜘蛛为例,从下图可以看到百度蜘蛛今天(2019/02/14)抓取了哪些页面。

目录抓取

③页面抓取,可以看到蜘蛛具体抓取了哪些页面。

④可以看到一个具体的蜘蛛(以ip标志)的抓取总量、访问量、停留时间。

从②和③可以看到网站的哪些页面和目录比较受蜘蛛的喜欢,那么我们优化的时候就会有侧重点了。

关于获取蜘蛛的踪迹的总结就到这里了,使用了工具之后,是会方便很多的。所以湖南长沙seo建议在获取蜘蛛踪迹的时候,尽量使用工具,比如这里推荐的光年seo日志分析工具就很好。分析到此结束了,希望能帮到你哦。

seo日志分析工具下载地址:https://pan.baidu.com/s/1t989iIb5HvRtQ3VT1qRlCw 提取码:bu8b

如有疑问,可以在下方评论留言哦。

原创文章,作者:乐呵seo,如若转载,请注明出处:http://www.leheseo.com/seogongju/896.html
发表我的评论
取消评论

表情