揭秘!学会网站日志分析,掌握网站SEO情况的方法

作为一名seoer,对网站日志分析是必需要掌握的一项基本的技能。网站日志的分析和诊断就像在网站上看医生一样,通过日志分析可以分析爬虫抓取页面有效性、网站里面是否存在错误或者蜘蛛无法爬取的页面等,让我们可以更清楚地了解网站的健康状况,这有助于我们更好地做网站的SEO优化。今天,重庆SEO就给大家来带关于网站日志怎么分析的方法!

一、什么是网站日志
通过百科我们也可以了解到,所谓的网站日志指的就是记录web服务器接收处理请求以及运行时错误等各种原始信息的以log结尾的文件。这里站长们要注意的是文件以log为后缀,只需将其下载下来使用工具分析即可。

二、网站日志的基础用途

1、网站日志可以为我们做什么?
(1)可以分析爬虫抓取页面有效性(减少搜索引擎在一些噪音页面上:重复页面,低质量页面,空内容页面,404页面,不排名页面 的抓取频率)
(2)排查网站页面中存在的404错误页面,500服务器错误等
(3)页面重要内容是否被爬虫完整爬到并且快速遍历
(4)正确分辨蜘蛛爬虫

2、常见HTTP状态码解读
(1)200代码,表示蜘蛛爬取正常
(2)404代码,访问的这个链接是错误链接
(3)301代码,永久重定向
(4)302代码,表示临时重定向
(5)304代码,客户端已经执行了GET,但文件未变化。
(6)500代码,表示网站内部程序或服务器有错

3、常见网站蜘蛛有哪些
(1)BaiDu Spider:即是代表百度搜索引擎蜘蛛,从上图可以看到尹华峰SEO博客的搜索引擎爬虫来自百度,占比52%
(2)Sogou Spide:代表搜狗搜索引擎蜘蛛,访问次数虽少,但是抓取总量却很大,这让博主发现了其中的猫腻,原因就是本站某个栏目被人攻击,挂了大量给搜狗搜索引擎蜘蛛抓取的黑链。
(3)谷歌蜘蛛:表示Google搜索引擎蜘蛛,做谷歌SEO的站长需要多加注意。
(4)Alexa Spider:代表网站全球排名搜索引擎蜘蛛,该爬虫主要分析网站的访问流量,并统计网站全球排名,当前本站在全球排名610481位。
除此之外,其实还是有其他搜索引擎爬虫的,如Yahoo蜘蛛、360Spider等。

三、网站日志怎么获取
不同的服务器和虚拟主机存放的log文件位置还是有一定差别的,但一般获取方法还是比较简单的,例如服务器安装的是宝塔面板(一种常见的云服务器中一键安装的WEB环境面板,十分合适新手SEO使用),网站日志文件存放在文件-wwwlogs文件夹中,找到对应网站的log文件然后下载下来。

注意:这里有一个重要问题。网站日志强烈建议将小型企业网站和页面内容较少的网站设置为一天。默认为一天。如果将多个内容或大型网站设置为每天生成一个文件,则每天只生成一个文件。这个文件会很大。有时当我们打开电脑,它会导致。如果机器崩溃,您可以找到空间商来协调设置。

四、网站日志分析工具
这里重庆SEO推荐使用《光年日志分析工具》,理由有几点:
1,这是第一个专门为SEO设计的日志分析软件。以前的很多日志分析软件,都是顺带分析一下SEO方面的数据,而这个软件里面分析的每一个指标都是为SEO设计的。而且很多的分析维度,都是其他日志分析软件没有的。这能让你看到很多非常有用、但是以前获取不了的数据。
2,它能分析无限大的日志,而且速度很快。很多的日志分析软件,在日志大于2G以后,都会越来越慢或者程序无响应。而这个软件能分析无限大的日志,并且每小时能分析完40G的日志。这对于那种需要分析几个月内的日志、以及要分析几十G的大型网站的日志都非常有帮助。
3,能自动判断日志格式。现在很多的日志分析软件,对Nginx或者CDN日志都不支持,而且对日志记录的顺序都要格式要求。而这个软件就没有这么多的限制,它能从日志中自动检测到哪个是时间、哪个是URL、哪个是IP地址等等。
4,软件容量小、操作简单、绿色免安装版。这个软件不会动不动就几十M,现在软件还不足1M,可以用邮件附件非常方便发出去。 软件的操作也很简单,三个步骤就可以。 还有就是软件不需要安装,是绿色免安装版。

五、通过分析网站日志我们可以得出的结果
1、我们可以直接的查看哪些页面被爬行抓取了,哪些没有。随着算法的不断更新,新站的考察期越来越长了,以至于好多新站长更新的文章通过site:域名,查收录都没有显示。这大部分是因为搜索引擎滞留了没有及时释放。

2、我们可以通过客户ip辨别站点安全信息及文章内容质量怎样 著作权归作者所有。
根据不同的IP我们可以分析网站是个怎样的状态,以下常见的百度蜘蛛IP:
(1)123.125.68.*常来,别的来的少,那么站点进入沙盒,或被者降权的可能性非常高。
(2)220.181.68.*每天只增加没有减少,则是进入沙盒或者被降权的预兆。
(3)220.181.7.*、123.125.66.* 搜索引擎开始要抓取东西。
(4)121.14.89.*摆脱了新站考察期。
(5)203.208.60.*站点开始不正常。
(6)210.72.225.*这个ip段不间断巡逻各站。
(7)220.181.108.*高质量文章内容页或首页抓取。

结语:通过网站蜘蛛日志分析,SEO站长可以很好自查诊断网站是否出现问题,不仅可以了解网站的健康状况,通过抓取量还可以进一步了解搜索引擎蜘蛛的爱好,清楚网站内容运营的重心之所在,也可以起到很好的指导作用。

未经允许不得转载:重庆SEO » 揭秘!学会网站日志分析,掌握网站SEO情况的方法

赞 (0) 打赏

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

微信扫一扫打赏