各位站长友人通常都会给自己的网站装置cnz
　　Z、百度统计等站长统计工具，可是，这些站长统计工具不会记录网络蜘蛛的爬取情况。一些站长友人通常会用日志剖析工具对网站日志剖析蜘蛛爬取情况。我个人认为，可能大局部站长对网站日志的统计剖析进程中，忽视了一些小的细节，下面就列举两条：
  
　　一、网站日志文件应当按拜访量多少，来判断是否须要按小时生成。
   我的一个站长友人，网站是每天生成一个日志文件，前段时光他加入了电商圈竞赛，网站排名坚持在首页，每天的流量有上千IP，每天的网站日志文件大小大概50M左右，有点杯具的是他的电脑旧了点，一打开网站日志文件不是没反应就是逝世机。他只好通过网络把日志传给我，让我帮着剖析一下，50M的文件诚然不大，问题是他用电信网络，我用网通网络，在传日志的时候经常杯具。50M的日志文件，我用的日志剖析程序也经常数据溢出、瓦解，无奈只好用文本编辑打开查看，面对密密麻麻的日志文本，统计剖析这些数据切实十分十分艰苦。所以，倡导网站拜访量比较大的站长友人，最好按小时生成网站日志，诚然生成文件多了点，但更有利于网站日志的剖析。
  
　　二、网站日志记录的信息实际并不完全。
   不晓得各位站长友人，有不留神到，网站日志里很少出5xx的返回代码。例如，500返回代码表示服务器内部错误，503返回代码表示服务不可用。各位站长友人都晓得，5xx返回代码个别象征着网站服务器出了故障，个别情况下，服务器出了故障是无奈生成网站日志的。换个说法，当网站服务器宕机了，或者dns解析不了，所有人都无奈拜访，蜘蛛也无奈拜访，在这段时光里，网站日志判断是无奈记录任何信息的。为了更好的监控网站情况，我个人倡导大家去注册并利用谷歌站长治理工具，可能有效的记录服务器拜访错误信息。
   以上两点，是我个人对网站日志剖析进程中想到两点小问题，盼望可能抛砖引玉，欢送各位站长友人拍砖。