您的位置:主页 > 新闻中心 > 常见问题 >

网站怎么查看百度蜘蛛抓取日志?

日期:2017/03/12     阅读:    来源:优商网络公司
        网站日志,是服务器端自动生成的一个文本记录,详细记载了网站的访问详情,做为站长的你,如果是需要查看访问统计数据,那用51.la或者百度统计 工具就可以了,但是如果你想查看各搜索引擎的蜘蛛是否准时来爬行自己的网站,那就要学会自己查看网站日志文件了。
网站FTP目录

        结合网站做为一个实例来做一个介绍:

        首先利用FTP工具登录服务器端,一般在服务器根目录之下存在一个logs文件夹,这里面装的就是网站日志,当然不同的服务器类型,日志文件的文件夹名称和我介绍的不一样,但没关系,日志文件的扩展名是log。
        百度的叫baiduspider;
        谷歌的叫Googlebot;
        微软的叫bingbot;
        搜狐的叫Sogou web spider;
        腾讯的叫Sosospider;
        因为国内主要是以百度为优化对象,我们来看看关于百度蜘蛛爬行记录的信息分析,在日志记录中随便找一个百度蜘蛛的信息:
百度蜘蛛日志

        查看百度蜘蛛日志的方式:

        通过FTP,在网站根目录找到一个日志文件,文件名一般包含log,下载解压里面的记事本,这即是网站的日志,记录了网站被访问和操作的情况。
        因为各个服务器和主机的情况不同,不同的主机日志功能记录的内容不同,有的甚至没有日志功能。

        百度蜘蛛日志内容如下:

        61.135.168.22--[11/Jan/2009:04:02:45+0800]"GET/bbs/thread-7303-1-1.htmlHTTP/1.1"2008450"-""Baiduspider+(+http://www.baidu.com/search/spider.htm)"

        百度蜘蛛日志分析:

        GET/bbs/thread-7303-1-1.html代表,抓取/bbs/thread-7303-1-1.html这个页面。
        200代表成功抓取。
        8450代表抓取了8450个字节。
        如果你的日志里格式不是如此,则代表日志格式设置不同。
        很多日志里可以看到20000和200064则都代表正常抓取。
        抓取频率是通过查看每日的日志里百度蜘蛛抓取次数来获知。抓取频率并没有一个规范的时间表或频率数字,我们一般通过多日的日志对比来判断。当然,我们希望百度蜘蛛每日抓取的次数越多越好。
        在网站出现问题的情况下,通过查看网站日志,查看网站的HTTP返回值是否正常。
更多>>相关文章