当前位置: 手机蛙 > 好文分享 >

看网站日志,百度蜘蛛来的时候更新文章...

关键词:百度蜘蛛日志,网站日志查看 添加时间:2017-05-17 11:21
    做seo优化的人很多,但是每天坚持去看网站日志的很少,因为日志里密密麻麻的英文,让人看的的头疼,但是你不可忽略一项百度蜘蛛,还是需要重点关注的,因为从百度蜘蛛的爬行轨迹,爬行频率,很容易判断你网站的优劣,对我们的关键词排名有很大的参考意义,今天小编来说说从网站日志的那些重要东西。

    网站日志中百度蜘蛛爬行
    如果你是用虚拟主机,可以通过FTP登录db这个目录,下载日志文件txt,或者是vps上的,直接远程登录,找到日志存放所在的目录,一般是一天一个日志文件,前提是你在iis设置每天生成日志文件即可,一般小型网站日志文件都不会太大,不会占用大的空间,大型网站就另当别论了。

    如何分析蜘蛛日志
  
  如下图打开的一个日志文件,其中的一段代码 61.135.168.22 - - [11/Feb/2014:04:02:45 +0800] " wangzhan/268.html HTTP/1.1" 200 8450 "-" "Baiduspider+(+http://www.baidu.com/search/spider.htm)。

    百度蜘蛛日志文件分析

   61.135.168.22:来路IP,也就是说这个用户或者蜘蛛进来我们网站的IP是多少
   11/Feb/2014:04:02:45:时间2014年2月11日早上4点02分45秒。
   
wangzhan/268.html蜘蛛访问的页面,加上网站的主域名如:www.sotuiwang.com/wangzhan/268.html
   200:状态代码,200表示正常访问,404表示网页不存在,503表示服务器错误。
   8450:表示总共打开加载了8450个字节。
   Baiduspide:表示百度蜘蛛,常见的还有Googlebot 谷歌蜘蛛,360Spider 360蜘蛛,sogouspider 搜狗蜘蛛。

    查看目录的抓取数量
    通过抓取总量的分析可以对比出网站哪个目录更受搜索引擎的关注,一般来说蜘蛛抓取越频繁的目录,site网站此目录的排名会相对靠前,我们也可通过目录的蜘蛛访问量来适当调整目录的结构,对于那些抓取压力较大但是不怎么重要的目录也可适当缩减链接入口,以免阻碍给其它重要目录的抓取。


    查看页面的抓取数量
    可以从中看出哪个页面蜘蛛是否抓取了一些没有被收录价值的页面,或者老是重复的抓取了这些页面等,那么同理要先采取措施予以频闭,要么是运用到nofollow标签,要么是robots文件等,这样就会降低因为搜索引擎抓取到大量相关性低或者质量度差的页面而影响到页面的权重传递这样的不利影响。

    查看蜘蛛的来访时间
    通过对网站日志的观察,可以查看蜘蛛的来访时间,主要是百度蜘蛛,这样就可以在来访时间多多更新原创文章,让蜘蛛快速的吸收爬取新鲜血液,这样可以大大的提升自己网站的收录量,有时甚至会出现秒收的效果,当然关键词排名也能够快速获得提升。

    做seo运营网站分析日志是一个非常有意义的事情,要不然你每天发的外链,加的原创内容都得不到效果反馈,很容易走入弯路,特别是网站刚刚建立起来或者运营碰到问题的时候,非常值得参考,好多网站为了迎合蜘蛛爬行,还特意首页留了网站地图入口,也是非常有好处的,如果你哪天网站目录繁杂,流量很多情况下,也可以找找一些免费或者收费的日志分析工具,可以大大提示分析效率。