记录蜘蛛爬行日志代码(PHP)

记录蜘蛛爬行的日志格式如下:

爬行的时间,蜘蛛(搜索引擎机器人)类型,爬行目标页面,来自哪里

Time:2011-6-17 21:34:06 robot:Baiduspider pageURL:http://fanhefan.4430.0-168.com/index.php preUrl: URL:Mozilla/5.0 (compatible; Baiduspider/2.0; +http://www.baidu.com/search/spider.html)

Time:2011-6-18 17:45:16 robot:Googlebot pageURL:http://fanhefan.4430.0-168.com/index.php?paged=4 preUrl: URL:Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)

代码如下:


将include放到网站入口处,一般在INDEX.PHP中,请在相同目录下新建一个名为googlebot.txt的文档。

发表评论

电子邮件地址不会被公开。 必填项已用*标注