apache将搜索引擎抓取日志记录到独立的日志文件

Linuxlinyu520 发表了文章 • 0 个评论 • 4214 次浏览 • 2016-10-17 21:13 • 来自相关话题

我们做SEO的时候,常常希望知道搜索引擎爬虫什么时候光顾了我们的网站,这时我们就可以同下面的方法,将搜索引擎的抓取日志单独放在一个日志文件中。 1、 识别搜索引擎: 在“/etc/httpd/conf/httpd.conf”文件“LogFormat”前面添加如下内容,用来判断是蜘蛛抓取还是真实用户访问:SetEnvIfNoCase User-Agent "(Googlebot|Mediapartners-Google|Baiduspider|MSNBot|sogou spider|S 查看原文 »

linux进程资源占用高原因分析命令

Linuxlinyu520 发表了文章 • 0 个评论 • 4293 次浏览 • 2016-10-17 18:46 • 来自相关话题