搜索引擎蜘蛛又叫网络爬虫,是搜索引擎用于抓取互联网上的网页而开发的程序。该程序在互联网上爬行极像蜘蛛而被命名蜘蛛。我们做网站需要被搜索引擎收录必须要先被蜘蛛抓取过,下面来讲解一下怎么查看搜索引擎蜘蛛有没有来过网站。
搜索引擎蜘蛛又叫网络爬虫,是搜索引擎用于抓取互联网上的网页而开发的程序。该程序在互联网上爬行极像蜘蛛而被命名蜘蛛。我们做网站需要被搜索引擎收录必须要先被蜘蛛抓取过,下面来讲解一下怎么查看搜索引擎蜘蛛有没有来过网站。
下载光年日志分析工具,光年网络日志分析工具(GnAnalyzer)无需安装,下载下来就可以直接打开使用。
下载网站日志文件,日志文件在网站服务器里面,服务器控制面板上面可以下载,网站日志文件可以用FlashFXP下载,这个日志包含了网站所有访问记录。
打开光年日志分析工具,新建一个任务,如果每天分析数据,最好以日期命名任务名。
把刚刚下载下来的日志添加到任务里面,可以添加一天的数据,也可以同时添加多天的多个日志数据。
设置保存分析文件的目录,为了翻查数据方便,目录文件夹最好用日期命名。
确认分析数据。
分析数据之后,会自动弹出分析后的结果页面,可以很明显的知道搜索引擎蜘蛛有没有访问过我们网站,哪个搜索引擎访问了多少次,访问时长都有记录。