什么是蜘蛛_西安力洋网络

什么是蜘蛛

发布者:本站　发布时间:2012/11/28 22:34:27

网站与网站之间互相连接，所以才有了网络，才称为了互联网。是以搜索引擎基于这个原理发明了蜘蛛（spider）.或者也被称为机器人

（bot）.这是一个很形象的比喻，网站和网站的互联，就好比一只蜘蛛在结网，蜘蛛爬行的网站越多，织的网就越大。蜘蛛的作用就是依据

网站与网站的链接访问和爬行互联网上的网站。他的工作流程：搜索引擎的蜘蛛爬行到一个IP或者网址，当他爬行到这个IP或者网址的时候

首先要访问一个名为robots.txt的文件，这是一个网站站长给蜘蛛的一个指导性质的文件，他告诉了搜索引擎，是否允许被收录，不允许哪

些文件被收录。然后蜘蛛根据robots.txt的指示进行有序的爬行。这个时候蜘蛛会对域名或者IP网站的服务器发出一个访问这个网站网页内

容的请求，请求访问允许被收录的页面。网站所在服务器根据蜘蛛的请求,以HTML代码的形式反馈给蜘蛛请求页面。蜘蛛得到代码后，如同

蚂蚁搬家，将代码存入搜索引擎自己的服务器中的原始页数据库。

搜索引擎的蜘蛛名称：

谷歌:googlebot

百度:baiduspider

MSN:MSNbot

Yahoo:Slurp （雅虎的和其他的搜索引擎不一样，带着自己的名字，雅虎的是用一个拟声词命名。这个词是形容机器人在吃东西的时候发

出的声音，比较形象。估计科幻主题类型的素材没少看）

返回列表

深度挖掘网站的商用价值,化繁为简的设计,为企业找到直接有效的解决方案

	+86 (029) 88765320
	+86 15829904657

	地址：西安市太华北路369号
	万达广场4#23F P.C:7100001

	985224206@qq.com
	在线咨询：		985224206


首页服务关于联系案例支付资料地图	互联网协会成员单位


西安力洋之星网络技术有限公司 \| 版权所有 Copyright 2008-2020 Liyang.Inc All Rights Reserved.	Liyang.Inc