搜索引擎蜘蛛是一种抓取网页内容到数据库的程序，因为该程序会在网络间不断的爬行，所以形象的叫网络蜘蛛。
大家都知道搜索引擎是靠蜘蛛的爬行来抓取网页内容的，搜索引擎蜘蛛是一套程序，其爬行是有规律的，下面就网站收录初期和网站收录稳定期来谈谈搜索引擎蜘蛛的爬行规律。
1.网站收录初期
搜索引擎蜘蛛首先找到网站主页，然后从源文件中分析你的内链，根据链接逐一的提取你的网页内容。这个爬行过程是需要一些时间的，搜索引擎蜘蛛会分不同的时间段进行爬取。如果搜索引擎蜘蛛一旦发现你网站有死链或打不开的网页，会会停止爬行。所以网站建设的初期，链接一定要掌握好，不能出现死链接。如果您的网站有足够多的内容，搜索引擎蜘蛛第一次来到你的网站发现有许多可抓取的东西，会给你网站留下一个好的印象。对你的网站评价也会高些
二.网站收录稳定期
网站被搜索引擎收录并稳定后，搜索引擎蜘蛛从首页进入，每次判断首页的内容是否改变了，如果与上次的首页相同就马上停止(对于如何判断搜索引擎蜘蛛是否来过您的网站，您可以通过下载网站日志来查看具体的情况，网站日志是记录用户访问和蜘蛛爬行的轨迹的，搜索引擎蜘蛛每次到访都有详细的记载)所以做网站的后期，也就是更新网站内容的时候，一定要让你更新的内容出现在首页。当然，更新的内容一定也要是原创文章，不能招办别人的内容，照搬别人的内容搜索引擎是不收录的，并且还会对您的网站进行降权处理。其次多和同类型的站交换链接。
搜索引擎蜘蛛在收录您网站的内容后经过一段的时间会放出收录的内容，但这些放出的内容是有限的，这时您需要持续不断的更新内容来吸引蜘蛛的到访，经过搜索引擎的考察期后，搜索引擎会将抓取的内容全部放出来，这时别人就能查询到您添加的内容了。
