基于Spider的Web网页搜索引擎的结构分析和优化

搜索引擎的基本结构是由Spider不停地从Web网上收集数据，存放在搜索引擎的数据库中。为了提高搜索结果的质量和搜索速度，需要对Spider的行为进行优化和控制。用户通过搜索引擎服务器上的Web接口，提出搜索请求，Web Server通过CGI或其它技术访问数据库，并将用户的搜索请求转换成相应的数据存取语句，送给数据库引擎处理，并把查询结果通过网页显示给用户。网络搜索的基本原理是通过网络机器人定期在web网页上爬行，然后发现新的网页，把它们取回来放到本地的数据库中，用户的查询请求可以通过查询本地的数据库来得到。