通用互联网爬虫的目的在整个网络中,爬虫从种子URL开始访问网页,采集当中所有超链接。
为了预防获得重复的URL,将爬取到的网页信息存储在原始数据库或队列中,然后对网页进行分析,并依据网页搜索方案爬取新URL。 重复上述过程,直到采集到的URL符合停止条件,则完成整个采集步骤。
通用互联网爬虫的运行原理是主题互联网爬虫的基础,主题互联网爬虫可以根据需要的信息目的明确的进行采集,初始 URL的获得是基于对抓取目的的概念与有关的描述,爬虫将定位在网络中与主题有关的页面中,分析网页来依据网页搜索方案预测链接的主题有关度,并确定继续爬取的URL优先级。
