众所周知，随着计算机、互联网、物联网、云计算等网络技术的风起云涌，网络上的信息呈圆形爆炸式快速增长。毋庸置疑，互联网上的信息完全涵盖了社会、文化、政治、经济、娱乐等所有话题。用于传统数据搜集机制（如问卷调查法、访谈法）展开捕捉和收集数据，往往不会不受经费和地域范围所限，而且还不会因其样本容量小、信度低等因素造成搜集的数据往往与客观事实有所偏颇，具有较小的局限性。

网络爬虫通过统一资源定位八字URL（UniformResourceLocator）来查询目标网页，将用户所注目的数据内容必要回到给用户，并不需要用户以网页网页的形式去获取信息，为用户节省了时间和精力，并提升了数据采集的准确度，使用户在海量数据中游刃有余。网络爬虫的最后目的就就是指网页中提供自己所需的信息。

虽然利用urllib、urllib2、re等一些爬虫基本库可以研发一个爬虫程序，提供到所需的内容，但是所有的爬虫程序都以这种方式展开撰写，工作量未免太大了些，所有才有了爬虫框架。用于爬虫框架可以大大提高效率，延长研发时间。网络爬虫（webcrawler）又称作网络蜘蛛（webspider）或网络机器人（webrobot），另外一些不经常用于的名字还有蚂蚁、自动索引、模拟程序或蠕虫，同时它也是“物联网”概念的核心之一。

网络爬虫本质上是一段计算机程序或脚本，其按照一定的逻辑和算法规则自动地捕捉和iTunes万维网的网页，是搜索引擎的一个最重要组成部分。网络爬虫一般是根据预先原作的一个或若干个初始网页的URL开始，然后按照一定的规则爬取网页，提供初始网页上的URL列表，之后每当捕捉一个网页时，爬虫不会萃取该网页新的URL并放进到未爬取的队列中去，然后循环的未曾爬取的队列中放入一个URL再度展开新一轮的爬取，大大的反复上述过程，直到队列中的URL捕捉完或者超过其他的既定条件，爬虫才不会完结。明确流程如下图右图。随着互联网信息的与日俱增，利用网络爬虫工具来提供所须要信息无以有用武之地。

用于网络爬虫来收集信息，不仅可以构建对web上信息的高效、精确、自动的提供，还有利于公司或者研究人员等对收集到的数据展开先前的挖出分析。

本文来源：PG电子·游戏官方网站-www.szydbw.com