爬虫技术是什么意思？

也叫网络机器人，网页蜘蛛
通俗的讲，就是根据人的需求，在网络中寻找需要的信息，就像一只蜘蛛一样在网络中爬来爬去，不断寻找需‌​​‌‌‌‌​‌​‌​‌​​​‌‌​要的信息
网络爬虫有善意的，比如搜索引擎的爬虫，就是寻找有用的信息等着你来检索，这被认定为善意爬虫
有恶意的，比如抢票软件的爬虫，对网站每秒进行大量检索，这就被认定为恶意爬虫
这个的区分是看被扫描网站的，被扫描的网站觉得此行为为恶意的，他就是恶意爬虫