网络犯罪与安全：爬虫技术的运用和法律风险防控

   网络爬虫(又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者)，是一种“自动化浏览网络”的程序，即按照一定的规则，模拟人工点击，自动地抓取互联网信息，比如网页、文档、图片、音频、视频等。简单说，这种程序的运行可以实现自动的、高效的读取、收集网络数据。网络爬虫的应用场景具有多样性，最为普遍的是利用爬虫程序读取数据的搜索引擎，以及电商系统中的价格比较工具。总体上来说，网络爬虫是根据爬虫编写者的意志行事，目的在于获取某项网络数据。网络爬虫作为获取数据的一种技术手段，其本身具有中立性，未被法律所禁止。

   网络爬虫技术不是秘密窃取数据，如果没有经过被采集信息主体的授权便登陆其网页或者存储系统读取数据或清洗数据的，该项技术也不叫作爬虫技术，叫做黑客技术。

   爬虫技术是数据读取中其中一个很重要的技术。根据国家标准《GB/T 37721-2019 信息技术 大数据分析系统功能要求》要求3.1中的规定:“在大数据存储和处理 系统提供的原始数据和计算框架的基础上,集成了一系列数据分析生存周期过程中所用工具的系统”。而在进行数据分析前，第一步就是进行数据的读取。

    举几个爬虫技术生活中的例子:你每天使用的百度，其实就是利用了这种爬虫技术:每天放出无数爬虫到各个网站，把他们的信息抓回来，然后存储在数据库中等你来检索。又比如抢票软件，它就相当于撒出去无数个分身，每一个分身都帮助你不断刷新 12306 网站的火车余票。一旦发现有票，就马上把数据抓取下来，然后通知你来付款。

   爬虫技术作为中立的技术手段，好比做是一把刀，技术本身是无罪的，但是使用技术的具体目的、具体行为以及所产生的社会结果，会影响使用爬虫手段行为的合法性与否。

   如何判断使用爬虫技术行为的合法性与否可以参考以下三点：

1. 是否有权获取(如支付宝、通信记录、社保等信息)经过用户合法授权，爬虫软件是通过模拟用户操作登入所授权网站，是经授权合法进入，而非“侵入”或“采取其他手段”破解系统安全；

2.是否公开信息(如公检法信息)在网上可以经用户随意查阅。爬虫软件仅能获取网页所显示的公开信息。

3.是否没有经过被采集信息主体的同意将其在网上的公开信息的数据通过爬虫技术进行数据提取和清洗？如果没有经过同意又将其爬取的信息或者数据用于不正当用途，比如售卖给竞争对手做不正当竞争，比如出售公民个人信息，其行为具有违法性。

    结合《GB/T 37721-2019 信息技术 大数据分析系统功能要求》行业规范规定和《网络安全法》第22条和第41条之规定，网络服务提供者在向用户明示并且取得同意收集齐用户信息功能的，可以结合数据准备模块功能具体要求对数据进行抽取、清洗、转换或加载，也就是说用户只要同意授权网络服务提供者、网络服务运营者提取其个人信息，可以使用机器收集的形式进行收集。

   网络运营商合法地使用爬虫技术需要做到以下几点：

1、制定《服务协议》或《用户信息采集协议》，对于信息采集的范围和用途予以明示，对于协议双方的权利和义务予以约定，格式化条款需要进行；

2、设置手动勾选☑️按钮，用户需要手动勾选后视为同意协议，不能设置默认同意；

3、一次授权一次使用，不能进行一次授权多次使用；

4、使用爬虫程序抽取信息后进行计算后需要进行数据的清洗，降低网络服务提供者的法律风险；

5、没有经过信息被采集者的同意，不得将使用爬虫程序获取的信息提供给第三方，不能超过《服务协议》所约定的范围进行数据采集、储存和使用；

6、未经被采集者同意，使用爬虫技术将网络上的公开的数据进行读取和清洗不一定会构成违法犯罪，但是将特定被采集者的数据使用爬虫技术后得到的数据结果用于牟利或者用于非法用途，即对特定自然人或机构进行人肉搜索，则有可能涉嫌违法犯罪。

7、如果网络服务提供者非法使用爬虫技术进行数据采集或者将采集的数据加工后未经被采集者的同意以牟利为目的出售给第三方，造成不同的危害后果的，将可能涉嫌侵犯公民个人信息罪、拒不履行网络安全管理义务罪等网络犯罪。