凶险、罪恶还是自由？暗网到底是什么？

经典的互联网模式是每一台设备上都有自己的数据，联网的目的是交换数据，而不是到一个中心去发送和接受数据。用更形象一点的说法，联网的目的是我可以给你发送消息，但不是联网之后到微信发一条消息给你。于是世界各地都有人在号召建立所谓的DIY网络，就是临近的社区居民通过自己架设线路，或者使用无线中继的方式，大家自主联网，不通过运营商接入，也不接入互联网。这样的网络社区曾经在世界各大城市都存在过，但随着互联网的发展，越来越少的人愿意接受这么麻烦的方式，所以这样的社区一个个消亡了。到今天只在很少的几个城市还存在，比如旧金山，多伦多，蒙特利尔…都还存在小规模的“混合网络”，即互联网和私人网络混合接入的模式。

早期DIY网络的拥护者中很多是因为上网费用过于昂贵，现在参与者则很多是为了“网络中立”，网络中立是另外一个话题，这次先不展开讨论，只说一个案例。2005年，加拿大三大运营商之一的Telus封杀了加拿大电信行业工会下属的一个网站，理由是对方号召罢工，会影响用户的电信使用。这个事件引起了强烈的社会反映，人们关心于运营商是否可以按照自己的好恶封杀网站，如果可以的话，运营商岂不是成了互联网世界权力最大的公司？这个事件最终成为了奠定加拿大网络中立原则的里程碑之一，但它带来的额外思考是依赖运营商联网的模式是不是正确的，人们是不是应该维护一个完全不依赖运营商的自建网络。基于类似的担心，无数小规模的自建网络仍然存在和活跃，这些网络也都是暗网的一部分（Darknet）。

在运营商这个层面之上，人们还有更多的担心。比如，离开网盘我们是否还可以交换文件，离开微信我们是否还可以发送消息，离开几大搜索引擎我们是否还可以检索信息？按照现在商用互联网席卷一切的状态看，答案很可能是“不能”，至少对大多数人是不能。另外一些人为了避免对几大互联网服务商的依赖，开始寻找其他去中心网络的解决方案。比如在自己家里的NAS上搭建owncloud来代替网盘，用BT软件来和朋友分享大文件（注意BT是合法软件，它可以传递任何文件，而不是仅仅能用来下载盗版电影），自建聊天服务器…这些服务通常也建立在VPN连接的虚拟网络上。还有更高级的应用，一些朋友甚至通过VPN把自己家里的局域网和朋友家的连起来，互相利用对方的计算机做数据备份，访问对方局域网上的资源和协作。这个过程有点像过去ARPANET建立的过程，只不过没有物理联网的麻烦，而是在普通商用互联网上再建立一层虚拟网络完成的。在这些网络里面，服务提供者也是参与网络建设的成员，最理想的情况是所有参与者都负担一部分流量和存储，这样就形成了真正的去中心网络，不用担心一个中心被破坏之后损失数据或者导致服务停止。这是更符合最初互联网设计的模型。

今天还在使用和建立Darknet的人，大多数是极客。他们只是为了自己的方便和防备不时之需而架设这些网络，比如在我自己的案例里，商业服务很少能提供我需要的ZFS快照备份，我只能把我家的局域网和朋友家的连起来，使用各自局域网上运行的FreeBSD服务器互相保存快照备份。考虑到所有自建网络、基于VPN的应用，各种P2P文件分享应用，都算作Darknet的一部分，它承载的流量巨大并不奇怪，但这个流量巨大和犯罪活动没有关系。如果追究的细致一点的话，Darknet上最大的违法活动应该是下载盗版影视和软件，但这种活动在中文互联网太普遍了。

二 Deep web 深网

Deep web是另外一种划分方式。它跟Darknet有一部分重合，但关注的方向不一样。Deep web指那些不能被搜索引擎直接检索到的页面，这个词出现的比较晚，是通用搜索引擎普及之后的年代才有的。移动互联网发展之前，搜索引擎是最大的流量入口，在那个时代，人们甚至认为“在搜索引擎里面搜索不到的网页，就几乎可以被认为不存在了”。没有搜索引擎的指引，人们无法从天文数字的网页中找到自己所需的那个。于是因为各种原因无法被搜索引擎索引的页面，就构成了另外一个隐藏的世界。如果把被搜索引擎索引的页面看作表层网络，那么不能被检索的就是水面之下的深层网络，Deep web（深网）这个概念就来自这个意义。

就算在搜索引擎是最大的流量入口的年代，仍然有很多网站不愿意被搜索。有的是小型私人兴趣社区，不愿意被外人干扰，有的是技术原因，比如内容放在Flash里面或者完全用Javascript渲染，搜索引擎的爬虫无法解析，但站长也不想改版。另外一些是因为权限、安全、法律、利益等原因。比如前面说的那种运行在互联网上的办公系统，这种内容是需要对应的权限才能访问的，不该被无权限的人看到，也就不能被搜索引擎收录。如果真的不小心被收录了，那就是权限系统出漏洞了，匿名用户也可以浏览，这是重大安全事故。

出于利益的争端更有趣， 比如几乎所有的SNS系统都不愿意让搜索引擎检索，他们希望把用户留在自己的生态圈之内， 如果要检索内容，他们希望用户通过自己的站内搜索代替。Facebook通过设置默认权限来禁止Google检索它的大部分页面，twitter曾经和Google有协议，允许google索引它，但是到期之后协议就不再继续了。淘宝和天猫几年前禁止百度索引，一直到最近才开放了一小部分页面给百度…这些内容都没法被通用搜索引擎索引，都算是深网的一部分。

在搜索引擎发展的年代，网页逐渐替代了软件占有了更多内容，必须使用软件客户端访问的服务只占了很少一部分，搜索引擎没法索引这些软件中的内容，也不是太大问题。但在移动互联网之后，整个形势发生了变化，越来越多的内容被封闭在App之内，搜索引擎无法检索，这些App形成了一块块互相不连接的领地，传统的互联网Web的“页面-链接”体系完全崩溃了。最典型的例子比如微信朋友圈，上面的照片和文字都没法被搜索引擎检索，即使当事人希望其他人可以搜索到，也无能为力。这些内容也沉积在了深网中。