揭秘深网和暗网：你所不知道的互联网

　　原创老吕IO

　　事物总有正反面，网络也一样，其中的深网和暗网(互联网中无法被搜索引擎抓取到的那部分网络)已经存在多年了，不过在IoE(Internet of Everything万物互联)时代，它可能会扮演更为重要的角色。

　　我们时常会听到有人提起一个不为人知的网络，也就是所谓的暗网。雷锋网之前也对暗网做过一次深度的剖析。

　　如果不是发生了一些大事(比如最近的丝绸之路2.0事件)，可能大多数人一辈子都不会听到暗网这个名词。不过现在这个情况正在慢慢改变，一旦IoE的进化得以实现，再加上各类渗透，暗网的融合趋势便不可阻挡，这将会给网络安全造成巨大的挑战。

　　那些熟悉暗网和其运行规律的人会得到更多的机会来开发表层网络。因为随着互联网的IoE化，数十亿设备之间会变的互联互通，甚至设备间会出现一些自主的交流。而我们所说的网络，不过就是建立在互联网上的信息共享平台，未来借助IoE我们获取信息的机会会呈几何级增长，这只是一个数学问题罢了。所以安全部门该行动起来了，思考一下该如何抵御暗网中黑暗力量的侵袭。

　　现在，让我们梳理一下网络所包含的元素。我们会深度探讨每一个元素，检验它们的指标，并理清它们与IoE的关系。

　　你以为网络只有一层?其实不然，它一共三层。

　　如果你愿意一层一层拨开网络的芯，你会发现其实它一共有三层：

　　表层网络: 这层网络就是大家平时熟悉和使用的网络，任何搜索引擎都能抓取并轻松访问。

　　深网：表层网之外的所有网络我们都称之为深网，搜索引擎无法对其进行抓取。它并没有完全隐藏起来，只是普通搜索引擎无法发现它的行踪。不过使用某些工具(也很容易获取)后访问它也不是什么难事。

　　暗网：暗网是深网的一部分，但被人为的隐藏了起来。如果不是技术大牛，你很难打入这个网络之中。它也是网络最臭名昭著的部分，许多你不敢想象的坏事就在这里上演。

　　图中海平面以下的部分都属于深网

　　表层网络

　　表层网就是我们所熟知的可见网络，不过其实它只占到整个网络的4%到20%，我们平时访问的就是这类网络。通过链接抓取技术我们就可以轻松访问这些网页。

　　谷歌、必应和百度等搜索引擎是我们访问这些网站的主力，除此之外我们不需要其它额外的工具或特殊的算法。总而言之，你通过搜索引擎获得的搜索结果都是已经存储在它们数据库中的超链接索引。

　　深网

　　深网与表面网是一对共生的兄弟，但它们的性格却恰恰相反，不过它也是整个网络平台的一个有趣的存在。这部分网络也有很多网页，但你需要多走几步才能发现它们的踪迹。暗网是深网的一个分支，平时这两个名词是可以互换的，不过它们也有差别，在下面的文章中我们会详细探讨，另外，它也是IoE不断发展的衍生品之一。

　　那么它到底是什么呢?举个简单的例子，美国国税局的网站就有深网的内容，如果你执行普通的操作，搜索跟税务相关的名词，那么它显示的结果就很普通。但如果你想看到些特别的内容，就需要用到关键字检索了。这些内容就是所谓的深网内容，是普通搜索引擎无法检索到的。

　　对于深网来说，那些可以访问的部分是没有秘密可言的。它只是我们平时所使用的表面网下薄薄的一层。

　　暗网

　　说完了深网，我们再来说说暗网。它是深网中更加邪恶的部分，不过令人吃惊的是，它的域名数量甚至是表面网的400到500倍。

　　暗网的内容被人为的隐藏了，它成了互联网最神秘的部分。这层网络有些是合法的，但有些却被政府暗地里用来搞一些间谍活动，还有许多都有着不可告人的秘密。

　　一般来说暗网都使用特定编码关键词技术，只有通过这一技术你才能摸着它的边缘部分。另外，你无法通过子域名链接到这类网站，任何的搜索算法都对它们束手无策。比如“/image/camaro_black.gif” ，它就是暗网的一部分，这个博客一直在更新，但公众无法看到它;或者它公开发表了一些博客，但你却无法对其进行引用。它一直都存在，但如果你不知道它特殊的URL，就永远找不到它。

　　另一种就是通过改变标题来改变网页。根据访问方式的不同，同样的标题下会隐藏着内容完全不同的网页，这样网页就一定程度上隐形了。

　　另外，虚拟网络也是暗网的一种表现形式，因为它同样需要借助特殊的软件进行访问。不过这种行为多数都是合法的，它满足了人们远程对公司网络进行访问的需求。不过也有人利用Onion Router (Tor)或者Invisible Internet Project (I2P)等工具通过虚拟网络对暗网的核心进行探索。

　　没有最暗，只有更暗

　　有些人表示大家在访问互联网时应该获得完全的匿名权，而Tor、 I2P和其他类似的工具就是为此而生的。在理想世界里，这可能很容易实现，但在现实世界里，使用这些工具可能就会让你的行为变得不合法同时还违背道德了;典型的例子就是毒品和黑市武器交易、人口贩卖和儿童色情。

　　有些人还利用他们做一些不法勾当，比如泄露敏感信息、洗钱、身份盗用和信用卡欺诈。这也是我们对IoE的担心之一。

　　普通人会做这些隐秘的勾当，政府可能也会做。利用这些网络的法外之地，执法部门或者政府部门就可以不留痕迹的对可疑的网站或服务进行审查。不幸的是，有些人走上了邪路，甚至政府也利用这一便利做一些不合法的事。

　　在中国，这些暗网则用来对抗政府的审查。不过在西方国家真正值得关心的还是那些利用暗网进行的有组织犯罪，而这一领域的监管还是空白。

　　去年，一个名为Grams的搜索引擎诞生了。它是谷歌的山寨版，但却整合了Tor匿名浏览器。该公司声称利用它们的搜索引擎能更简单的帮你找到那些非法网站，比如贩卖违禁药品、枪支、被窃信用卡账号、假币或者伪造的身份证的网站。而之前这些网站很隐秘，只有知道完整的网站URL才能访问。换句话来说，它可以像普通搜索引擎一样工作，但找到的网站“更劲爆”。

　　所以，想让暗网消失可没那么容易。事实上，安全专家认为暗网已经开始了它的扩张脚步。那么我们到底要如何防御呢?来自暗网的攻击现在也让人措手不及，恶意软件、病毒、后门、DoS攻击汹涌而来，黑客们可一点都不手软。另外，随着IoE的扩张，黑客的攻击次数会呈几何级增长。而且这些来自暗网的攻击行踪诡秘，对安全人员的工作造成了很大的挑战。

　　击退暗网的侵袭

　　那么怎样能更好地防御暗网的侵袭呢?首先我们要真正了解它，这就要求我们能像暗网黑客们一样思考。暗网的隐身能力是黑客们最好的屏障，如果在受到攻击时我们无法判定攻击的来源，整个防御行动都可能被误导，最后一败涂地。

　　下面是一些黑客利用暗网犯下的罪行：

　　招募黑客

　　盗窃竞争对手的产品设计和知识产权并进行伪造

　　通过漏洞对被黑账户进行盗窃

　　联合其他黑客对别的网站进行攻击

　　召开黑客论坛

　　黑客的坏水还很多，这些只是最高发的活动，也是网络安全小组们最应该关注的领域。

　　一旦我们掌握了暗网的运行规律，只需三步就可以建立一个像样的防火墙，从而击退暗网的侵袭。

　　首先，我们可以利用搭载Tor,、I2P或其他类似暗网工具为自己搭建一个暗网浏览环境，不过这些行动需要在隐秘的虚拟机上进行。这一技术已经很成熟，而且在网络安全领域得到了广泛使用。

　　其次，对暗网侵袭较频繁的领域进行监控。根据全球信息治理委员会的数据，我们列出了以下六大领域：

　　映射隐藏服务目录。TOR和I2P都利用分布式散列表系统对基站信息进行隐藏，我们部署的一些节点可以对这些攻击进行监控和定位。

　　客户数据监控。不过直接对客户进行监控，但会通过对目的地请求的追踪查到那些顶级欺诈域名。

　　社交网站监控。包括对Pastebin等著名网站的监控，以便找到隐藏的服务。

　　隐藏服务监控。管理机构需要第一时间盯住那些新诞生的网站和服务，以防它们转入地下。

　　语义分析。我们需要建立一个可共享的隐藏网站活动和历史的数据库。

　　市场分析。卖家买家和中间商之间的非法活动需要引起执法机构的重视。

　　对于那些辛苦从暗网挖出来的数据，我们要细心的进行分析，并建立一个长期的数据存储库，以便未来进行参考。事实上这些暗网的数据跟普通网站没什么区别，只是因为它神秘的位置和使用方式才让它变得特殊起来。

　　最后，很多领域其实都或多或少的与它们有联系，本文无法一一列举，只希望这些文字能给读者以启发，让他们在面对暗网时不会手足无措。

　　补充

　　事实上暗网永远都会是我们的心腹大患。只要IoE还存在，黑客就可以通过暗网对新的IoE设备进行攻击，我们只能被动的进行抵抗。

　　不过由于社会的忽视，暗网带来的威胁变得越来越严重。许多迹象表明，未来几年内暗网会得到更大的发展，成为黑客活动或其他犯罪活动的温床。

　　抵御暗网的侵袭没有想象中那么困难，我们需要的只是一个新工具和新思路。

　　via semiengineering