简析暗网

0x01 前言

暗网(Dark Web)又称深网(Deep Web),广义上的暗网,是指不能被通用搜索引擎索引到的信息资源,这些信息资源通常隐藏在查询接口之后,用户只有通过查询接口键入一系列的查询关键词提交查询之后才能获取到。狭义上的暗网,是指匿名网络,目前最为流行和实用的匿名通信系统是Tor(The Onion Router),其采用第二代洋葱路由技术,充分保障用户的匿名性。

0x02 广义暗网

如何获取广义暗网(简称暗网)的信息资源是研究暗网的一个核心问题。
对暗网资源的抓取主要分为两个步骤:
1、寻找暗网资源的暗网查询接口
2、对暗网资源的暗网查询接口进行自动填写并提交,获取后台数据库中的资源。
思路及相关技术:
1、html页面处理:广度优先爬取到含有表单的页面,转化为DOM树;
2、对暗网查询接口识别和分类:由于有很多表单不是暗网查询接口,所以需要抽取查询接口的属性,选取某些特征进行识别;同时通过抽取查询接口不同的特征项,采用机器学习的方法,应用SVM算法训练相应的分类器对查询接口所属的领域进行自动分类
3、设计暗网查询接口的查询构造方法:建立通用的查询模板
4、验证构造的url链接的有效性:信息抽取时,应用SimHash网页去重算法判断url的有效性
5、增量更新
应用:垂直搜索;暗网搜索引擎;
安全方面应用:基于传统爬虫的扫描器:自动化;只能在外围蹭蹭 基于代理的分布式扫描器:半自动化;里面蹭蹭
如果把上述技术转化到安全扫描上来,打造深度爬虫,替换传统爬虫,实现在里面蹭蹭的自动化扫描。简单来说就是自动扫描以POST为主的表单查询接口,这在往常只能手工代理实现。

0x03 狭义暗网(特指Tor)

Tor系统由洋葱代理(Onion Proxy,简称OP)、洋葱路由器(Onion Router,简称OR)、目录服务器和应用服务器组成。
1、简单版:利用Tor浏览器单向匿名访问应用时,流程如图:QQ图片20170721164727.png
步骤一:洋葱代理(OP),即本地Tor客户端软件,访问目录服务器Dave,查询其中可用节点目录列表,保存到本地
QQ图片20170721164740.png
步骤二:根据OP自身的设置及Alice的个人设置及洋葱路由选择算法,来确定Tor网络的入口节点,中间节点以及出口节点,形成通信链路
例:用Tor访问facebook即可看到三跳节点

2、升级版:Tor中一个核心的点就是Tor Hidden Service协议,建立隐藏服务Hidden Sever,让Tor不仅拥有常规的三跳通信链路的单向匿名,还增加了非常规的六跳通信链路的双向匿名,也就是服务提供者与服务请求者在整个通信过程中彼此匿名,基于Tor的暗网正是采用Tor Hidden Service协议,维护暗网使用者的匿名性。
Tor Hidden Service协议引入两个新的节点概念:引入节点(Introduction Point,简称IP)、约会节点(Rendezvous Point,简称RP)。引入节点IP是隐藏服务提供者为了接入Tor网络,匿名地提供应用服务的链接节点。约会节点RP是用户与服务提供者进行匿名数据通信的中心节点,用户Tor客户端与隐藏服务Hidden Service都建立三跳circuit来连接约会节点RP,整个通信的流量都要经过约会节点。
暗网从通信节点选择到通信链路建立的完整过程如图:
QQ图片20170721140022.png
1、隐藏服务Hidden Service上的匿名服务提供者首先选择几个洋葱路由作为链路,连接引入节点IP
2、当服务提供者到引入节点IP的通信链路建立成功后,接着搭建三跳circuit连接到目录服务器,隐藏服务上的描述符被上传到目录服务器,描述符的内容包括:引入节点信息列表、对应服务提供者的洋葱域名、通信加密的公钥
3、暗网用户通过一定途径获取到洋葱域名,与服务提供者一样通过建立三跳circuit连接到目录服务器。目录服务器通过比对洋葱域名对应的服务描述符,将引入节点IP与公钥返回给用户
4、用户选择出一个约会节点,为了保护用户的匿名性,同样需要建立三跳circuit连接约会节点,建立成功后,约会节点发送指令给用户,表示建立成功
5、为了将约会节点的信息发送给服务提供者,用户根据得到的引入节点IP的信息,建立三跳circuit连接引入节点并发送指令
6、引入节点IP向用户回复指令
7、引入节点连接并发送指令到服务提供者
8、来自引入节点IP的指令被服务提供者收到后,就知道了约会节点RP的信息,建立服务提供者到约会节点RP的三跳circuit,并发送指令给约会节点RP
9、约会节点收到后经过验证,再发送给用户
10、用户经过验证,成功即完成了用户与服务提供者的握手过程,真正的数据通信由此开始
应用:匿名访问;匿名发布应用
安全方面应用:攻击者通过接入Tor网络发起匿名攻击;暗网脆弱性(漏洞)研究,撕裂暗网的匿名性,暗网可控(我就随口说说-.-)

0x04 暗网延伸应用

未写完,待续

标签: none

添加新评论