Skip to main content

安全技术雁门关知多少

一、什么是雁门关​

电商平台会遭受来自灰黑产、竞争对手的网络攻击，针对这些恶意攻击需要进行防护。

雁门关系统（Yanmen Meili-inc Secure Gateway，简称YMG）是集团安全网关，基于实时集群检测能力，结合旁路检测和大数据离线分析，防御常见Web应用攻击，并过滤恶意CC攻击1⃣️，避免资产信息泄露，保障安全和可用性。

** 注释1⃣️：恶意CC攻击防护，从业务角度可理解为防刷防爬*

理想模型中的雁门关系统：

  • 覆盖集团全部流量

  • 由安全团队进行漏洞研究，配置安全规则，提供防护能力

  • 支持业务精准防护，快速过滤恶意流量

  • 拥有大数据安全能力，通过分析丰富恶意样本库、动态构建特征、建立可信流量模型、持续优化规则

  • 秒级生效，提供高可靠、高可用的服务

二、为什么做​

网络攻击包含多种不同攻击类型。

其中，流量型DDoS攻击，由于出口带宽限制以及攻防成本不对等，只能通过电信云堤或公有云高防解决。我们也采用了此方案。

除流量型DDoS外，如Web应用攻击、恶意CC攻击，一般通过Web应用防火墙（Web Application Firewall，简称WAF）解决。而商业WAF针对HTTP/HTTPS请求，由于集团研发团队走在技术前沿，MWP、IM等自定义协议的出现，使得商业WAF不能满足我们的需求。

1. 硬件设备​

​ 调研测试国内几家厂商的硬件WAF，标明吞吐量2Gbps，在HTTPS请求下只能到小几百Mbps。为保护通信安全，全站HTTPS是必然趋势2⃣️，集团已经在改造进行中，若采用，需要堆叠大量设备。放弃。

​ ** 注释2⃣️：如，防止用户访问蘑菇街时页面弹澳门在线赌场的小广告*

​ 调研测试Imperva（全球Top硬件WAF），在HTTPS请求下吞吐量只下降30%，提供强大的Web防护能力，可动态构建特征、威胁情报联动，支持多种部署方式，非常强大。不过作为硬件WAF，Imperva的扩容需要增加设备并修改部署，而电商大促流量峰值为日常流量的好几倍，需要以大促峰值再加一定冗余来评估。Imperva有一特点就是贵，以大促流量计算，再加上主备，成本浪费比较大。

​ 再考虑迁移黑石机房，虽然与黑石沟通可带硬件设备进机房，但后续的设备维护以及可能的扩容都存在风险。同时，Imperva无法识别MWP、IM的自定义协议，不能提供防护3⃣️。放弃。

​ ** 注释3⃣️：即，MWP接口被恶意刷，只能扩容或限流*

2. 云服务​

​ 不谈各家云厂商的安全防护能力，先说共同存在的问题。

  • 能轻易被绕过：云安全服务主要通过将用户的DNS解析到云节点实现防护，如果攻击方获取了服务器真实IP地址，可以轻松绕过

  • 有数据安全风险：使用云安全服务，所有访问数据需要先到云端再到用户服务器，而根据已了解的信息，公有云都有流量转发口子，存在数据泄露风险 ​

​ 考虑上述两点，似乎腾讯云网站管家（腾讯云WAF）能满足需求。

  • 网站管家属于腾讯云安全方案，迁移黑石机房后可直接防护，不用DNS解析

  • 毕竟是腾讯爸爸，有商务合作和信任

​ 调研腾讯云安全管家，以腾讯业务为主，极少量外部客户，单客户流量峰值200+QPS，能否为集团提供Web防护能力待验证测试。不过作为通用WAF方案，腾讯云安全管家也是针对HTTP/HTTPS请求，无法对MWP、IM请求进行识别和防护。放弃。

3. 软件应用​

​ 相继放弃硬件设备和云服务后，调研软件方案。市面上有多种实现，如基于主机Agent的安全狗、基于Nginx的ModSecurity等。

​ 起初，一群小伙伴4⃣️借鉴ModSecurity开发了基于Nginx扩展的WAF，即WAF1.0。WAF1.0在Nginx Server中hook住请求，基于规则进行检测和拦截。

​ image.png

​ ** 注释4⃣️：感谢原业务安全团队@梵天@云竹@幽鬼@婉明 以及网络安全团队@林泉 对WAF1.0的贡献，架构图来自@梵天 的系统介绍文档*

​ WAF1.0上线后，覆盖17个应用、268台服务器，拦截恶意攻击请求400+万次/周，对线上业务起到了一定防护作用。

​ 但WAF1.0存在其固有缺陷：

  • 单机模式：对于服务器多的应用，单机规则阈值只能设置很高，否则容易误杀正常请求，因此当遭受恶意CC攻击时，需要较长的检测时间，而在这间隔期间会引起限流、用户访问失败等问题

  • 基于Nginx：随着研发团队技术变革，App请求（走MWP长短连）的业务Server没有了Nginx，WAF1.0无法覆盖这部分流量

​ 故放弃WAF1.0方案5⃣️。

​ ** 注释5⃣️：WAF1.0已不再维护，只作为雁门关的降级方案保留*

经历以上种种后，最终决定开发雁门关系统，为集团提供安全防护能力。

三、架构如何​

先看集团机房流量简略图：

可以看到接入层主要分为：

  • PC/H5/log6⃣️请求，走LVS => YMG Proxy7⃣️ => Nginx Proxy => Server
  • App长连接请求，走LVS => MWCS => MWP Router => Server
  • App短连接/容器内H5/小程序请求，走LVS => MWP Router => Server
  • IM长连接，LVS => IM Gateway => Server

​ ** 注释6⃣️：PC、App、小程序的打点日志，都走log系统，请求量非常大，日常QPS约等于PC、App、小程序QPS总和，故单独标注*

​ ** 注释7⃣️：原LVS => Nginx Proxy => Server链路中，增加YMG Proxy，负责转发流量至检测集群，接收检测结果：若通过则转发至Nginx Proxy，若拦截则直接返回*

再看雁门关系统架构图：

  • 接入模块：结合集团机房流量简略图，由YMG Proxy、MWCS的plugin、IM Gateway的plugin组成，负责将集团全部流量转发至检测集群
  • 实时检测模块：YMG Server集群，负责对流量进行检测，检测结果返回接入模块进行防护
  • 离线检测模块：通过Storm进行近实时离线检测，补充检测能力，记录流量数据
  • 离线分析模块：流量数据接入大数据平台，进行离线分析，确认准确率、召回率，并提炼规则模型
  • 管理模块：管理系统规则、配置、监控告警，展示数据视图

梳理雁门关上下游：

  • LVS：配置权重，将PC/H5/log请求转到YMG Proxy
  • MWCS：请求进行解析后，将流量数据发到YMG plugin，由plugin转发到YMG Server；plugin接收检测结果，返回给MWCS，MWCS转发至MWP Router或直接返回
  • IM Gateway：请求进行解析后，将流量数据发到YMG plugin，由plugin转发到YMG Server；plugin接收检测结果，返回给IM Gateway，IM Gateway转发至Server或直接返回
  • Nginx Proxy：PC/H5/log请求通过YMG Proxy后，转到Nginx Proxy
  • TGW：黑石机房4层LB，迁移黑石后将替代LVS

四、有什么功能特性​

五、有哪些应用场景​

1. 恶意爬虫​

​ 商品PC详情页天天被爬：

​ 接入雁门关并配置防护规则后：

​ 只针对商品PC详情页，拦截恶意攻击请求2.8+亿次/周，有效减少了服务端压力，避免可能引起限流导致用户访问失败。可以通过持续优化规则，进一步提升防护效果。

2. 恶意CC攻击​

​ 双十一大促某一深夜，会场被恶意CC攻击：image.png

​ 这次双十一雁门关降级，没有起到防护作用，通过IDS系统8⃣️分析流量后手动下发IP黑名单解决了问题。

​ ** 注释8⃣️：安全团队开发的流量入侵检测系统，在公网入口镜像流量，旁路进行检测*

3. Web应用攻击​

​ 几乎每时每刻，集团都在遭受来自外部的Web应用攻击：

​ 由安全团队维护安全防护规则，对Web应用攻击进行检测和拦截，保护后端应用。

4. 补充一​

​ 针对业务防刷防爬，除了安全团队，也有风控技术、广告技术等团队在负责：

  • 对于可能引起拒绝服务的恶意CC攻击，雁门关系统基于请求特征进行检测和拦截

  • 对于强业务逻辑的场景，如刷单反作弊、广告反作弊等，需要基于业务特点，结合用户过往行为进行判断

​ 多个团队彼此互补，形成集团防刷防爬体系。

​ 如秒杀场景，可以先通过雁门关基于IP、User-Agent、访问频率等特征拦截大量直接刷接口的请求，再通过生物探针基于人机识别拦截非人为请求，之后通过秒杀风控模型进行实时拦截和事后检测，以达到更好的效果。

5. 补充二​

​ 针对Web应用攻击和0day漏洞9⃣️防护，安全团队还开发了盖亚系统（Gaea）。

​ ** 注释9⃣️：指已经被发现（可能未被公开），而官方还没有相关补丁的漏洞*

​ 盖亚基于Nginx扩展开发，部署在Nginx Proxy，针对HTTP/HTTPS请求进行特征检测，防护Web应用攻击和0day漏洞。

​ 后续Web应用攻击防护规则计划逐步移植到雁门关。

六、计划安排​

进展：​

  • 完成接入模块、实时检测模块、近实时离线检测模块、管理模块的基础功能开发，经过长时间灰度，系统上线
  • 验证覆盖全部接入层流量后，目前只转发商品业务PC流量至实时检测模块
  • 与商品技术团队合作，配置业务防护规则，拦截恶意攻击请求2.8+亿次/周
  • 其它：大数据离线分析模块，进行可行性验证；配置通用IP白名单、User-Agent白名单，自动更新CDN IP白名单；...

目标：​

  • 对大促会场页、商品详情页进行重点防护，保证线上业务正常
  • 对可能的突发恶意攻击，发现后转发至实时检测模块进行检测和拦截，保证交易核心链路不因攻击出现异常

计划：​

  • 流量覆盖：覆盖集团全部流量
  • 规则覆盖：业务规则覆盖核心应用，盖亚规则逐步移植，提供安全防护能力
  • 准确率和召回率：通过大数据平台分析规则优化，提升规则准确率和召回率
  • 检测能力：增加对response流量的检测，防数据泄漏保护

八、再说两句​

理想中的网络安全架构：结合雁门关系统、IDS旁路检测、大数据离线分析，形成安全检测防护体系，建立可信流量模型，智能化检测拦截恶意请求，实现业务无感知的安全。