【科讯】AI WAF 亮相 CSS 2018腾讯安全探索论坛：自学习自进化能力实现98.77%恶意

本篇文章2012字，读完约5分钟

面对今天日益严重的安全威胁，很多人已经放弃了银弹的思考，不指望什么万能药能处理所有的安全问题。 但是，非常现实地每天进步1%，没有梦想有一天会突然达到完美的状态。

rsa总裁在今年大会上的新论调在各种安全场景中得到了验证。 在css腾讯安全探索论坛( tsec )现场，腾讯安全云鼎实验室高级安全研究员刘少东共享的“另一条路，更智能安全的ai waf”是对机器学习技术的深入理解和ai在网站上应用保护系统的创新 刘少东在议题共享中说，基于悲观主义理念设计的ai waf从一开始就不能安全保护所有网站的数据，需要使用严格的标准模型学习，符合顾客业务的安全边界。 但是，具有更友好、更安全的结构设计和防御效果，已成为人民时评网站防御的迅速发展方向。

(腾讯安全云鼎实验室高级安全研究员刘少东)

乐观防御意识:防护规则的理想化会引起误报漏报等困境

在网站保护过程中，安全工作者一直致力于制定合理的规则，以确定防御恶意请求的安全边界。 刘少东在分享中，我们希望这个边界和web服务的理想安全边界越来越重合。 这样一来，攻击就会防御在边界之外，但实际上安全边界并不那么理想。 如果waf的安全边界大于web服务的理想安全边界，则会发生漏报恶意请求。如果waf安全边界只能复盖某些web服务的理想安全边界，则会发生漏报和误报。

乐观主义的防御意识认为，分解攻击后制定的规则和意义适用于不同的商业场景，可以实现比较有效的防御。 但是，在很多情况下，与意图相反，在这种意识下制定的防御战略和方法可以承受一般的攻击，但是在不同的应用场景中对实际运维的适应能力有限。 这些策略通常由waf供应商主导，轻松分为宽松、标准、严格三个级别，客户从有限的型号中选择最佳的型号。 在实际采用中，客户经常选择误报最少的模型，随之会发生大量的误报，客户将无法意识到这一点。

另外，不同的顾客共享统一的规则和语义与顾客的业务好处相比无法实现更有效的防御。 电子商务、论坛等在解决业务时采取不同的负载设计和框架，其业务的一些变化也会给waf带来困难和挑战。

有趣的是，随着脆弱性的迅速增加，规则的数量也在增加。 但是，新规则是否能结合或适应现有规则，很多规则导致维护价格上涨。

悲观的设计理念: ai waf自我学习自我进化持续训练引擎

随着恶意要求在几何学上的增加，受乐观主义影响的防御战略已经无法承受网站的攻击。 网站安全人员开始设计基于悲观主义的ai waf。 也就是说，waf不能从一开始就保护所有网站的数据，需要根据客户的业务安全边界使用严格的标准模型来学习。

在ai waf的实践中，外部要求经由waf节点，通过数据旁路进行数据收集和数据清洗后，用异常检测模型训练器和威胁检测模型训练器训练发动机。 另外，在线商务通过异常模型和威胁模型相关联，支持经过训练器动态更新为模型，检测新要求的动态反馈机制。

其中，异常检测是结合专家知识和没有监督的hmm模型进行检测的。 这个模块不是必须的模块，而是允许一定的弹性空间，偏向于低漏报高误报倾向设计。 即使有一定的误报，后续的威胁检测模块也会进行二次检测。 其中hmm模型提到了许多工业实践的tricks，例如采用更合适的k-means进行学习训练，在hmm的许多参数设计中使用了一点启发式策略来提高模型的精度。

威胁检测模块是智能解码、分词妙手、特征工程/词矢量化、分类器等主要模块的实践妙手的组合。 对向量机、cnn、lstm的检测结果进行了深度评价，3种分类器都非常有效，在工业应用场景中选择向量机作为分类器，将延迟从0.2ms控制到1.3ms。

网站在反复多次异常检测和威胁检测后，自主被动的学习机制进行了误报消除，安全团队继续学习纠正误报，最终waf的安全边界符合web服务的理想安全边界。

机器学习势头良好:腾讯网站管家对恶意样本的检出率上升到98.77%

面对变形的新型攻击挑战，规则变得容易迂回，语义检测也无法正确分解其意义，但ai智能引擎具备泛化能力，在解决这样的问题上具有特点。

刘少东在演讲中说，通过对29000个owasp的web攻击样本进行标杆，发现ai引擎的检出率绝对领先。 规则+语义检测方法可以检测84.89%的恶意负载样本，但采用ai引擎的腾讯网站管家将恶意样本的检测率大幅提高到98.77%。

更有趣的是，ai waf最初使用标准模型，但在对不同客户的业务做出积极反馈后，会形成自己的模型。 例如，引擎一收到攻击误报就提交模型进行更新学习，然后不判定为攻击。 这种方式比封闭规则和url白化更友好，没有引入新的安全风险。

在谈及waf的迅速发展时，刘少东说waf机器学习在技术上很有势头，其先进的分解技术不仅能拟合通常的专家规则，还能拟合更多复杂的专家经验知识。 未来云计算的灵活性、大数据的新闻解决能力和安全威胁信息共享的多点防御将进一步促进和提高互联网的安全功能。