# 走出封闭世界：论机器学习在网络入侵检测中的应用
IEEE Symposium on Security and Privacy（IEEE S&P 2010 / Oakland） (CCF A 类)
⭐⭐⭐
发表时间：16-19 May 2010
原文链接：https://doi.org/10.1109/SP.2010.25
综述、分析性文章
# 摘要
上一篇论文《Dos and Don'ts》讲的是机器学习在安全领域的普遍性问题，而这篇《Outside the Closed World》则更聚焦于网络入侵检测这个具体场景，深入剖析了为什么机器学习在这里“水土不服”。
一句话概括： 这篇论文旨在解释为什么尽管学术界对基于机器学习的异常检测（Anomaly Detection）在网络入侵检测领域进行了大量研究，但在实际部署中却很少见到它们的身影？
# 概念解析
传统的入侵检测系统（IDS）主要靠“特征匹配”（Misuse Detection），就像警察拿着通缉令抓坏人。但“异常检测”（Anomaly Detection）更高级，它试图发现“不正常”的行为，理论上能发现未知攻击。
# 遇到的问题
机器学习在推荐系统、图像识别等领域大获成功，但在网络安全这种“对抗性”极强的领域，它的应用却面临独特挑战。
# 核心的观点
网络入侵检测任务与机器学习在其他领域成功应用的场景存在根本性差异，这使得在入侵检测中有效应用机器学习变得异常困难。这些差异主要体现在异常检测的本质、错误的高昂代价、语义鸿沟、网络流量的多样性以及评估的困难。
# 主要结论
1、封闭世界假设在异常检测中不适用，如果要用正常的数据训练模型，要去发现异常，很困难
2、语义鸿沟，只能报告不正常，但解释不了为什么不正常
3、错误成本高！入侵检测报错的话，那要人工分析，需要很多时间。但如果是OCR、推荐系统，那解决成本很低
4、网络流量复杂且变化大流动性强
5、数据集拉跨，过时，没有合适的评估指标和对抗环境
# 启发
1、控制误报率
2、弥补语义鸿沟
3、从发现未知的攻击，转化成发现已知的攻击，利用少样本学习识别新型攻击
4、鲁棒性、适应大数据
# 名词解释
（NIDS）Network Intrusion Detection System 中文：网络入侵检测系统