网络入侵检测系统技术

网络入侵检测系统的研究和发展

摘 要：自从计算机问世以来，安全问题就一直存在着，使用者也一直未给予足够的重视，结果连接到Internet上的计算机暴露在愈来愈频繁的攻击中，该课题先从入侵检测系统的发展概述和演化，然后再进一步对IDS进行研究，沿着技术的发展方向还有在现实应用中遇到的问题惊醒讨论。

关键词：计算机安全；入侵检测；入侵检测系统；入侵检测系统的历史

前言

伴随着计算机网络技术和互联网的飞速发展，网络攻击和入侵事件与日俱增，特别是近两年，政府部门、军事机构、金融机构、企业的计算机网络频遭黑客袭击。攻击者可以从容地对那些没有安全保护的网络进行攻击和入侵，如进行拒绝服务攻击、从事非授权的访问、肆意窃取和篡改重要的数据信息、安装后门监听程序以便随时获得内部信息、传播计算机病毒、摧毁主机等等。攻击和入侵事件给这些机构和企业带来了巨大的经济损失和形象的损害，甚至直接威胁到国家的安全。

传统上，信息安全研究包括针对特定的系统设计一定的安全策略，建立支持该策略的形式化安全模型，使用身份认证、访问控制、信息加密和数字签名等技术实现安全模型并使之成为针对各种入侵活动的防御屏障。然而近年来随着系统入侵行为程度和规模的加大，安全模型理论自身的局限以及实现中存在的漏洞逐渐暴露出来，这是信息系统复杂化后的必然结果。增强系统安全的一种行之有效的方法是采用一个比较容易实现的安全技术，同时使用辅助的安全系统，对可能存在的安全漏洞进行检查，入侵检测就是这样的技术。

IDS被认为是防火墙之后的第而道安全闸门，它能在不影响网络性能的情况下对网络进行监听，从而提供对内部攻击、外部攻击和误操作的实时保护。

1.入侵检测及IDS概述

传统上，信息安全研究包括针对特定的系统设计一定的安全策略，建立支持该策略的形式化安全模型，使用身份认证、访问控制、信息加密和数字签名等技术实现安全模型并使之成为针对各种入侵活动的防御屏障。然而近年来随着系统入侵行为程度和规模的加大，安全模型理论自身的局限以及实现中存在的漏洞逐渐暴露出来，这是信息系统复杂化后的必然结果。增强系统安全的一种行之有效的方法是采用一个比较容易实现的安全技术，同时使用辅助的安全系统，对可能存在的安全漏洞进行检查，入侵检测就是这样的技术。

1.1 入侵检测概述

入侵检测的研究最早可追溯到20世纪80年代，但受到重视和快速发展是在Internet兴起之后。早在1980年，J Anderson等人就提出了入侵检测的概念，对入侵行为进行了简单地划分，提出使用审计信息跟踪用户可疑行为。1985年， Denning在Oakland提出第一个实时入侵检测专家系统模型，以及实时的、基于统计量分析和用户行为轮廓(Profile)的入侵检测技术。该模型是入侵检测研究领域的里程碑，此后大量的入侵检测系统模型开始出现，很多都是基于Denning的统计量分析理论。进入90年代以后，随着Porras和Kemmerer基于状态转换分析的入侵检测技术的提出和完善，根据已知攻击模型进行入侵检测的方法成为该领域研究的另一热点。

入侵就是指连续的相关系列恶意行为，这种恶意行为将造成对计算机系统或者计算机网络系统的安全威胁，包括非授权的信息访问、信息的窜改设置以及拒绝服务攻击等等。入侵检测是指对恶意行为进行诊断、识别并做出响应的过程。实施入侵检测的系统称为入侵检测系统(IDS)。

衡量入侵检测系统的两个最基本指标为检测率和误报率，两者分别从正、反两方面表明检测系统的检测准确性。

实用的入侵检测系统应尽可能地提高系统的检测率而降低误报率，但在实际的检测系统中这两个指标存在一定的抵触，实现上需要综合考虑。除检测率和误报率外，在实际设计和实现具体的入侵检测系统时还应考虑操作方便性、抗攻击能力、系统开销大小、可扩展性、自适应能力、自学习能力以及实时性等。

从系统组成上看，入侵检测一般由3个部分组成：数据采集、入侵检测、响应。数据采集模块根据入侵检测类型的不同，采集不同类型的数据，比如网络的数据包、操作系统的系统调用日志或者应用日志。数据采集模块往往会对采集到的信息进行预处理，包括对信息进行简单的过滤，输出格式化的信息。前者有助于消除冗余数据，提升系统的性能；后者可提升系统的互操作性。预处理后的信息一般都先存放到日志数据库中，再提交给分析引擎。分析引擎实现检测算法。从最简单的字符串匹配到复杂的专家系统甚至神经网络，分析引擎是入侵检测系统的核心，分析引擎最终判定一个行为是异常的还是正常的。检测策略包含了如何诊断入侵的配置信息、入侵的签名(也就是入侵的行为特征)。各种阈值也往往存放在检测策略中。状态信息包含了检测所需的动态信息，比如部分执行的入侵签名，当前发生在系统中的行为上下文等。分析引擎在做出行为的入侵判断后将判断的结果直接发给响应模块。响应模块然后根据响应策略中预定义的规则进行不同的响应处理。一般来说，可能的响应行为包括：发出报警，通知管理员。对恶意行为自动地采取反击措施，一方面可自动地重新配置目标系统，阻断入侵者；另一方面可以重新配置检测策略和数据采集策略，如可针对正在执行的特定行为采集更多的信息，对行为的性质进行更准确的判断。

1.2入侵检测系统（IDS）诠释

IDS是一种网络安全系统，当有敌人或恶意用户视图通过Internet进入网络甚至计算机系统时，IDS能够检测出来，并进行报警，通知网络该采取措施进行响应。

在本质上，入侵检测系统是一种典型的“窥探设备”。他不跨接多个物理网段（通常只有一个监听端口），无须转发所有流量，而只需要在网络上被动地、无声息地收集他所关心的报文即可。入侵检测/响应流程如图1所示（参见附录图1）。

我们做一个形象的比喻：假如防火墙是一幢大楼的门卫，那么IDS就是这幢大楼里的监视系统。一旦小偷爬窗进入大楼，或内部人员有越界行为，只有实时监视系统才能发现情况并发出警告。IDS入侵检测系统以信息来源的不同和检测方法的差异分为几类。根据信息来源可分为基于主机IDS和基于网络的IDS，根据检测方法又可分为异常入侵检测和滥用入侵检测。不同于防火墙，IDS入侵检测系统是一个监听设备，没有跨接在任何链路上，无须网络流量流经它便可以工作。因此，对IDS的部署，惟一的要求是：IDS应当挂接在所有所关注流量都必须流经的链路上。在这里，"所关注流量"指的是来自高危网络区域的访问流量和需要进行统计、监视的网络报文。在如今的网络拓扑中，已经很难找到以前的HUB式的共享介质冲突域的网络，绝大部分的网络区域都已经全面升级到交换式的网络结构。因此，IDS在交换式网络中的位置一般选择在：

（1）尽可能靠近攻击源

（2）尽可能靠近受保护资源

这些位置通常是：

·服务器区域的交换机上

·Internet接入路由器之后的第一台交换机上

·重点保护网段的局域网交换机上

由于入侵检测系统的市场在近几年中飞速发展，许多公司投入到这一领域上来。Venustech(启明星辰）、Internet Security System（ISS）、思科、赛门铁克等公司都推出了自己的产品。

目前，IDS分析及检测入侵阶段一般通过以下几种技术手段进行分析：特征库匹配、基于统计的分析和完整性分析。其中前两种方法用于实时的入侵检测，而完整性分析则用于事后分析。

2.入侵检测系统的分类

对于目前已有入侵检测的分类有多种方法，比较通用的方法有两种：一种就是根据检测所基于的原则不同，将入侵检测系统划分为异常检测IDS，误用检测IDS和分布式的IDS；另外一种是根据数据采集点的不同，将IDS分为基于主机的IDS和基于网络的IDS 。

2.1根据检测方法的不同分类

2.1.1异常检测IDS

异常检测，也称为基于行为的入侵检测，以系统、网络、用户或进程的正常行为建立轮廓模型(即正常行为模式)，将与之偏离较大的行为解释成入侵。该方法基于如下的假设：入侵会引起用户或系统行为的异常。

异常检测方法具有检测系统中未知攻击的能力，由于新攻击方法总是不断出现，因此异常检测技术一直较受重视，产生了大量的异常检测技术。下面对其中的主要技术进行介绍和分析。

1. 统计分析

统计分析方法是异常检测的主要方法之一。该方法依据系统中特征变量的历史数据建立统计模型，并运用该模型对特征变量未来的取值进行预测和检测偏离。系统中的特征变量有用户登录失败次数、CPU和I/O利用率、文件访问数及访问出错率、网络连接数、击键频率、事件间的时间间隔等。

(a)均值与标准偏差模型以单个特征变量为检测对象，假定特征变量满足正态分布，根据该特征变量的历史数据统计出分布参数(均值、标准偏差)，并依此设定信任区间。在检测过程中，若特征变量的取值超出信任区间，则认为发生异常。

(b)多元模型以多个特征变量为检测对象，分析多个特征变量间的相关性，是均值与标准偏差模型的扩展，不仅能检测到单个特征变量值的偏离，还能检测到特征变量间关系的偏离。

(c) Markov过程模型将每种类型的事件定义为系统的一个状态，用状态转换矩阵来表示状态的变化，若对应于所发生事件的状态转移概率较小，则该事件可能为异常事件。

(d) 时间序列模型。将事件计数与资源消耗根据时间排列成序列，如果某一新事件在相应时间发生的概率较低，则该事件可能为入侵。

以统计分析方法形成系统或用户的行为轮廓，实现简单，且在度量选择较好时(即系统或用户行为的变化会在相应的度量上产生显著的变化)能够可靠检测出入侵。该方法的缺点为：以系统或用户一段时间内的行为特征为检测对象，检测的时效性差，在检测到入侵时入侵可能已造成损害；度量的阈值难以确定；忽略了事件间的时序关系。

2. 基于数据挖掘的检测方法

数据挖掘是一种利用分析工具在大量数据中提取隐含在其中且潜在有用的信息和知识的过程。入侵检测过程也是利用所采集的大量数据信息，如主机系统日志、审计记录和网络数据包等，对其进行分析以发现入侵或异常的过程。因此，可利用数据挖掘技术，从大量数据中提取尽可能多的隐藏的安全信息，抽象

出有利于比较和判断的特征模型(如基于异常检测的正常行为轮廓)。

数据挖掘算法有多种，运用到入侵检测中的主要有关联分析、序列分析和聚类分析3种，其中关联分析方法主要分析事件记录中数据项间隐含的关联关系，形成关联规则；序列分析方法主要分析事件记录间的相关性，形成事件记录的序列模式；聚类分析识别事件记录的内在特性，将事件记录分组以构成相似类，并导出事件记录的分布规律。在建立上述的关联规则、序列模式和相似类后，即可依此检测入侵或异常。

基于数据挖掘的检测方法建立在对所采集大量信息进行分析的基础之上，只能进行事后分析，即仅在入侵事件发生后才能检测到入侵的存在。

3.其他检测方法

其他的异常检测方法有基于规则的方法、人工免疫法、基于机器学习的检测方法和基于神经网络的检测方法等。

异常检测的优点为：不需获取攻击特征，能检测未知攻击或已知攻击的变种，且能适应用户或系统等行为的变化。但异常检测具有如下的缺点：一般根据经验知识选取或不断调整阈值以满足系统要求，阈值难以设定；异常不一定由攻击引起，系统易将用户或系统的特殊行为(如出错处理等)判定为入侵，同时系统的检测准确性受阈值的影响，在阈值选取不当时，会产生较多的检测错误，造成检测错误率高；攻击者可逐渐修改用户或系统行为的轮廓模型，因而检测系统易被攻击者训练；无法识别攻击的类型，因而难以采取适当的措施阻止攻击的继续。

2.1.2误用检测IDS

误用检测，也称为基于知识或基于签名的入侵检测。误用检测IDS根据已知攻击的知识建立攻击特征库，通过用户或系统行为与特征库中各种攻击模式的比较确定是否发生入侵。常用的误用检测技术主要有：

1. 基于专家系统的检测方法

专家系统是入侵检测中常用的一种检测方法，通过将有关入侵的知识转化为if-then结构的规则，前者为构成入侵的条件，后者为发现入侵后采取的响应措施。专家系统的优点为把系统的推理控制过程和问题的最终解答相分离，即用户不需要理解或干预专家系统内部的推理过程，只需把专家系统看作一个黑盒子。在将专家系统应用于入侵检测时，存在下列问题：缺乏处理序列数据的能力，即不能处理数据的前后相关性；性能取决于设计者的知识；只能检测已知的攻击模式；无法处理判断不确定性；规则库难以维护，更改规则时要考虑对规则库中其他规则的影响。

2.基于状态转移分析的检测方法

状态转移分析方法运用状态转换图来表示和检测已知的攻击模式，即运用系统状态和状态转移表达式来描述已知的攻击模式，以有限状态机模型来表示入侵过程。入侵过程由一系列导致系统从初始状态转移到入侵状态的行为组成，其中初始状态为入侵发生前的系统状态，入侵状态表示入侵完成后系统所处的状态。

用于误用检测的状态转移分析引擎包括一组状态转移图，各自代表一种入侵或渗透模式。每当有新行为发生时，分析引擎检查所有的状态转移图，查看是否会导致系统的状态转移。如果新行为否定了当前状态的断言，分析引擎将状态转移图回溯到断言仍然成立的状态；如果新行为使系统状态转移到了入侵状态，状态转移信息就被发送到决策引擎，由决策引擎根据预定义的策略采取相应措施。

以状态转移分析方法表示的攻击检测过程只与系统状态的变化有关，而与攻击的过程无关。状态转移分析方法能检测到协同攻击和慢攻击；能在攻击行为尚未到达入侵状态时检测到该攻击行为，从而及时采取相应措施阻止攻击行为。状态转换图给出了保证攻击成功的特征行为的最小子集，能检测到具有相同入侵模式的不同表现形式。状态转移分析方法中状态对应的断言和特征行为需要手工编码，在用于复杂的入侵场景时会存在问题。

3.其他检测方法

其他的误用检测方法有基于有色Petri(CP)-Net的误用检测及基于键盘监控的误用检测等。

误用检测的优点为：攻击检测的准确率高；能够识别攻击的类型。误用检测的缺点为：只能检测已知攻击；滞后于新出现的攻击，对于新的攻击，仅在其包含进攻击特征库后才能检测到；攻击特征库维护困难，新攻击出现后需由专家根据专业知识抽取攻击特征，不断更新攻击特征库；攻击者可通过修改攻击行为，使其与攻击特征库中的特征不相符，从而绕过检测。

误用检测和异常检测各有优缺点，具有一定的互补性。通常检测系统为提高入侵检测性能，将这两种技术结合以实现入侵检测。

3.IDS存在的问题

1998年2月，Secure Networks Inc.指出IDS有许多弱点，主要为：IDS对数据的检测；对IDS自身攻击的防护。由于当代网络发展迅速，网络传输速率大大加快，这造成了IDS工作的很大负担，也意味着IDS对攻击活动检测的可靠性不高。而IDS在应对对自身的攻击时，对其他传输的检测也会被抑制。同时由于模式识别技术的不完善，IDS的高虚警率也是它的一大问题。

3.1误/漏报率高

IDS常用的检测方法有特征检测、异常检测、状态检测、协议分析等。而这些检测方式都存在缺陷。比如异常检测通常采用统计方法来进行检测，而统计方法中的阈值难以有效确定，太小的值会产生大量的误报，太大的值又会产生大量的漏报。而在协议分析的检测方式中，一般的IDS只简单地处理了常用的如HTTP、FTP、SMTP等，其余大量的协议报文完全可能造成IDS漏报，如果考虑支持尽量多的协议类型分析，网络的成本将无法承受。

3.2没有主动防御能力

IDS技术采用了一种预设置式、特征分析式工作原理，所以检测规则的更新总是落后于攻击手段的更新。

3.3缺乏准确定位和处理机制

IDS仅能识别IP地址，无法定位IP地址，不能识别数据来源。IDS系统在发现攻击事件的时候，只能关闭网络出口和服务器等少数端口，但这样关闭同时会影响其他正常用户的使用。因而其缺乏更有效的响应处理机制。

3.4性能普遍不足

目前市场上的IDS产品大多采用的是特征检测技术，这种IDS产品已不能适应交换技术和高带宽环境的发展，在大流量冲击、多IP分片情况下都可能造成IDS的瘫痪或丢包，形成DoS攻击。

4.入侵检测及网络安全的发展方向

4.1入侵检测技术的发展方向

IDS虽然存在一些缺陷，但换个角度我们看到，各种相关网络安全的黑客和病毒都是依赖网络平台进行的，而如果在网络平台上就能切断黑客和病毒的传播途径，那么就能更好地确保安全。这样，网络设备和IDS设备联动就应运而生了。

IDS和网络交换设备联动，是指交换机或防火墙在运行的过程中，将各种数据流的信息上报给安全设备，IDS系统可根据上报信息和数据流内容进行检测，在发现网络安全事件的时候，进行有针对性的动作，并将这些对安全事件反应的动作发送到交换机或防火墙上，由交换机或防火墙来实现精确端口的关闭和断开，由此即产生了入侵防御系统（IPS）的概念。

简单地理解，可认为IPS就是防火墙加上入侵检测系统。IPS技术在IDS监测的功能上又增加了主动响应的功能，力求做到一旦发现有攻击行为，即时响应，主动切断连接。他的部署方式不像IDS并联在网络中，而是以串联的方式接入网络中，其功能示意如图2所示（参见附录图2）。

除了IPS，也有厂商提出了IMS（入侵管理系统）。IMS是个过程，在行为未发生前要考虑网络中有什么漏洞，判断有可能会形成什么攻击行为和面临的入侵危险；在行为发生时或即将发生时，不仅要检测出入侵行为，还要主动阻断，终止入侵行为；在入侵行为发生后，还要深层次分析入侵行为，通过关联分析，来判断是否还会出现下一个攻击行为。

4.2网络安全的发展方向

4.2.1检测和访问控制技术将共存共荣

以IDS为代表的检测技术和以防火墙为代表的访问控制技术从根本上来说是两种截然不同的技术行为。

（1）防火墙是网关形式，需求高性能和高可靠性。因此防火墙注重吞吐率、延时、HA等方面的需求。防火墙最主要的特征应当是通（传输）和断（阻隔）两个功能，所以其传输需求是非常高的。

（2）而IDS是个以检测和发现为特征的技术行为，其追求的是漏报率和误报率的降低。其对性能的追求主要在：抓包不能漏、分析不能错，而不是微秒级的快速结果。IDS由于较高的技术特征，所以其计算复杂度是非常高的。

从这个意义上来讲，检测和访问控制技术将在一个较长的时期内更加关注其自身的特点，各自提高性能和可靠性，既不会由一方取代另一方，也不会简单的形成融合技术。

4.2.2检测和访问控制的协同是必然趋势

虽然检测技术和访问控制技术存在着一定程度的差异，不过两个技术的协同工作和在应用上的融合又是个迫切的需求和必然趋势。

安全产品的融合、协同、集中管理是网络安全的发展方向。大型企业需要一体化的安全解决方案，需要细力度的安全控制手段。中小企业一边希望能够获得切实的安全保障，一边又不可能对信息安全有太多的投入。从早期的主动响应入侵检测系统到入侵检测系统和防火墙联动，再到IPS和IMS，形成了一个不断完善的解决安全需求的过程。

4.2.3怎么进行技术融合

“集中检测，分布控制”这个观点对于怎么看待检测技术和访问控制技术的走向是非常重要的。一个准确度不能完全令人满意的IDS，经过人工的分析能变得准确。同样，经过大规模的IDS部署后的集中分析及和其他检测类技术关联分析，能获得更加精确的结果。这样局部的事件检测就向全局性的事件检测方向发展。根据全局性的检测结果就能进行全局性的响应和控制。

全局性的检测能有效解决检测的准确率问题，不过同时带来的就是检测过程变长，局部速度不够快的问题。所以，面对一些局部事件和能准确地判断出的问题，阻断后带来的负面效应相对较少，针对其检测能比较快速的时候，IPS就是个比较好的方案了。

4.2.4人仍是网络安全管理的决定因素

不可否认的是，人的因素仍然是网络安全管理的决定因素，网络安全最薄弱的环节也并不是系统漏洞，而是人的漏洞。安全问题的核心问题就是人的问题。因为一切不安全的因素全来自人（或说一部分人）。那么我们和信息网络安全威胁的斗争，实际上是和人（或说一部分人）的斗争，这样性质的斗争，自不待言，注定了他的艰巨性、复杂性和持久性。

因此，单纯依靠安全技术和软、硬件产品解决网络安全问题的想法是不现实也是不明智的，提高企业的网络安全意识，加大整体防范网络入侵和攻击的能力，并在此基础上形成一支高素质的网络安全管理专业队伍，及时准确地应对各式各样的网络安全事件，才能从根本上解决我们面临的威胁和困扰。

结束语

入侵检测作为一种积极主动的安全防护技术 ,其研究和开发越来越受到学界和业界的重视。本文对入侵检测及IDS的概述和入侵检测系统分类等进行了评述,分析了入侵检测的发展现状,讨论了当前入侵检测中存在的问题并指出今后的发展趋势。

未来的入侵检测系统将会结合其它网络管理软件，形成入侵检测、网络管理、网络监控三位一体的工具。强大的入侵检测软件的出现极大的方便了网络的管理，其实时报警为网络安全增加了又一道保障。尽管在技术上仍有许多未克服的问题，但正如攻击技术不断发展一样，入侵的检测也会不断更新、成熟。同时要及时修补网络中的安全漏洞，否则安全也无从谈起。

随着技术的进步和应用环境的变化，入侵检测技术也出现了一些新的发展动向，具体发展的趋势如下：

（1) 分布式入侵检测。这个概念有两层含义：第一层，即针对分布式网络攻击的检测方法；第二层即使用分布式的方法来检测分布式的攻击，其中的关键技术为检测信息的协同处理与入侵攻击的全局信息的提取。

（2) 智能化入侵检测。即使用智能化的方法与手段来进行入侵检测。所谓的智能化方法，现阶段常用的有神经网络、遗传算法、模糊技术、免疫原理等方法，这些方法常用于入侵特征的辨识与泛化。

（3) 全面的安全防御方案。即使用安全工程风险管理的思想与方法来处理网络安全问题，将网络安全作为一个整体工程来处理。从管理、网络结构、加密通道、防火墙、病毒防护、入侵检测多方位全面对所关注的网络作全面的评估，然后提出可行的全面解决方案。

（4) IPs入侵防御系统。即由被动的入侵检测向主动的防御去发展，IPS能够进行实时监控，具备智能处理功能，可以主动阻截和转发数据包。

（5) 高速化、硬件化。网络基础设施建设的飞速发展预示着下一代网络必然是高速宽带网，因此有必要提高IDS的处理速度来满足应用要求。这其中零拷贝技术、硬件化的探测器、负载平衡技术都值得考虑。

本文来源：https://www.bwwdw.com/article/9ege.html