智能视频分析是指利用计算机图像分析技术，理解视频画面的内容，通过将场景中背景和目标分离，进而分析并追踪场景内出现的目标。
通过在摄像机场景中预设不同的分析规则，一旦目标在场景中出现了违反预定义的分析规则的行为，系统就会触发预设置的联动规则，从而达到主动报警功能。
从智能分析系统的产品形态来说，分为两类，一类是由智能算法+DSP来实现，常见于安装在前端的智能分析摄像机与智能分析视频服务器。目前，采用此种方式的系统较多，其是将具智能分析功能的软硬件前置在视频采集端。在常规视频监控系统中，视频占用了大量的存储空间和传输带宽，如何来解决这些问题是首要面临的难关。大量无用视频信息被存储、传输，既浪费了存储空间又占用了带宽，采用智能分析的目的是为了缓解视频存储所需要的空间和传输所需的带宽压力，或者对于一些不重要的视频采用低码流方式进行压缩和传输。这样，更有助于提升监控系统的应用价值。算法处理由前端来实现，后端的服务压力非常小，由此可以在一个系统中配置大量的智能分析摄像机。
另一类是采用后端PC服务器加智能分析软件的运行模式，像Aimetis、iOmniscient都是采用此种方式。采用此种方式因为由后端PC服务器来进行处理，从处理的性能上来说，要优于前端智能分析摄像机的处理，由于算法对硬件资源占用很大，在同时处理多个分析时，系统的处理能力不足就表现出来了。因为后端PC服务器有强大的分析处理能力(与前端DSP+软件方式相比)，所以PC服务器处理方式通常被应于非常重要的智能分析场合。
从智能分析的主要应用来看，有两个大的发展方向。其一是以车牌识别、人脸识别为核心代表的智能识别技术，主要应用于电子警察、机杨、海关。
另一个是以周界防范、人数统计、自动追踪、逆行、禁停等规则为代表的行为分析技术，主要应用于围墙周界警戒区、商场、交通、景点流量统计，道路禁停禁放、违章逆行、场景跟踪等方面。
1、双机自动跟踪：智能分析摄像机加普通快球方式。可应用于城市报警应急预案。突发事件的物体跟踪。
2、人流量统计：统计框选区域进出人员的数量，应用于超市商场顾客流量的分析统计，帮助商家制定相应的销售策略。应用于景点、地铁口，提供流量数据供人员管制应用。
3、穿越警戒区：通过设置虚拟围篱，对周界进行侦测。当发现可疑人员或者物体穿越围篱，即触发报警，并将报警信号上传至监控管理中心。同时可将报警画面通过网络上传至远程监看用户。应用于交通马路人行横道或斑马线、厂区重点区域围墙、学校、看守所围墙等。
4、丢失分析：通过在监控画面上画出一块放置重要物品的区域作为警戒区域，只要此物品离开了警戒区域，那么将立即触发报警规则。应用于重点保护区域如博物馆，展览厅，拍卖会，金银店等。
5、方向分析：在实际监控中，人们可能会关心人流的方向和车流的运动方向，通过方向的识别可以判断目标是否为不合法走动或行驶，如果出现逆向行为，目标将会被自动锁定，并同时报警。应用于单向行驶的道路；重要出入口等。
智能分析的技术瓶颈
6、智能跟踪：对可疑人或物体进行目标锁定，对目标的运动轨迹进行记录，同时摄像机将跟随目标转动并报警。应用于高档小区，人员禁入区域，机密区域，重要保护区域等。并可作为案发后，对案件回放过程的轨迹进行分析。达到迅速破案的作用。
智能视频分析系统解决了安保人员从繁杂和枯燥的“盯屏幕”任务解脱出来，由设备来完成这部分工作；另外一个是实现了从海量的视频数据中快速搜索到想要找的的图像。有研究表明，操作人员盯着电视墙超过10分钟后将漏掉90%的视频信息而使这项工作失去意义，往往监控系统就成了事后追查事件的依据。但智能视频分析系统就把事后的取证变成了主动的防御，使得项目能够以最省的成本，实现最有效的安保。智能视频分析系统以成功应用于各行各业，起到了举足轻重的作用。
是不是视频分析系统就是万能的呢？其存在哪些方面的不足呢？在实际环境中，光照变化无常、目标运动复杂性、遮挡、目标与背景颜色相似、杂乱背景等都会增加目标检测与跟踪算法设计的难度。我们可具体来看一下影响智能分析应用的几个方面：
背景的复杂性：光照变化引起目标颜色与背景颜色的变化，可能造成虚假检测与错误跟踪。采用不同的色彩空间可以减轻光照变化对算法的影响，但无法完全消除其影响；场景中前景目标与背景的相互转换，与行李的放下、拿起，车辆的启动与停止；目标与背景颜色相似时会影响目标检测与跟踪的效果；目标阴影与背景颜色存在差别通常被检测为前景，这给运动目标的分割与特征提取带来困难。
目标特征的取舍：序列图像中包含大量可用于目标跟踪的特征信息，如目标的运动、颜色、边缘以及纹理等。但目标的特征信息一般会随时变化的，选取合适的特征信息保证跟踪的有效性比较困难。
遮挡问题：遮挡是目标跟踪中必须解决的难点问题。运动目标被部分或完全遮挡，又或是多个目标相互遮挡时，目标部分不可见会造成目标信息缺失，影响跟踪的稳定性。为了减少遮挡带来的歧义性问题，必须正确处理遮挡时特征与目标间的对应关系。大多数系统一般是通过统计方法预测目标的位置、尺度等，都不能很好地处理较严重的遮挡问题。
兼顾实时性与健壮性：序列图像包含大量信息，要保证目标跟踪的实时性要求，必须选择计算量小的算法。健壮性是目标跟踪的另一个重要性能，提高算法的健壮性就是要使算法对复杂背景、光照变化和遮挡等情况有较强的适应性，而这又要以复杂的运算为代价。
针对上述的问题，如何来提升视频智能分析系统的有效性与实用性，我们可以从下述方面加以改进或是提升。
1、优化算法，制定针对场景的分析策略，使得算法的准确性得以增加。
2、合理选择摄像机安装角度，分析的准确程度，绝大部分取决于角度的合理性。
3、增加辅助补充设备，像增加补光灯或是红外光源，使在各种复杂条件下能加以应用。
视频智能分析系统是未来视频监控系统发展的必然趋势，作为从海量数据中获取有用信息最方便快捷的手段，将会成为视频监控系统的主力军，并且随着高清化，智能化的有机结合，随着摄像机与智能分析的一体化发展，其产生的作用及影响会越来越大，将传统的人防转变为技防。
