您好,欢迎来到安徽省安全技术防范行业协会!
0551- 62818875 64280445
- 行业动态
-
行业资讯
视频监控中关于海量视频存储技术的实现
来源:互联网 发布时间:2010/12/31
随着全国各地“和谐社会、平安城市”建设速度的加快,每个平安项目监控点成千上万,甚至数十万,根据政府、公安部门的要求,平安城市监控录像资料至少保存15天以上,因此产生的海量数据是非常惊人的,采用传统的硬盘录像机(DVR/NVR)无法满足实际的需求,但是作为其海量存储的载体——存储系统却往往由于性能、价格、兼容性等多方面因素成为困扰安防厂商的一个难题。
视频监控对存储的需求特点
视频监控对存储需求有如下几个特点:
1.对存储的容量需求弹性比较大,存储容量的多少随着画面质量的提高、画面尺寸的增大、视频线路的增加都会成倍的增加容量需求。
2.对存储的性能要求不高,但是需要能够满足长时间的连续数据读写,数据流量大但访问请求数量低。
3.数据保存周期短,一般的监控场所数据保存一定时间(如1个月)以后便可以删除。要为视频监控方案选择合适的存储设备,首先就要估算存储容量需求。那么根据现在主流的压缩方式来计算如下:
录像保存天数与硬盘的容量(每天24小时连续录像;硬盘容量单位为GB;下列数值的105%为硬盘实际使用容量)
从这个表我们基本可以估算出一个视频监控项目中所需存储设备的类型。举例来说,某银行需要4路视频监控系统,7*24小时监控,数据保存3个月便可以覆盖,那么总计容量需求1.7TB,。因此我们可以考虑推荐NS3500/NS33/NS35系列的存储设备。
按需提供存储解决之道:那么我们分析了视频监控系统对存储系统的要求,便可以针对不同的需求特点制定不同的解决方法。
存储技术及架构分析
传统的数据存储技术较为成熟和完善,目前,主流存储架构有NAS、SAN两种,而SAN又可分为FCSAN和IPSAN两种。下面就针对监控行业对存储的需求特点,结合用户的实际应用,将这三种存储架构进行一个比较和遴选。
一、文件级数据存储
NAS设备最主要的应用就是企业或部门内部的文件共享。由于NAS本身就是一台瘦服务器,有自己的操作系统和文件系统,可以直接与本地局域网连接,提供文件级的数据共享,但NAS设备无法成为服务器的本地硬盘,无法提供数据块的存储。
NAS是在局域网中传输,且有自己的操作系统和文件系统,这些因素都会导致NAS设备的带宽降低,增加NAS设备的读写响应时间。
二、FCSAN存储架构
FCSAN最大的优势在于其出色的性能。目前的主流FC产品的带宽为2Gb/s,4Gb/s产品也已经相当普遍,这是FCSAN高性能的标志。而光纤磁盘本身的高性能,也为FC磁盘阵列提供了高速运转的基础。[!--empirenews.page--]
FCSAN的高性能带来的另外一个特点就是高成本,从光纤阵列本身到光纤磁盘再到光纤交换设备、光纤HBA卡等周边设备的成本都是最高的,而采用光纤磁盘阵列带来的管理维护成本,也将是用户一笔不小的开支。
三、IPSAN存储架构
IPSAN中所采用iSCSI通信协议实际上是一个互联协议,是SAN结构的一种。通过将SCSI协议封装在IP包中,使得SCSI协议能够在LAN/WAN中进行传输。
1)为存储区域网定义(SANs)。IPSAN是SAN的一种,通过IP实现的SAN,即IPSAN.
2)支持数据库应用所需的基于块的存储。虽然是通过IP传输,但iSCSI却是基于块的存储,这有别于NAS的基于文件的存储。
3)基于TCP/IP,iSCSI是被封装在IP包中进行传输的,所以它具有TCP/IP的所有优点,诸如可靠传输,可路由等。
4)建立和管理基于IP的存储设备,主机和客户端之间的连接是建立在广泛使用的,为大家所熟悉的开放标准上的
5)提供高级的IP路由,管理和安全工具。现有的绝大部分网络管理工具都可以用来管理IPSAN.
IPSAN的优势
1)低成本
由于通过以太网进行传输,用户可以利用现有的以太网设施来部署iSCSI存储网络,而不需要更改用户的网络体系,所以他的部署成本比较低。
2)协议本身没有距离限制
由于使用TCP/IP进行传输,他不但可以在局域网中进行部署,也可以跨过路由设备在广域网中进行部署,大大扩展了iSCSI存储网络的部署范围。
3)易于使用
iSCSI结构简单,容易理解,协议通用,不同厂家的产品可以有机的结合起来共同使用,极大地保护了用户的投资。
4)易于扩展
由于iSCSI存储系统可以直接在现有的网络系统中进行组建,并不需要改变网络体系,加上运用交换机来连接存储设备,对于需要增加存储空间的企业用户来说,只需要增加存储设备就可完全满足,因此,iSCSI存储系统的可扩展性高。
综上所述,针对视频监控用户的需求和数据存储应用特点,IPSAN架构无疑是最合适的,其较FCSAN的成本优势,较NAS的性能优势和数据块级的存储都为IPSAN成为最适合视频监控系统应用的先天性优势。[!--empirenews.page--]
三种存储方式管理
分布式存储集中管理
对于大规模的城市联网监控系统,通常采用多个层次型的监控中心体系,每个基层的监控中心管理其辖区内的监控资源并进行存储,因此会采用分布式存储集中管理的模式进行构建,这种模式有助于减轻网络的压力,同时将资源下沉有助于实战部门掌握更多的资源。一级监控中心统一管理所有的视频资源和录像文件。
集中存储分布式管理
对于只有一个集中管理中心的中小规模联网监控系统,如县/地级市,某大城市公安分局,某大型工矿企业,数据一般集中存储在一级监控中心,其他的基层监控中心安装系统平台的分控客户端进行浏览和管理部分前端。在这种情况下,存储服务器集中放置在一级监控中心,通过虚拟卷和网格存储技术,形成一个无限容量的存储池,使存储扩展对用户透明。
混合型存储
将前面两种方式进行结合,以分布式存储作为基础,同时在一级监控中心设置网络存储服务器。短期的数据临时存放在基层监控中心的网络存储服务器内,长期的数据存上传一级监控中心的网络存储服务器中。重要监控点位的视频资料不仅存储在基层监控中心的网络存储服务器,也实时的传输到一级监控中心的网络存储服务器中作为备份。在基层监控中心建立备份计划,采用定时自动备份的方式,将超过30天的视频文件备份到网络存储服务器相对应的目录中。
海量存储解决方案
一般来说,城市道路交通监控的监控点非常多,需要存储的数据有监控录像、违章照片,还有道路监控指挥中心的管理系统数据。在指挥中心的存储管理服务器,根据硬件配置的高低可以接受100~150个视频流,所以指挥中心配置多台存储管理服务器。如果采用DAS(直连式)架构磁盘阵列的空间利用率会比较低,而且存储系统的升级扩容性相对较差,所以建议用户采用SAN架构。
本方案主要通过使用专业的存储系统,解决了道路交通监控系统的大容量存储问题、监控录像和照片的数据安全问题、存储系统的扩容等问题,而且还能针对不同监控点的数据安全级别要求,定制不同等级的安全存储空间,从而节约了存储空间。
1.大容量存储,扩容方便
如果使用数字硬盘录像机和服务器来存储监控录像,最多可提供不到10TB的存储空间。特别是硬盘录像机和服务器内安装的硬盘超过一定数量后,由于散热的因素,整个设备会变得不太稳定。
使用专业的存储设备DC-4000磁盘阵列,单套设备不仅可以提供多达50TB的存储空间,整个SAN系统还可以提供几百甚至上千TB的存储空间。
2.实现安全存储
专业的存储设备能够对监控录像提供更高级别的安全保护,例如RAID6可以做到损坏两块硬盘而数据不丢,系统还能正常使用。Roaming功能可以把硬盘从发生故障的设备中拔出,插入到同系列的设备上,但不会丢失硬盘上的数据。另外,独特的散热设计可以保证系统在各种环境下安全运行。
3.选择智能化程度较高的设备
什么是Roaming功能呢?举例说,我有2TB的数据存在5块500GB硬盘作为一组的RAID上,如果设备出现问题时,可以把这5块硬盘拔出来,插入到同一系列的任何一台设备上,照样可以读写这些数据。这种功能最大限度地保护了用户的数据安全,对于那种购买多台同一品牌设备的用户尤为实用。
虚拟卷技术原本是使用在高端存储产品上的一种技术。由于虚拟卷技术的实用性、灵活性,更能满足客户多种应用需求的存储,因此被越来越多地应用在中低端存储产品上。如果客户有3种以上的数据,需要不同的安全保护级别,而且单位数据的大小、传输速度也不一样,这时普通的磁盘阵列很难满足用户的存储需求,而采用虚拟卷技术的阵列就可以满足应用需求。