2016年 11月

目录

一、前言 ................................................................................................. 3 1.1物联网与视频监控 . ..................................................................... 3 1.2项目运用背景 ............................................................................. 5二、云计算和云存储 .............................................................................. 7 2.1云计算的概念 ............................................................................. 7 2.2云存储的概念和技术优势 .......................................................... 7三、云存储产品介绍 .............................................................................. 9 3.1云存储核心产品 . ......................................................................... 9 3.2架构 ............................................................................................. 9 3.3 优势及特点 ............................................................................ 10 四、现有存储与云存储对比 . ............................................................... 11 4.1现有存储系统结构 . ................................................................... 11 4.2云存储结构 ............................................................................... 12 4.3两种存储方式详细比较 . ........................................................... 13 五、基于云的云存储解决方案 ............................................................ 15 5.1方案背景及概述 . ....................................................................... 15 5.2方案拓扑图 ............................................................................... 17 5.3功能特色 ................................................................................... 17 六、云存储其它运用 ............................................................................ 18

一、 前言

1.1物联网与视频监控

当前,物联网技术在社会公共安全领域的综合应用时机已逐渐成熟。视频监 控技术是物联网技术的重要组成部分, 是感知安防的主要手段。 视频监控也是应 用历史相 对较长、技术密集度较大的应用领域。在信息化建设深入开展的背景 下,现有视频监控网络存在着缺乏深度应用的模式、监控网的智慧化程度不高、 系统建设的投入产出比低等突出问题。如何用新技术改造现有的视频监控网络, 使之能更好地适应物联网时代视频监控智慧化、情报化的应用需求已迫在眉睫。 视频监控系统作为面向城市公共安全综合管理的物联网应用中智慧安防和 智慧交通的重要组成部分, 面临着深度应用的巨大挑战。 其应用的瓶颈是视频信 息如何高效 提取,如何同其他信息系统进行标准数据交换、互联互通及语义互 操作。 解决这一问题的核心技术即是视频结构化描述技术。 用视频结构化描述技 术改造传统的视频 监控系统,使之形成新一代的视频监控系统———智慧化、 语义化、情报化的语义视频监控系统。

视频监控应用和技术的瓶颈

视频监控系统在社会管理和案件侦破等工作中有着不可替代的作用。 粗略估 算,

目前视频监控系统应用中存在一些突出问题:

1. 缺少视频信息情报的标准化生成方法, 进而缺少利用视频信息情报指导侦 查、破案的新型警务工作模式。

2. 视频信息的跨域、跨警种共享以及与其他信息系统的互联互通问题突出, 跨系统的语言不统一造成信息成为一个个的孤岛, 限制了大情报、 大信息系统的 建设及应用。

3. 存储传输的问题、由于要节省大量的存储空间及传输带宽的限制,不得不 对视频数据进行大量压缩, 不仅造成图像模糊的问题, 而且视频压缩时固定压缩 比的方式不够灵活,不得不占用大量的存储空间及传输带宽。

4. 高效计算的问题。由于视频监控要求计算的多功能性和实时性,而视频数 据的特殊性,带来计算成本的增 加,需要构建统一的用于视频监控的视频计算 理论和框架。

5. 视频信息化情报化警务应用各环节缺乏统一的标准和规范。 所有这些问题 的根本在于对视频内容的不 理解,没有一个高效的、标准化的视频数据交换和 视频情报提取的方法。 解决这些实际问题, 需要对视频结构化描述及以此技术为 核心的新型视频监控系统构建进行 重点研究。

视频结构化描述技术的目标及应用前景

视频结构化描述技术紧紧抓住视频内容信息处理和网络化共享应用的主线, 力争经过若干年的技术攻关和系统建设, 全面实现监控视频信息的情报化、 视频 监控网络的智慧化, 强化警务视频应用的普适性。 即实现以机器自动处理为主的 视频信息处理和分析, 并且通过技术手段转化为可用的情报; 实现监控网络之间、 终端之间、 警种之间的信息共享和主动互操作, 实现主动监控、 自动联网分析等 网络功能; 全方位拓展视频在警务工作中的应用模式, 大幅度提高技术的易用性, 实现 以业务民警为中心的随时随地的灵活、简单和多样的视频按需服务应用。 从应用前景看, 视频监控技术所面临的巨大市场潜力为视频结构化描述提供 了广阔的应用前景。 IDG 的研究报告显示, 2009年中国视频监控市场的总体规模 已 达 181亿美元。当前,许多国外公司已经瞄准了我国的视频监控市场。全面 开展视频结构化描述技术研究和产品开发,建立完全自主知识产权的技术体系, 不但对 我国安防行业的健康发展极为重要,也可以大力带动相关芯片制造、软 硬件产品开发等一大批民族产业的健康发展。

视频结构化描述技术及其发展战略

视频结构化描述是一种视频内容信息提取的技术, 它对视频内容按照语义关 系,采用时空分割、特征提取、对象识别等处理手段,组织成可供计算机和人理 解的文本信息的技术。

从数据处理的流程看, 视频结构化描述技术能够将监控视频转化为人和机器 可理解的信息, 并进一步转化为实战所用的情报, 实现视频数据向信息、 情报的 转化。

为实现视频数据向视频情报的转化, 建议采用以下三大举措突破制约视频监 控建设和应用的深层问题。

1. 研究关键技术,突破应用难题。在研究业务部门视频应用规律的基础上, 建立监控视频结构化描述的模型, 攻克一批涉及视频分割、 内容提取、 内容描述 的关键技术。 研究涉及关键应用的描述数据库管理技术、 图像视频语义检索技术 和相应的数据服务技术。

2. 加强顶层设计,同步构建标准体系。标准化是信息共享的基础。通过对视 频结构化技术自身特点和应用模式的研究, 建立有关视频结构化描述的标准体系 模型, 制定覆盖技术实现和应用系统的标准化体系, 有步骤地制定相关标准, 以 规范技术研究和设备开发, 指导系统建设、 运行以及评估的各个方面, 从源头上 为视频信息情报化应用的全面展开打好基础。

3. 有步骤地开展视频信息情报化系统平台的建设, 逐步推动信息资源之间的 整合应用。 开展有关视频结构化描述数据的应用服务模式研究, 制定视频结构化 应用的系统及解决方案,并针对一到两个典型的应用环境,建设应用示范系统。 通过系统的建设和运行, 验证有关视频结构化描述系统的解决方案, 探索视频监 控网络与业务专网之间的数据交互和服务交互问题, 尝试与其他信息系统的资源 整合。

1.2项目运用背景

随着视频采集、编码技术不断发展, ITS 系统中图片和视频文件清晰度越来 越高,随之而来的是对存储空间的需求也呈几何级数增长。面对庞大的数据量, 以下几个问题亟待解决

容量扩展的技术和成本

通常来说,图片信息需要在短期内(一年)保存,随着卡口和监控点数量将 不断增加, 需要保存的数据量将飞快增长。 传统 ITS 系统存储架构, 存在着容量 扩展困难、 扩展成本高、 且随着设备数量增加难以统一管理等诸多问题。 需要先 进完善的 ITS 存储架构加以解决。

存储系统性能瓶颈

面对日益增长的庞大数据量和高清化的趋势, 前端摄像头采集的数据本身将 从容量和并发性能两个方面带来业务上的压力,传统方案中存储系统性能有限, 越来越难满足增长的需求,如此一来, ITS 系统对资料进行读写时将耗费系统较 多资源,潜在影响系统整体性能,表现出访问延时增大等问题。

难以统一管理

随着数据量的规模增长,很容易达到单套存储系统的容量上限。在很多情况 下, 已经需要多套存储系统提供空间, 而跨系统的数据无法进行统一的管理。 存 储成为一个个信息孤岛, 无法有机的融合成一体的存储资源池。 同时, 随着设备 数量的增加,设备状态的监控和日常维护也渐渐成为一个不可忽视的技术挑战。 云计算 /云存储是并行计算、分布式计算、网络存储、虚拟化、等传统计算 机技术和网络技术发展融合的产物,通过网络对 IT 资源进行大规模集中建设和 共享管理 , 实现各种 IT 应用及资源的集中供给。云存储具有弹性扩展,按需分 配, 自动负载均衡以及更高级别的可靠性等显著优点, 支持超大存储容量、 超高 聚合性能、便捷的共享方式以及统一管理等需求,可从体系结构上有效解决 ITS 系统中传统存储存在的一些问题。

二、云计算和云存储

2.1云计算的概念

云存储是在云计算概念的基础上发展出来的, 要想搞清楚什么是云存储, 首 先要弄清云计算的概念。

云计算(Cloud Computing )的概念提出较早,但一直到 2007年才有一个较 为清晰的定义。 目前较为流行的说法是云计算是一种新兴的商业计算模型, 他是 从对等计算(P2P Computing ) 、分布计算(Distributed Computing ) 、网格计算 (Grid Computing )等概念的基础上发展来的。它将计算任务分布在大量计算机 构成的资源池上, 使各种应用系统能够根据需要获取计算力、 存储空间和各种软 件服务。 商业化是云计算一个非常重要的特征。 对广大互联网客户来说, 如何使 用云资源, 如何把云计算转化成商业利润非常重要。 云计算是以服务的形式提供 给个人和企业用户。目前主要有三种云服务的形式,如下图所示:

2.2云存储的概念和技术优势

云存储是在云计算概念上衍生和发展出来的一种技术或者服务。 将网络中各 类存储设备汇集在云计算系统当中, 通过云计算的概念组织起来协同工作, 对外 提供数据存储和业务访问的功能,或与存储相关的增值应用,即称为云存储。 私有云存储是一个新型的云状结构的存储系统系统,这个存储系统由 多个服务器及存储设备组成,通过集群功能、分布式文件系统和类似网格

计算等功能联合起来协同工作,并通过特定的应用软件或应用接口,对用

户提供存储服务和访问服务。

当我们使用独立存储设备时,我们必须非常清楚这个存储设备是什么 型号,什么接口和传输协议,必须清楚地知道存储系统中有多少块磁盘, 分别是什么型号、多大容量,必须清楚存储设备和服务器之间采用什么样 的连接线缆。为了保证数据安全和业务的连续性,我们还需要建立相应的 数据备份系统和容灾系统。除此之外,对存储设备进行定期地状态监控、 维护、软硬件更新和升级也是必须的。 如果采用云存储,那么上面所提到 的一切对使用者来讲都不需要了。云存储系统中的所有设备对使用者来讲 都是完全透明的,任何一个经过授权的使用者都可以通过一根接入线缆与 云存储连接,对云存储进行数据访问。

云存储带给用户的好处是显而易见的:

1. 更低的扩展成本:任何共享存储架构不外乎有两种方式,开放的云存储 系统和封闭的 IP SAN 存储。在需要解决新问题的时候,封闭的架构限制了用户 在技术、成本、功能和可用性方面的选择,将用户锁定在某一个品牌上,使其只 能向单一厂商采购。 相反, 云存储其本质就是开放的架构, 更佳的成本效率使其 易于管理和扩展。 不限制其接入主机的数量。 所有的存储服务由云存储系统集中 提供, 从而消除了通过增加服务器扩展系统时的隐含的成本。 增加存储容量与增 加服务器类似, 云存储系统对于它可以管理的容量和它可以建立的卷的数量没有 实际的限制, 用户可以自由选择他们想要提高容量的任何存储厂商以及将来需要 增加的必要的数据服务。

2. 提高业务灵活性:云存储能够实现用户控制、按需分配的存储容量和性 能。 用户可以按照需求轻松的扩展容量, 从而大大降低了对存储的依赖性, 提高 了业务灵活性。

3. 提高性能:云存储一般一个数据要在多个地方存放,以提高数据的安全 性。 这样在读取的时候, 云存储管理系统应该可以控制在多个地方同时读写, 从 而达到性能的线性提升。

三、云存储产品介绍

3.1云存储核心产品

私有云解决方案的云存储核心产品为大规模分布式存储系统。

能够以大量的通用服务器和存储设备为基础, 构建一个大规模存储集群, 提 供上百 PB 的存储容量,并能够方便的进行容量的扩充,具有良好的弹性调整性 能。

3.2架构

Master(支持 HA )

管理文件系统的元数据 (包括文件目录树组织、 属性维护、 文件操作日志 记录、授权访问等) ;管理整个存储系统的命名空间,对外提供单一的系 统映像;文件读写调度 ; 文件空间回收 ; 多节点拷贝。

ChunkServers

管理磁盘和卷 ; 存储用户的文件数据 ; 是整个 UFS 存储系统的存储资源提供 者 ; 为客户提供数据传输 ; 由多个物理服务器组成 ; 数据存储目录, 看不见实 际的数据(只有带编号的目录及文件)

客户端(计算节点)

挂接分布式文件系统; 一般是应用服务器; 客户端可以是各种类 Unix 、 Linux , 也可以是 Windows

UCSG (云存储网关)

以 Active-Active 方式提供其他非客户端的标准文件协议访方式, 支持 NFS 、 CIFS 协议。

UFSM (WebGui ,界面管理系统)

3.3 优势及特点

系统具有以下优势及特点

●高性能,弹性扩展:

– 可支持 200个以上的存储节点,达到数十 PB 的存储容量,高效管理 上百亿个文件,单目录可以有效支持千万级的文件数量。

– 对外聚合带宽随节点数线性增长, 高效数据读写技术和文件查询技术 能够提供高达 400Gbps 的稳定聚合带宽以及每秒数十万个的文件查 询效率。

●高智能,易管理:

– 智能负载均衡技术,保证数据在多个存储节点之间形成最优化存储, 提高每台设备的存储利用率,网络传输效率,保证整体性能最优; – 当数据节点动态增加时, 系统能够清晰的自动识别这一变化, 并将数 据流按照一定规则分布到新加入到数据节点中,提高整体性能。 ●高可用:

– 系统全冗余技术 (包括元数据服务器集群、 存储服务器集群、 网关集 群) ,不存在单点故障,保证了系统的高可用特性。

– 独有的自动故障探测和高效的自动恢复和容错技术, 可同时使用多条 高速数据通道, 消除网络层的单点故障, 进一步提高系统的高可用性。 – 根据用户的安全要求, 数据块存在多个副本, 保证单个数据节点损坏 时不会产生数据丢失。用户可配置数据冗余策略 。

四、现有存储与云存储对比

4.1现有存储系统结构

ISCSI 阵列 ISCSI 阵列 ISCSI 阵列 分析:现有存储是通过 ISCSI 将磁盘阵列挂载到存储服务器上(IP 存储阵列)来 实现。这种存储方式的缺点主要有以下一些

1. 单一实体, PC 架构或者运行 Windows 、 Linux 以及存储软件的专用设备, 或者是带 IP 连接的专有 RAID 系统

2. 通过安装额外的软件模块来增加额外的存储服务,进行数据访问时须耗 费磁盘阵列一定的资源,读写性能受影响

3. 通常需要大量的高速缓存用以补偿在随机读写时较低的磁盘性能

4. 兼容性差, IP SAN 存储具有单一性,不能与其它厂商的 IP SAN 存储互 操作,不支持异构环境

5. 数据安全无保障,即使做了 RAID ,出现一块磁盘损坏须进行长时间校验 恢复操作,严重影响存储读写性能,如果出现两块或以上硬盘的损坏则 整个磁盘阵列的数据将全部丢失

6. 大容量的系统中,这种方式构建的存储没有统一管理的机制,无法实时

监控各存储设备的运行状态

4.2云存储结构

说明:在物理连线上与现有存储系统相似,但是工作方式完全不同。

分析:智能交通平台与云存储系统的契合点就是平台中的存储服务器, 在存 储服务器上安装云存储系统客户端软件,将云存储空间提供给存储服务器使用。 相比较现有存储系统,云存储有以下一些优点

1. 按需扩展。实际应用中,项目需要扩容时,只须将新增存储设备作为 Chunk Server加入云存储系统中即可实现存储扩容。

2. 在云存储系统中, 数据大小、 存放位置等结构化数据全部由 Master 管理, 磁盘阵列(Chunk Server)只负责实际数据的读写,提高了磁盘阵列自身 的性能。

3. 无论是随机还是顺序读写,性能都是线速的,具备较高载荷性能。

4. 高可靠。 Master 端采用双机热备方式实现对元数据的保护; Chunk server端按照数据重要性设置复制因子,实现对数据的冗余保护。

5. 提供界面管理系统, 对系统内所有设备统一管理, 且实时监控运行状态。

4.3两种存储方式详细比较

性能

IP SAN存储阵列

在所有的 ISCSI 存储模式中,与存储访问性能相比,网络的性能通常可 以忽略不计。 这一点对于选择一个能够处理所有接入服务器随机读写请求的 存储解决方案是十分重要的。随机读写性能比顺序读写性能更具重要性。 IP SAN 存储产品一般被设计为一个 RAID 控制器下连接 8到 15颗 SATA 或 ATA 的磁盘驱动器,通常使用 512MB 高速缓存。依据不同的厂商, IP SAN 存储的性能被设定在顺序每秒 IO 为 100MB 到 200MB 之间, 但是在一个多服 务器环境中,顺序读写性能对于读取数据周期,备份操作或者数据复制会话 而言是不切实际的。所有已连接服务器的随机 IO 请求可能会使 IP 存储阵列 中的高速缓存处于饱和状态,因为对于大量的读写请求,磁盘驱动器无法实 现足够地快速响应。 这同时会导致内存溢出或者过多的经由网络层的重复发 送请求。 这种情况会导致网络过载, 并且使得 IP SAN 存储的性能急剧下降。 当增加更多的服务器以及通过增加磁盘驱动器或者网络上额外的链接 存储扩展存储空间时,这种情况会变得更加严重。另外,当逻辑卷物理地分 散在网络中多个独立的存储上时, IP SAN 存储的随机读写性能可以显著地影 响服务器性能。如果需要的数据不在服务器相应的主 IP SAN 存储的挂载卷 上,那么这台阵列必须从网络上的其它存储阵列上读写数据块,然后通过其 自身传递该数据块并且转发到服务器,这就是“ IO 跳跃” ,其相当程度地影 响了服务器性能。

在读写数据操作期间,特别是在随机条件下, “ IO ”跳跃可以导致性能 降低到原来的三分之一。一些阵列厂商,很大程度上依靠增加高速缓存或者 IP SAN 存储的数量来弥补可怜的磁盘性能, 但是高速缓存只有在全部服务器 的总体性能要求总是低于存储系统所能提供的性能时才是有用的; 如果不是 这样,高速缓存将会饱和,并且使得应用服务器显著变慢。而且高速缓存没 有得到很好地保护, 任何电力问题都会引起高速缓存中的数据丢失或者被损 坏,从而导致数据不可用。

云存储系统

云存储系统被设计为可以支撑高水品的随机读写操作, 可以向多台相互 独立的存储阵列同时读写数据,不象 IP SAN 存储由于其内部接入过多的存 储空间导致“ IO 跳跃” ,从而使性能显著降低。由于存储卷在多**立的存 储系统上展开, 并且可以不通过其它控制器层传输数据而直接访问那些存储 系统,云存储系统可以对那些存储系统保持线速性能,而不管数据存放的位 置。

有关性能的结论

IP SAN 存储的性能受限于作为阵列一部分的磁盘驱动类型和高速缓存。 IP SAN 存储的数据卷被扩展至围绕以太网连接的多台对等阵列控制器上时, 其性能可下 降至不可接受的 40MBs 以下。 云存储系统不受限于任何类型或品牌的存储阵列。 此外, 云存储系统性能不会因为增加更多的阵列扩展存储空间而受到影响, 事实 上, 云存储的性能可以随着阵列的增加而提高, 这是因为随机读写请求可以被扩 展并且同时被多台存储系统同时处理。

数据安全

IP 存储阵列

IP SAN 存储存在数据可用性问题, 因为其自身将成为一个单故障点。 如 果出于任何原因,连接 IP SAN 存储的网络, RAID 控制器,电源或者磁盘总 线失效,那么所有使用其数据的服务器将不能在服务其客户端。一些阵列装 备了冗余部件以减少由于电源,控制器或磁盘失效导致系统失效的可能性。 但是 IP SAN 存储仍然在一个单独的阵列中保存了所有数据,因此无法保护 由水灾、火灾、网络中断、停电、人为破坏和盗窃造成的系统失效和数据丢 失。

云存储系统

对比 IP SAN 存储, 云存储系统利用群集技术在多台 ChunkServer 之间建 立失效切换和失效恢复场景,除了系统冗余之外,对相互独立的存储系统进 行实时(同步)数据镜像,提供了极高的持续和容错数据环境,有效防止数 据丢失,同时 Master 支持 HA 。

隐性成本

IP 存储阵列

IP SAN 存储是封闭的架构。 整个系统只是用于单一厂商, 并且不能与其 它设备、 存储系统, 或者 IP SAN 存储互操作。 一旦用户选择购买了某一 IP SAN 存储解决方案,如果用户打算扩展更多的应用服务,存储服务或数据容量, 他们必须继续从相同的厂商购买产品。 IP SAN 存储厂商锁住了用户, 不允许 他们从下降的存储成本、 新存储技术或其它可能满足工业标准或业务需要产 品和功能中收益。

云存储系统

云存储系统本质就是开放的架构,更佳的成本效率使其易于管理和扩展 1) 增 加应用服务器

云存储不限制其接入的主机数目,对于每一台增加的服务器不需要 软件代理或许可费。用户不需要任何与云存储系统有关的投入就可 以对应用服务器进行扩展。

2) 增 加存储容量

增加存储容量与增加服务器类似。云存储系统对于它可以管理的容 量没有实际上的限制。当增加更多的磁盘驱动器,磁盘柜或者阵列 以增加可用容量时,不会产生与云存储相关的成本。用户可以自由 选择他们想要提高容量的任何存储厂商,并且可以充分地从不断下 降的磁盘 / 容量价格中获得利益。

五、基于云的云存储解决方案

5.1方案背景及概述

图片系统存储总量估算:大型城市规模在 500个路段上建有卡口设备, 每个 卡口设备平均每天有 2万条过车记录, 每条过车记录包含 1张 1M 的照片, 通常 图片需要保存一年以上。

按照此规模,存储总量将达到 500*20000*1Mb*365天 =456.25TB。

根据系统的存储需求,采用云海创想的作为海量存储系统。整套系统由安 装在用户服务器处的 Client 及在后台运营 Master(Metadata) Server、 Chunk Server 、 Management Server组成。

●存储服务器及分析服务器处安装 Client 软件包,由它来连接后台的 Server 。 Client 是提供的客户端软件 , 用户通过它来访问 UFS 提供的存 储空间。

●Master Servers为 UFS 系统的元数据服务器,管理文件系统的元数据 (包括文件目录树组织、 属性维护、 文件操作日志记录、 授权访问等) , 管理整个存储系统的命名空间,对外提供单一的系统映像。

●Chunk Servers 为 UFS 的存储服务器,管理磁盘和卷,存储用户的文件 数据,是整个 UFS 存储系统的存储资源实际提供者。

●Management Server 即 UFS 文件系统管理平台,统一管理 UFS 系统中的 集群节点、文件、日志、告警、网关等。

●用户也可以通过 API 或 UCSG (云存储网关) 方式连接服务器, Web Client 提供基本的文件管理功能。利用浏览器来对数据进行管理,实现上传 下载,分发共享等功能。

●除了 Client ,用户也可以使用各种 API 或 UCSG (云存储网关)来访问 存储, UCSG 利用标准协议进行访问, 不需要在应用服务器端安装软件。 支持的访问协议包括 NFS v2/3协议, CIFS (兼容 Windows XP 、 Windows 2000、 Windows 2003、 Windows 7等等)协议, FTP 以及 HTTP 协议。

5.2方案拓扑图

5.3功能特色

本方案具有以下优势及特点:

●高性能,易扩展,满足用户海量存储需求

最大可支持 200个以上的存储节点,达到数十 PB 的存储容量,高效管 理上百亿个文件,单目录可以有效支持千万级的文件数量,能够满足用户 对海量存储空间的需求。对外聚合带宽随节点数线性增长,高效数据读写 技术和文件查询技术能够提供高达 400Gbps 的稳定聚合带宽以及每秒数十 万个的文件查询效率。

所有文件在写入文件系统时进行了分块处理,用户可以同时读取多个 数据块,以提高数据读取效率。在容量或带宽不足时,可以通过添加数据 节点进行在线扩展,无需中断业务运行。

●智能化平台,易于管理,有效降低用户整体拥有成本

当数据节点动态增加时,系统能够清晰的自动识别这一变化,并将数

据流按照一定规则分布到新加入到数据节点中;当有新的用户申请数据存

储时,系统同样会根据当前所有数据结点的负载情况,动态分配合适的数 据结点给用户使用。这些智能负载均衡技术,保证数据在多个存储节点之 间动态分配,提高每台设备的带宽、存储利用率,以及网络传输效率,保 证整体性能达到最优。

具有简单易用的多语言图形化管理和监控界面,支持通过专用的安全 通道进行远程配置和全系统监控。采用全局命名空间,所有应用服务器看 到一致视图,方便用户数据的统一管理。

同时,具有多个实用的小工具,如快照、回收站等,降低维护难度。 全方位高可用设计,最大程度保证业务连续性

系统关键系统均采用了全冗余设计(包括元数据节点集群、存储节点 集群、网关集群) ,不存在单点故障,保证了系统的高可用性。

独有的自动故障探测和高效的自动恢复和容错技术,可同时使用多条 高速数据通道,消除网络层的单点故障,进一步提高系统的高可用性。 根据用户的安全要求,数据块可保存多个副本,保证某些硬盘和数据 节点损坏时不会产生数据丢失。

以上设计最大程度保证了业务结连性。

六、云存储其它运用

交通视频云存储解决方案

交通视频云存储解决方案

杭州海康威视系统技术有限公司

目录

第一章概

述 ....................................................................................................... 5

1.1系统简介 .......................................................................................... 5

1.2设计目标 .......................................................................................... 5

1.3设计原则 .......................................................................................... 6

第二章总体设

计 ................................................................................................ 8

2.1逻辑架构 .......................................................................................... 8

2.2技术路线 ........................................................................................ 10

2.3系统特点 ........................................................................................ 11

2.3.1高效灵活的空间管理 ............................................................... 11

2.3.2海量数据的快速检索 ............................................................... 12

2.3.3持续可靠的数据服务 ............................................................... 13

2.3.4高可扩展的应用支撑 ............................................................... 14

2.3.5开放透明的兼容系统 ............................................................... 15

2.4应用场景 ........................................................................................ 15

2.5系统软硬件设计 ............................................................................. 16

2.5.1软件设计 ................................................................................. 16

2.5.2硬件设计 ................................................................................. 24

第三章视频、图片混合云存储设

计 ................................................................. 26

3.1系统物理拓扑 ................................................................................. 26

3.2系统功能设计 ................................................................................. 28

3.2.1视频存储功能 .......................................................................... 28

3.2.2录像管理功能 .......................................................................... 29

3.2.3图片存储功能 .......................................................................... 29

3.2.4系统管理功能 .......................................................................... 30

3.2.5运维管理功能 .......................................................................... 30

3.3系统业务流程 ................................................................................. 30

杭州海康威视系统技术有限公司

3.3.1视频存储流程 .......................................................................... 31

3.3.2视频检索流程 .......................................................................... 32

3.3.3视频读取流程 .......................................................................... 33

3.3.4图片存储流程 .......................................................................... 33

3.3.5图片检索流程 .......................................................................... 36

3.3.6图片下载流程 .......................................................................... 36

3.4云存储管理服务器设计 .................................................................. 37

3.4.1数量配置 ................................................................................. 37

3.4.2硬件配置 ................................................................................. 38

3.5云存储存储设备设计 ...................................................................... 39

3.5.1存储容量计算 .......................................................................... 39

3.5.2存储设备数量配置 ................................................................... 40

3.5.3存储设备硬件配置 ................................................................... 41

第四章交通综合管控平台设

计 ........................................................................ 44

4.1平台整体架构 ................................................................................. 44

4.2平台功能模块设计 .......................................................................... 45

4.3平台功能设计 ................................................................................. 46

4.3.1视频监控 ................................................................................. 46

4.3.2实时视频监控 .......................................................................... 46

4.3.3交通监控 ................................................................................. 51

4.3.4系统管理 ................................................................................. 62

4.3.5运维管理 ................................................................................. 70

4.3.6流媒体管理 .............................................................................. 73

4.3.7存储管理 ................................................................................. 74

4.3.8报警管理 ................................................................................. 75

4.3.9以图搜图 ................................................................................. 77

4.3.10电视墙管理 ............................................................................ 78

4.3.11跨网域访问 ............................................................................ 79

杭州海康威视系统技术有限公司

4.4平台联网设计 ................................................................................. 80

4.4.1平台级联与国标设备接入 ........................................................ 80

4.4.2平台互联协议接口 ................................................................... 80

4.4.3平台互联建设遵循标准规范 ..................................................... 81

4.5平台部署 ........................................................................................ 83

4.5.1运行环境要求 .......................................................................... 83

4.5.2配置推荐原则 .......................................................................... 85

杭州海康威视系统技术有限公司

第 一 章 概述

1.1 系统简介

随着交通监控系统规模越来越大，以及高清视频监控系统、高清卡口

系统及卡口型电子警察系统的大规模应用，需要存储的数据和应用的复杂

程度在不断提高，且视频数据和图片数据需要长时间持续地保存到存储系

统中，并要求随时可以调用，对存储系统的可靠性和性能等方面都提出了

新的要求。在未来的交警监控系统中，视频监控点和电警卡口车道数会达

到几千路的规模，视频视频和图片的存储容量将达到PB级别，对海量数

据提供快速存储及检索技术，显得尤为重要，存储系统正在成为交通监控

技术未来发展的决定性因素。

面对PB级的海量存储需求，传统的SAN或NAS在容量和性能的扩展

上会存在瓶颈。云存储可以突破这些性能瓶颈，并且可以实现性能与容量

的线性扩展，这对于追求高性能、高可用性的企业用户来说是一个新选择。

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个

新的概念，是指通过集群应用、网格技术或分布式文件系统等功能，应用

存储虚拟化技术将网络中大量各种不同类型的存储设备通过应用软件集

合起来协同工作，共同对外提供数据存储和业务访问功能的一个系统。所以云存储可以认为是配置了大容量存储设备的一个云计算系统。

依据云存储的技术及功能特点，海康威视公司专门针对大容量视频数据和图片数据的存储和管理以及满足监控领域特殊的应用需求，量身设计了一套海康威视交通智能云存储系统(以简称为交通云存储系统)。

1.2 设计目标

交通云存储系统设计的核心目标其一是视频和图片数据在存储方面能够很好的满足用户需求;其二是为用户应用数据提供高效、稳定、快速的服务;其三是系统可以实现便捷、可靠的统一管理及运维。

1)数据存储

杭州海康威视系统技术有限公司

交通云存储系统实现PB级的海量存储，突破传统的SAN或NAS在容量和性能的扩展上存在的瓶颈，实现性能与容量的线性扩展，满足用户对高性能、高可用性的需求。

交通云存储系统通过集群智能化部署设计，不同于传统存储的部署模式，系统性能全面提升，而且不再存在单机故障及性能瓶颈应用，从而实现高效实用的存储系统。

2)应用服务

交通云存储系统是一套贴合用户需求而设计的云存储系统，其先天的基因中就融入了面向应用的特质，在不断发展的趋势下这种面向应用的特质会不断地为用户提供高效、灵活、可靠的专业级存储服务。

3)统一管理及运维

交通云存储系统具有高效灵活的空间管理能力，通过全系统分层集群的设计将系统的管理资源进行整合，并根据负载均衡算法提供全高效并发处理机制，提高了系统的整体性能。

交通云存储系统内的设备和资源的运行情况进行统一监控，以标准的SNMP协议与运维服务器进行数据交互，能够非常便捷的实现系统整体运维。

1.3 设计原则

交通云存储系统的设计和实施主要遵循“技术先进性、应用高效性、开放兼容性”等方面的原则。

1)采用前瞻性的存储技术架构

采用以云存储为核心的IT技术与交通行业特点进行结合，进而针对性开发出具有行业属性的先进视频、图片混合的专有交通云存储系统。将云存储核心技术如集群化部署、资源虚拟化整合、分布式流数据存储等技术应用到交通云存储系统中。同时充分考虑交通监控行业的发展需要，本系统能够支撑未来大数据处理、智能分析处理等云计算技术的需要，实现云存储系统在交通监控领域的先进性和前瞻性。

2)专注与应用结合的设计方式

杭州海康威视系统技术有限公司

本套云存储系统是针对交通行业内视频数据、图片数据存储而设计的，对数据的具体业务应用进行详细的应用分析后，从系统底层的流数据结构的设计一直到上层的应用调度策略设计都是站在应用的角度考虑存储。

云存储系统应该定位于作为应用的支撑，而不能再停留在传统存储和

通用的文件云存储仅仅是数据存储的这一较低的层次认识。因此专注于视频和图片的应用是本套交通云存储系统的重要设计原则。

3)提供开放和兼容的系统环境

云存储系统的开放性和兼容性是需要考虑的重要原则，本套交通云存储系统充分考虑了与第三方标准存储设备的兼容性问题。对于第三方标准存储设备，交通云存储系统能够做到良好的兼容性，以保护用户的前期投入提供一个开放、公平的系统环境。

杭州海康威视系统技术有限公司

第 二 章 总体设计

交通云存储系统是由海康威视自主研发的一套针对安防监控行业应用的专业级云存储系统。采用软硬件一体化设计，结合先进的集群化技术、虚拟化技术、离散存储技术等，通过流式文件系统对存储资源进行虚拟化和应用化整合，为用户提供高性能、高稳定、高扩展性的数据存储服务。

2.1 逻辑架构

交通云存储系统采用分层结构设计，整个系统从逻辑上分为五层，分别为设备层、存储层、管理层、接口层、应用层。

杭州海康威视系统技术有限公司

图1. 云存储逻辑架构图

1)设备层

设备层是云存储最基础、最底层的部分，该层由标准的物理设备组成，支持标准的IP-SAN、FC-SAN存储设备。在系统组成中，存储设备可以是SAN架构下的FC光纤通道存储设备或iSCSI协议下的IP存储设备。

2)存储层

在存储层上部署云存储流数据系统，通过调用云存储流数据系统，实现存储传输协议和标准存储设备之间的逻辑卷或磁盘阵列的映射，实现数据(视频、图

片、附属流)和设备层存储设备之间的通信连接，完成数据的高效的写入、读取

杭州海康威视系统技术有限公司

和调用等服务。

3)管理层

在管理层，融合了索引管理、计划管理、调度管理、资源管理、集群管理、设备管理等多种核心的管理功能。可以实现存储设备的逻辑虚拟化管理、多链路冗余管理、录像计划的主动下发，以及硬件设备的状态监控和故障维护等;实现整个存储系统的虚拟化的统一管理，实现上层服务(视频录像、回放、查询、智能分析数据请求等)的响应。

4)接口层

应用接口层是云存储最灵活多变的部分，接口层面向用户应用提供完善以及统一的访问接口，接口类型可分为Web Service接口、API接口、Mibs接口，可以根据实际业务类型，开发不同的应用服务接口，提供不同的应用服务。实现和行业专属平台、运维平台的对接;实现和智能分析处理系统之间的对接;实现视频数据的存储、检索、回放、浏览转发等操作;实现关键视频数据的远程容灾;实现设备以及服务的监控和运维等。

5)应用层

应用层包括交通综合管控平台、运维平台等应用平台，应用平台通过相应的接口与交通云存储系统对接，实现与交通云存储系统之间的数据以及信令的交互。

交通综合管控平台可与交通云存储系统进行配置录像计划、配置存储策略、检索视频资源、重要录像的备份存储等指令的交互，辅助流数据、视频数据、图片数据的存取。

运维平台采用标准的SNMP协议实现并提供Mibs 接口，对交通云存储系统以及服务进行监控管理，及时将产生的告警传递给用户。

2.2 技术路线

交通云存储系统基于云架构进行开发，采用面向交通用户业务应用的设计思路，融合集群应用、负载均衡、虚拟化、云结构化、离散存储等技术，可将网络中大量各种不同类型的存储设备通过专业应用软件集合起来协同工作，共同对外提供高性能、高可靠、不间断的数据存储和业务访问服务。

杭州海康威视系统技术有限公司

在交通云存储系统的设计中，采用的核心技术如下:

1)采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架，可持续扩容避免瓶颈限制，可以更有效的进行资源管理，灵活增减空间，达到最大程度上合理利用空间的效果。

2)采用集群技术，解决单/多节点失效问题，并利用负载均衡技术充分利用各存储节点的性能，提升系统的可靠性和安全性。

3)采用离散存储技术，保障了用户高效的读写的同时保证了业务的

持续性。

4)采用统一完善的接口，降低对接成本、平台维护成本和用户管理的复杂度。

5)采用开放的集成构架，使其可兼容业界各类iSCSI/FC存储设备，保护用户现有存储投资资源。

6)采用数据备份和容灾技术，保证云存储中的数据不丢失，确证云存储服务的安全稳定。

7)可采用视频、图片的全直存技术方案(需要前端支持)，保证项目整体的成本控制，优化存储系统流程。

2.3 系统特点

交通云存储系统通过全集群化设计、全域虚拟化设计、分布式文件系统设计、面向应用的算法、功能设计为用户提供了更为海量的存储空间、更为庞大的前端路数支持、更为高效的处理能力、更为透明的系统环境。对于面向视频、图片等监控行业无疑是一套非常优秀的云存储系统。

2.3.1 高效灵活的空间管理

交通云存储系统具有高效灵活的空间管理能力。为了突破传统存储在存储容量和系统性能上的矛盾，在管理大容量空间时通过全系统分层集群的设计将系统的管理资源进行整合，并根据负载均衡算法提供全高效并发处理机制，大大地提高了系统的整体性能。

1)存储资源的虚拟化

杭州海康威视系统技术有限公司

对存储空间的管理方面交通云存储系统将全域各存储节点的资源进

行虚拟化后，向用户呈现出一个持续的、超大的数据资源池，将其称之为

存储资源

视频监控云存储发展前景

随着安防高清视频的发展大势一卷而来, 安防云存储在安防行业的前进路上打开 了“柳暗花明”的新天地。

方向有了,前景也不错,安防和安防云存储相互需要,万事俱备。而安防和 云存储之间的缓慢进展与人们的期待形成强烈反差。大好发展前景背后有何隐 痛 ?

安全隐患首当其冲

当用户用作安防之用的高清视频存储于云端, 用户的数据便与存储于本地大 有不同。用户对视频数据的掌控大大削弱,安全问题首当其冲。

安防云存储指向企业和个人两个群体,个人信息泄露不仅侵犯当事人隐私、 导致财产损失,甚至造成人身伤害。苹果 iCloud 漏洞致好莱坞大量女星裸照外 泄的事件便是典型的个人云存储安全问题。 在数据信息的作用与地位日益显要的 今天, 企业关键信息泄露将给企业声誉、 公众信任感、 经济利益等造成不可弥补 的伤害,甚至决定企业生死存亡。

大多数云存储提供 ** 、加密等安全措施,但是这并不能严密防止以特殊 目的获取登陆权限而进行的非法访问。而且在移动云用户在访问云存储信息时, 其登陆信息容易被拦截, 安全威胁又增加了。 安防行业对于安全性要求更高, 云 存储存在的安全隐患问题让安防在云发展过程中颇有疑虑。

目前,大约有 80%左右的企业不愿意将企业内的业务数据放在公有云上, 主要是考虑到数据的安全性。 “云存储遇到比较棘手的问题是网络的安全性。 许 多企业客户甚至个人使用者都还有疑虑, 如果云服务要大举提供, 这个是比较担 心的部份。”

传输速度和费用问题不可忽视

安防行业的高清监控呼吁云存储的融入, 但是跟随高质海量的视频而来的问 题是传输速度, 即云存储的性能。 云存储的性能瓶颈在于从宽带到 WEB 的连接。 一个是多个用户的网络争夺以及网络服务供应商的设备性能, 一个是云服务中心 和整个网络的性能。 本地存储几秒钟就能完成的传输, 对于云存储而言则可能需 要花好几个小时。 所以, 我们不难理解云存储的传输速度成为安防云存储的考虑 问题之一了吧。

与此同时,安防行业的视频发展方向是向高清高质发展,随着 4K , 8K 的视 频画面和 24小时不间断监控产生的视频体量不可小觑。如此大体量的视频存储 量对于现阶段的宽带和云性能都是不小的挑战。

除此之外, 我们需要注意的是云存储的费用问题。 云存储相较于现阶段的存 储方式,其一大亮点在于“低费用大容量”。

云存储的发展潜力毋庸置疑, 但是对于云存储的发展来说, 其盈利模式是持 续发展的保证之一。虽然云存储领域有融资、有上市,却罕见盈利的身影。即使 是被认为是目前云存储领域最成功的 Box 。 预计 2016财年第二财季营收将介于 6900万美元到 7000万美元之间,不按照美国通用会计准则计量的运营利润率 将介于负 49%到负 51%之间。互联网公司提供云存储的服务,但依据传统存储 方式来获利显然不合时宜, 但长久未能形成一套完整的盈利模式也将成为云储存 发展的一个难题。

数据资源所有权与可靠性问题

当数据存储于本地, 数据信息的所有权很明确, 而且用户可以随时处理。 随 着安防云存储的来临, 数据信息的控制权随即减少, 而且用户对于信息以何种方 式存储,又存储在何处一无所知。因为云是公用的,当数据存储到云里,何人对

信息进行访问和复制, 或是数据资源被未经授权的个人访问, 都将导致严重的数 据资源所有权纠纷。

在这种资源所有权不清的情况下, 安防视频信息因其保护性和私密性有时候 显得格外明显。

云存储供应商在服务之初便做出安全承诺,但是云存储涉及的网络覆盖面 大,服务中断的情况也时有发生。世界上最大的公共云服务提供商亚马逊在 8月 10日凌晨遭遇了罕见的宕机故障,使很多热门网站都受到影响。随着故障而 来的是用户对于存储的云数据无法访问。 当安防视频采取云储存方式, 要求不间 断上传视频, 对于服务商的可靠性要求极高。 可靠性成为云存储融入安防行业亟 待解决的问题。

云存储的前景可观, 但是发展隐痛也实际存在。 回归到需求本身, 以用户为 中心来发展,才能稳步前进。云不是完美的云。唯有市场才是炼金唯一方式。安 防监控:好品质,好方案,好服务 ! 一体化运作,高效安全 !

西安美格电气有限公司是一家专业从事弱电安防行业的公司,我们有专业的设 计和施工团队,我们公司主要以弱电系统集成为主,主要包括:门禁考勤系统、 视频监控系统、多媒体会议系统、弱电系统集成、防盗报警系统、停车场管理系 统、消费管理系统、智能家居系统等等业务。欢迎咨询

视频云存储平台建设方案

目录

1 项目概述................................................................................................................... 4 1.1 项目概述..................................................................................................... 4 1.2 多种方案技术详细对比................................................................................ 6 1.3 项目建设必要性和可行性 ............................................................................ 7 1.4 原有系统架构.............................................................................................. 7 1.5 项目设计标准与依据 ................................................................................... 8 1.6 项目建设目标.............................................................................................. 9 1.7 系统优势................................................................................................... 10

2 系统总体建设方案................................................................................................... 11 2.1 项目系统总体网络架构.............................................................................. 11 2.2 系统建设................................................................................................... 13 2.3 系统需求................................................................................................... 15

2.4 系统架构和模块描述 ................................................................................. 15

2.4.1 执法记录系统..................................................................................... 16

2.4.2 云存储系统 ........................................................................................ 16

2.4.3 云传输中心端..................................................................................... 17

2.4.4 流媒体服务器集群.............................................................................. 17

2.4.5 客户端 ............................................................................................... 17

3 系统方案详细介绍................................................................................................... 18 3.1 云存储方案 ............................................................................................... 18

3.1.1 云存储系统简介 ................................................................................. 18

3.1.2 系统基本组成..................................................................................... 19

3.1.2.1 cStor分布式文件系统................................................................... 20

3.1.2.2 存储访问接口.............................................................................. 21

3.1.2.3 管理监控中心.............................................................................. 21

3.1.3 系统优势和特点 ................................................................................. 26

3.1.3.1 高度可靠..................................................................................... 26

3.1.3.2 高度可靠..................................................................................... 27

3.1.3.3 优异性能..................................................................................... 27

3.1.3.4 无限容量..................................................................................... 27

3.1.3.5 在线伸缩..................................................................................... 27

3.1.3.6 通用易用..................................................................................... 28

3.1.3.7 智能管理..................................................................................... 28

3.1.4 关键技术............................................................................................ 28

3.1.4.1 负载自动均衡技术....................................................................... 28

3.1.4.2 高速并发访问技术....................................................................... 29

3.1.4.3 高可靠性保证技术....................................................................... 29

3.1.4.4 高可用技术 ................................................................................. 29

3.1.4.5 低功耗存储技术 .......................................................................... 30

3.1.4.6 分布式、分级、动态存储技术 ..................................................... 30

3.2 云传输方案 ............................................................................................... 32

3.2.1 cTrans简介......................................................................................... 32

3.2.2 关键技术............................................................................................ 33 3.3 云点播方案 ............................................................................................... 34

3.3.1 流媒体模块 ........................................................................................ 34

3.3.1.1 流媒体集群工作流程图 ............................................................. 34

3.3.1.2 视频流实时转发 ....................................................................... 34

3.3.1.3 历史视频数据推送 .................................................................... 35

3.3.2 流媒体服务器集群系统构架................................................................ 35

3.3.3 流媒体负载均衡 ................................................................................. 37

3.3.4 视频流分发功能 ................................................................................. 38

3.3.5 流媒体服务器性能.............................................................................. 38

3.3.6 实时云端转码模块.............................................................................. 39

4 技术优势................................................................................................................. 40 4.1 在线伸缩易扩展 ........................................................................................ 40 4.2 负载均衡性能高 ........................................................................................ 40

4.3 数据安全不丢失 ........................................................................................ 41 4.4 数据高性能传输 ........................................................................................ 41

5 云平台配置清单 ...................................................................................................... 41

1 项目概述

1.1 项目概述

政府执法记录仪，每月执法录像分散存放在13个地市公安局(总计约520TB/月)将全省13个地市的重要数据上传至政府数据中心，集中存储3个月。按照每个地市的执法记录仪等视频数据量按照平均每天1.3TB左右的存储容量进行传输，公安视频专网现在的千兆视频带宽利用率需要准备60%左右的带宽资源，建议采用云传输方式提升带宽利用率，大大节省带宽。平均每月40TB数据，每个市公安局配置256TB存储空间可用128TB存储容量，重要数据上传到省公安厅数据中心，按照全省集中采用云存储1:1冗余技术进行存储需要裸容量为640TB。建议采用集中加分散的方式，将重要数据实时上传到省公安厅云存储中心，普通数据就地分散在地市分数据中心，形成逻辑分散、物理统一的全省共享云视频点播传输存储平台。

问题分析

若不采用重要数据集中存储方案，采用执法记录仪本地存储，数据安全性存在误操作等数据安全可靠挑战，则无法安全可靠的保存各个地市的录像数据。

集中存储必将带来海量存储需求(数据中心600TB以上规模)，若采用传统存储架构，则将受到存储系统控制器的单点性能瓶颈限制，很难达到良好的存入、读取速度表现。

全省各市局每日上传数据量巨大，传统传输方式带宽利用率较低，上传耗时较长，很可能无法在24小时内将当日数据上传完毕。

解决手段

采用分布式云存储系统可帮助搭建并统一管理三级存储架构(区县本地采集存储层—市公安局存储层—省公安厅管理存储层)构建物理分散逻辑统一的存储云平台。其中市局管理层将采用云存储系统实现。系统分布式架构，实现了一对多数据传输方式，有效提高存储和调度效率，避免了系统性能瓶颈的制约，整个系统读写速度将随规模扩大而进一步提升，具备良好的扩容扩展能力。

云传输技术改进了传统网络传输协议，将带宽利用率提高至80%以上，上传

录像所耗时间将大大缩短，本地采集完成后，利用晚间等非网络业务高峰时段上传，减少对业务网络带宽占用。

云视频技术实现录像数据随时随地调看，可实现笔记本、手机、PAD等移动终端通过WIFI或3/4G网络随时调看录像功能，极大提高管理和工作效率。

上述方案构建的执法记录仪视频存储传输点播系统在南京市公安局经过一年多可靠运行，高效支撑交管局信息化执法工作，得到南京市交管局的高度认可

1.2 多种方案技术详细对比

技术先进性 技术架构 运行利用效系统可靠性 数据安全性 系统扩展性 数据共享难易 网络带宽利传输方式 数据存储性视频访问性能 维护难易程度 方案名

率 用率情况 能

称

采集工采用传统存传统磁盘50%左右,可靠性低95%,数据扩展18.75P数据很难共享,带宽利用率串行传输速性能高，本性能低，从300多个维护难,分散在作站方储,分散磁阵列架构 需要各地采，系统分散分散在各大，300个采集数据分散存储调存储高,调看度受限,一地存储， 分散读取，只能从一各大队,维护人案 阵 集工作站 在各大队， 队易丢失 站总容量， 看很麻烦 读取低 对一传输 台采集工作站读取 员需求量大 集中式结合SANIP-SAN70%左右,可靠性高99.999%集扩展至几十数据分中心内部带宽利用率串行传输速性能低，本性能中等，瓶颈在存集中维护,需要存储方磁阵集中存或者SAN存储扩展性，集中存中存储损坏PB，随着扩展数据可以共享,中等:存储利度受限,一地存储+串储管理节点，读取都专业SAN维护案 储技术 集中存储能降低,服储，管理节管理节点数节点越多性分中心之间数据用高,读取数对一传输 行传输到数要经过存储管理节点 人员维护较难

架构 务器不可复点损坏影响据存丢失可能越差， 共享麻烦 据利用率低据分中心，

用 系统,存在能 ，TCP+网络

单点故障 转换损耗，

云存储云计算、大分布式云90%以上可靠性最高99.999%损扩展可达数据分中心和分带宽利用率并行传输速性能高，本性能高,存储和视频维护简单、基本云传输数据、云存存储、并，按需增加，集中存坏任一台服1024*1024P中心之间数据共高:存储利用度快,一对地存储+并流媒体服务器共用,免维护,只需普云点播储、云视频、行传输系存储容量，,储，不存在务器、一块B在线扩展享,逻辑统一、高,读取数据多传输数据行传输到分随着存储节点增多,通技术人员可方案 云传输技术 统架构 设备可复用 单点故障问磁盘,数据，节点越多,管理方便,调用利用率高，可速度快 中心， 访问性能线性增强 轻松维护

题 均完整 性能越好， 容易 靠UDP，

1.3 项目建设必要性和可行性

本项目基于政府执法记录仪平台希望进一步提升系统利用率这个现状旨在通过云计算、大数据技术构建建设一个统一的、高度可靠的云存储、云传输、云视频执法记录仪管理系统，将交管局现有的执法记录仪视频监控资源高效整合，集中存储，保证各部门工作有序进行。通过采用云传输技术进一步提升公安网交管视频数据专用网路的网络利用率，采用云存储与云视频流媒体服务器复用大大提升设备的利用率，建设扩展性强、维护简单的统一云存储平台，通过构建统一的公安厅执法记录仪云存储云传输云点播管理系统(以下简称“系统”)，将公安和交管部门可利用的全部视频资源经过优化、存储及处理后，透明地呈现给工作人员，为交管部门执法监控等提供有力支撑，迅速了解和掌握监控区域动态情况，增强公安交管应对各种突发事件的处置能力，提高机关打防控效能，弥补人防不足，方便事后调查取证和专案侦察，最大限度压缩犯罪空间，增强威慑力。 1.4 原有系统架构

政府现有存储架构为省厅市区到区县集中存储模式区县配置执法记录仪采集工作站和简单的存储服务器，这些服务器都放置在各市区交管局(存储服务器放在公安机房内)，这些数据都存储在这些存储服务器中，这些执法记录仪采集工作站放置在交管日常工作办公室机房内。

该存储系统很好的支撑了现有执法记录仪系统，但是随着业务不断扩展(存储时间变为一年)系统存在以下缺点:

采用执法记录仪采集工作站分散存储:将数据继续存储在执法记录仪采集工作站，这需要将全省执法记录仪采集工作站数量扩展，这时执法记录仪这种传统简单的磁盘阵列存储模式的弊端就显露无疑:数据容易受执法记录仪的损坏或者误操作造成数据丢失，同时对于视频数据也不能保障可以实时可靠调看。

采用传统的高端存储集中存储:采用这种价格昂贵的磁盘阵列存储例如EMC的Isilon采用Infinite Band光纤网络，虽然可以解决数据的集中存储调看，但存在着网络从外部以太网到光纤网路的转换损耗和数据读写都要经过存储设备管理节点“机头”，存储管理接节点存在性能瓶颈，同时数据的读写职能是点

对点模式的读写，海量视频数据实际读取速度远达不到宣传的功能。

综上所述:采用传统的存储模式存在很大的弊端，已经不能满足市日益增加的执法记录仪视频文件的容量需求，因此采用分布式云存储进一步完善执法记录仪存储方案。

采用最新的分布式云存储技术:采用分布式云存储技术进行海量数据的集中存储，数据的读取速度大大提高，数据的存储是点对多的并行化存储模式，存储服务器既是存储节点也是数据读取服务节点;系统的扩展性很强，随着存储节点的增多数据的读写性能也线性增长，数据的可靠性大大提高，存储系统采用1:1副本技术随意一台存储节点存在故障系统均能正常工作，采用分布式云存储模式数据采用分布式技术与安全体系架构的云存储体系使得数据的安全性得到大大加强，系统可按照物理分散逻辑统一的模式搭建，做到数据调看简单的同时大大增强数据的安全和可靠性，同时存储服务器和视频流媒体服务器高度复用，视频流的读取是多对一的模式速度也得到大大提升。

原有的数据传输模式是采用FTP方式将进行传输方式上传到数据中心传统磁盘阵列存储系统。

采用FTP模式传输:这种模式是点对点的TCP/IP传输模式，传输性能有很大的影响，数据的传输速度不仅大量耗费在TCP/IP不停的数据传输校验上，而且数据存储是点对点的存储，这种数据读写速度下，执法记录仪单纯利用夜间空闲时间将数据上传到数据分中心存储，时间远远是不够的。

采用云传输技术cTrans:执法记录仪采集工作站采用云传输方式上传到数据分中心，数据的上传是一对多的并行传输模式，数据实时往不同的存储节点进行存储，同时云传输技术是在保证数据安全可靠完整的前提下采用的UDP传输技术带宽利用率有了大大提升，带宽利用率可达到80%以上，利用夜间时间可轻松将执法记录仪数据传输到云存储数据分中心。

1.5 项目设计标准与依据

《质量管理体系认证》 GB/19001-2008 ISO9001:2008

《电气装置安装工程及验收规范》 GBJ232-90、91

《中华人民共和国安全作业标准》 GA/T74-94

《单警执法视音频记录仪》 GA/T 947-2011

公安部《公安信息化标准体系》

公安部《公安科技发展“十五”计划和2015规划》

信息技术设备得安全 GB4943-2001

音频、视频及类似电子设备安全要求 GB8898-2001 计算机信息系统安全保护等级划分准则 GB17859,1999 安全防范工程程序与要求 GA/T75-94

入侵报警系统技术要求 GA/T368-2001

报警传输系统串行数据接口得信息格式和协议 GA/T379-2002 计算机信息系统安全等级保护操作系统技术要求 GA/T388-2002 计算机信息系统安全等级保护管理要求 GA/T388-2002B 计算机信息系统安全等级保护通用技术要求 GA/T390-2002 IP网络技术要求,网络性能参数与指标 YD/T 1171-2001 其他相关行业标准

1.6 项目建设目标

全省交警执法记录仪管理系统采用先进的计算机技术和分布是云存储技术、云传输技术和大数据处理技术，依托现有的公安网络，建设具有音视频拍摄、海量数据存储、流媒体传输、分级应用管理、轨迹查询于一体的执法影音取证统一执法记录仪视频云存储云传输云点播平系统，实现大容量的视频数据的集中存储和统一管理、访问的目标，满足可靠性、保密性和可用性要求以及数据合规性要求。利用各个地市交管局已建设专用的执法记录仪采集工作站灵活、高效、安全

的数据导入机制实时通过云传输技术将重要数据上传到数据中心存储，满足全省范围内公安交管部门和用户对视频数据的高速流畅的检索和浏览，利用云传输技术大大提升公安专网网络带宽利用率，实现全省执法记录仪视频数据可以高效调用，高效传输、安全保存。

1.7 系统优势

本系统采用最新的分布式云存储、云传输、云点播技术相对于传统模式具有以下优势:

并行化服务:数据的读取速度大大提高数据的存储是点对多的并行化存储模式，存储服务器既是存储节点也是数据读取服务节点。

高扩展性:系统的扩展性很强，系统支持在不停业务的情况下在线扩容。

系统高性能:系统的存储设备也是数据服务设备随着存储节点的增多数据的读写性能也线性增长。

数据的高可靠:云存储系统采用1:1副本技术随意一台存储节点存在故障系统均能正常工作。

安全性高:采用分布式云存储模式数据采用分布式技术与安全体系架构的云存储体系使得数据的安全性得到大大加强。

物理分散逻辑统一:系统可按照物理分散逻辑统一的模式搭建，做到数据调看简单的同时大大增强数据的安全和可靠性。

设备复用:同时存储服务器和视频流媒体服务器高度复用，视频流的读取是多对一的模式速度也得到大大提升。

并行化传输:数据的上传是一对多的并行传输模式，数据实时往不同的存储节点进行存储。

高带宽利用:同时云传输技术是在保证数据安全可靠完整的前提下采用的UDP传输技术带宽利用率有了大大提升，带宽利用率可达到80%以上，利用夜间时间可轻松将执法记录仪数据传输到云存储数据分中心。

随时随地办公:云视频技术开辟录像数据随时随地调看的高效管理途径，实现笔记本、手机、PAD等移动终端通过WIFI或3/4G网络随时调看录像功能。

存储与流媒体设备复用:极大提高管理和工作效率。并且，市局管理存储

层只需存储部分重要和关键录像数据，其他可通过网络调取市局集中存储系统内的数据即可，降低了省厅端存储规模。

2 系统总体建设方案

2.1 项目系统总体网络架构

按照政府统一规划要求，综合考虑政府本次项目存储扩容总体需求、传输效率需求和视频点播的需求和现状，此次执法记录仪视频文件分散在市局存储中心、重要文件集中在省公安厅存储的存储模式，其中每个市公安局分配240TB存储空间，省公安厅存储中心配置600TB存储容量，利用公安专网将各大队采集的执法记录仪资源上传到市公安局存储分中心，重要数据备份到省公安厅存储平台其总体框架如下所示:

2.2 系统建设

电子证据平台与执法记录仪云存储云视频系统对接，实现电子警情系统与执法记录仪系统实现关联，做到警情系统可以及时取证执法记录摄像视频，做到有证可寻。

建设后的执法记录仪系统云传输图形界面如下图所示。

通过该平台根据该平台民警可以实时的添加执法的警情的具体时间，地点，任务以及关联的视频。

同时实现实时查找警情系统事件实时查找相对应的警情执法记录仪视频录

像资料和登记人，登记时间，登记大小等资料

2.3 系统需求

本次规划的江苏省公安局执法记录仪云视频点播传输存储平台，将分散存放在13个地市公安局(总计约520TB/月)执法录像统一上传部署在全省13个地市的存储数据采集、存放、上传至政府数据中心，集中存储3个月。按照每个地市的执法记录仪等视频数据量平均每月40TB按照全省集中统一则所需可用存储容量1560TB采用云存储1:1冗余技术进行存储需要裸容量为3120TB。执法记录仪的存储、传输、视频等资源高效调度，集中安全存储、数据高效传输等需求。

按照平均每天1.3TB左右的存储容量进行传输，公安视频专网现在的千兆视频带宽利用率需要准备60%左右的带宽资源，建议采用云传输方式提升带宽利用率，大大节省带宽。采用云创存储的cStor云存储系统，可以用低成本满足大数据存储容量和带宽需求，同时采用cTrans进行数据传输，极大的解决了数据传输的问题。利用cVideo的云视频，采用流媒体进行处理，可以促使云点播的更加快速使用。

具备高效稳定的访问效率，满足政府大量的执法记录仪的存储、传输、视频等的需求，并提供适当冗余以保证整体流程的高效。

为满足政府大量的执法记录仪未来发展，云存储平台应具备横向、纵向、容量和带宽的高扩展能力。

采用云创存储的cStor云存储系统，可以用低成本满足大数据存储容量和带宽需求，同时采用cTrans进行数据传输，极大的解决了数据传输的问题。利用cVideo的云视频，采用流媒体进行处理，可以促使云点播的更加快速使用。

具备高效稳定的访问效率，满足政府大量的执法记录仪的存储、传输、视频等的需求，并提供适当冗余以保证整体流程的高效。

为满足政府大量的执法记录仪未来发展，云存储平台应具备横向、纵向、容量和带宽的高扩展能力。

2.4 系统架构和模块描述

采用分布式云存储、云传输、云点播技术构建的执法记录仪系统架构图

图政府云存储云传输云点播系统架构图

2.4.1 执法记录系统

执法记录系统通过执法记录仪来记录现场执法过程，自动上传至采集工作站，保存视频文件。

2.4.2 云存储系统

将前端设备获取到的视频录像，可靠的保存在云存储系统中，本地不进行视频缓存，以进一步提升安全性。

使用云存储系统，提供统一的存储资源池，用以存储关键数据，提供历史视频的回看以及相关数据的下载服务。同时，支持网络挂载盘符的模式，以满足整个平台中其他模块的存储需求。

2.4.3 云传输中心端

使用高速的云传输软件，充分利用带宽资源，使用高效的传输机制，提高网络带宽的使用率，以保证视频文件快速上传。

遇到网络震荡、带宽不稳情况时，云传输系统支持断流续传的功能，确保视频数据的高效稳定传输。

云传输中心端，用于接收各接入点上传的视频资料，并存至云存储中。 2.4.4 流媒体服务器集群

部署流媒体软件，实现对云存储中的视频录像流化处理，并提供对外推流服务，采用集群化部署模式，支持高并发访问。流媒体服务器可以像访问本地文件一样访问到云存储上的历史视频数据。

2.4.5 客户端

交管PC客户端，B/S页面方式访问平台系统。

图4流媒体集群工作流程图

, 负载均衡、高并发访问:通过负载均衡各节点运行状态，提高系统工作效率，

满足系统的高并发访问需求。

, 监控视频流实时转发:前端视频数据经处理系统处理后，流媒体服务器将处

理后的监控视频流进行实时转发给用户，满足各种客户端需求。 , 历史视频数据流化推送，提供录像调回的视频流推送服务。

服务器状态(负载、链接数)等信息获取。

3 系统方案详细介绍

3.1 云存储方案

交管局可以通过部署分布式云存储系统建立统一的资源管理数据中心。该中心将集中存储交管局执法记录视频等。

3.1.1 云存储系统简介

采用业界已经成熟的cStor云存储资源管理系统，在多台普通商用服务器上构建高性能高可靠云存储系统，作为本次系统云数据中心存储平台，其应用部署示意图如下图所示:

图5 cStor云存储资源管理系统部署示意图

在执法记录仪系统建设中，云存储系统属于基础平台支撑层，用于视频集中存储和共享，实现对视频的统一管理和高效应用。将数据逻辑集中物理分散，以提供多并发高吞吐带宽，最大程度降低系统访问瓶颈。系统具有高可靠性、超高的性能、在线伸缩、通用易用以及智能化管理能优势

下面介绍cStor云存储系统的基本组成和主要功能。

3.1.2 系统基本组成

cStor云存储系统采用分布式的存储机制，将数据分散存储在多**立的存储服务器上。它采用包括卷管理服务器、元数据管理服务器(Master Server)、数据存储节点服务器(Chunk Server)和挂接访问客户端以及管理监控中心服务器的结构构成虚拟统一的海量存储空间。在每个服务器节点上运行cStor云存储系统的相应的软件服务程序模块。系统架构框图如下图所示。

图6 cStor云存储资源管理系统架构

其中，Master Server保存系统的元数据，负责对整个文件系统的管理，Master Server在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务;

Chunk Server负责具体的数据存储工作，数据以文件的形式存储在Chunk Server上，Chunk Server的个数可以有多个，它的数目直接决定了cStor云存储系统的规模;挂接访问客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端可以部署在Chunk Server上，每一个块数据服务器，既可以作为存储服务器同时也可以作为客户端服务器。

由一对元数据服务器及其管理的存储服务器节点所提供的存储空间称为一个卷空间，不同的卷空间由卷管理服务器虚拟化统一管理，对外可提供统一的海量存储空间。

管理监控中心提供统一易用的WEB配置管理监控平台，提供设备监控、空间监控、文件监控、服务监控、用户认证管理、配额管理、故障告警及预警等功能，实现智能化管理。

3.1.2.1 cStor分布式文件系统

cStor分布式文件系统包括卷管理、元数据管理、块数据管理服务。参考上面系统架构框图左侧部分。

元数据是指文件的名称、属性、数据块位置信息等，元数据管理通过元数据服务程序完成。

因元数据访问频繁，故系统将元数据加载缓存至内存中管理，提高访问效率。由于元数据的重要性，元数据损坏或丢失则相当于文件数据丢失，因此实现了元数据服务器主备双机高可用，确保,×,,小时不间断服务。

通过元数据远程多机冗余备份功能，实现在多台其它机器上备份元数据，当元数据服务器损坏，可以通过备份的元数据重新恢复服务，切保数据可以完整找回。

块数据是指文件数据被按照一定大小(默认64MB)分割而成的多个数据块，分布存储到不同的存储节点服务器上，并通过编解码容错算法产生相应的冗余块。

块数据服务是运行在每个存储节点服务器上的块数据管理程序，负责使用存储服务器上的磁盘空间存储文件数据块，并实现相应的编解码功能。

相比较传统业界的云存储采用块数据简单备份冗余容错机制，编解码容错方式大大降低了硬件资源冗余度，提高了磁盘利用率。

由一对主备元数据服务器及其所管理的块数据服务器管理节点设备及其所提供的存储空间称为一个卷。

卷管理服务器负责将多个卷虚拟化整合，对外提供统一的整体访问云存储空间。

文件系统采用中心服务器模式分布式存储架构，控制流与数据流分离，通过增加存储节点

系统采用自动注册机制，实现系统高可伸缩性，增加或减少存储节点规模，不影响系统正常提供存储访问服务。

该系统架构实现了统一调度，负载均衡和流量自动分担功能，多个存储节点同时对外提供数据流服务，系统根据磁盘空间使用比例进行资源优化配置。同时在多个不同的存储节点之间实现根据空间比例进行优化配置，数据优先存储的空间利用比例相对较低的磁盘或存储服务器上。

cStor分布式文件系统具有自动冗余重建功能，确保损坏的数据块能够被解码或编码后存储到在线的正常的存储服务器节点上。

3.1.2.2 存储访问接口

cStor分布式文件系统提供符合POSIX规范的文件系统访问接口。支持Linux、Windows、MaxOS X等操作系统平台。可将云存储系统提供的存储空间挂接为本地目录或本地盘符来使用。用户操作云存储空间和操作本地文件相同。

另外cStor提供专用的高速存取访问API接口，供性能要求很高的高端应用程序对接使用。

3.1.2.3 管理监控中心

管理监控中心为系统管理员配置和维护cStor云存储资源管理系统的有效工具，充分体现了系统的可维护性。

管理监控中心提供帐户管理、设备管理、系统监控、卷管理、告警管理、故障管理等功能。以下为部分系统管理界面。

, 设备管理

, 系统监控

, 告警信息

, 告警配置

, 告警日志

, 故障处理

, 卷管理

, 帐户管理

, 添加帐户

3.1.3 系统优势和特点

cStor云存储系统是一套软件与硬件相结合的系统，其中专有技术和软件是高附加值部分，可以广泛应用于需要存储大量数据的应用场合(如安防、广电、电信、互联网、银行等领域)。该系统相比传统存储系统有如下技术优势:

3.1.3.1 高度可靠

存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的1:1容错机制进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠，系统对外存储访问服务不间断。

云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服务后，它则成为新的备管理节点，保障系统的7×24小时不间断服务。

3.1.3.2 高度可靠

存储系统采用云架构，数据被分块存储在不同的存储节点上，数据采用先进的1:1容错机制进行容错，可在任意损坏一个存储服务器节点的情况下实现数据完整可靠，系统对外存储访问服务不间断。

云存储的管理节点采用了主备双机镜像热备的高可用机制，在主管理节点出现故障时，备管理节点自动接替主管理节点的工作，成为新的主管理节点，待故障节点修复并重启服务后，它则成为新的备管理节点，保障系统的7×24小时不间断服务。

3.1.3.3 优异性能

cStor采用控制流与数据流分离的技术，数据的存储或读取实际上是与各个存储节点上并行读写，这样随着存储节点数目的增多，整个系统的吞吐量和IO性能将呈线性增长。

同时，cStor采用负载均衡技术，自动均衡各服务器负载，使得各存储节点的性能调节到最高，实现资源优化配置。

3.1.3.4 无限容量

系统容量仅受限于卷管理服务器内存，可支撑的容量接近无限，经推算，理论容量为1024×1024×1024 PB (1G个PB容量)。

3.1.3.5 在线伸缩

cStor云存储资源管理系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即实现扩容;同时，无需人为干预，也可以摘下任意节点，系统自动缩小规模而不丢失数据，存储在此节点上的数据将会重新备份到其他节点上。

3.1.3.6 通用易用

cStor云存储系统提供符合POSIX标准的通用文件系统接口，无论是哪种操作系统下的应用程序，都可以不经修改将云存储当成自己的海量磁盘来使用。同时，也提供专用的API接口，供开发人员调用。

3.1.3.7 智能管理

提供基于WEB的管理控制平台，所有的管理工作均由cStor管理模块自动完成，使用人员无需任何专业知识便可以轻松管理整个系统。通过管理平台，可以对cStor中的所有节点实行实时监控，用户通过监控界面可以清楚地了解到每一个节点和磁盘的运行情况;同时也可以实现对文件级别的系统监控，支持损坏文件的查找和修复功能。系统提供用户安全认证及对不同用户进行配额设置与权限管理功能，满足应用的日常维护和安全管理需求。

3.1.4 关键技术

3.1.4.1 负载自动均衡技术

采用中心服务器模式来管理整个云存储文件系统，所有元数据均保存在主管理服务器上，文件则划分为多个节点存储在不同的节点服务器上。

主卷管理服务器维护了一个统一的命名空间，同时掌握整个系统内节点服务器的使用情况，当客户端向元数据服务器发送数据读写的请求时，元数据服务器根据节点服务器的磁盘使用情况、网络负担等情况，选择负担最轻的节点服务器对外提供服务，自动均衡负载负担。

另外，当某有一个节点服务器因为机器故障或者其他原因造成离线时，主卷管理服务器会将此机器自动屏蔽掉，不再将此节点服务器提供给客户端使用，同时存储在此节点服务器上的数据也会自动的编码冗余到其他可用的节点服务器上，自动屏蔽节点服务器故障对系统的影响。

3.1.4.2 高速并发访问技术

客户端在访问云存储时，首先访问主卷管理服务器节点，获取将要与之进行交互的节点服务器信息，然后直接访问这些节点服务器完成数据存取。

客户端与主卷管理服务器之间只有控制流，而无数据流，这样就极大地降低了主卷管理服务器的负载，使之不成为系统性能的一个瓶颈。客户端与节点服务器之间直接传输数据流，同时由于文件被分成多个节点进行分布式存储，客户端可以同时访问多个节点服务器，从而使得整个系统的I/O高度并行，系统整体性能得到提高。

通常情况下，系统的整体吞吐率与节点服务器的数量呈正比。

3.1.4.3 高可靠性保证技术

对于元数据，通过操作日志来提供容错功能，当主管理服务器发生故障时，在磁盘数据保存完好的情况下，可以迅速恢复以上元数据。为了防止主管理服务器彻底死机的情况，还提供了主管理服务器远程的实时备份，这样在当前的主管理服务器出现故障无法工作的时候，另外一台备管理服务器可以迅速接替其工作。

对于节点服务器，采用编解码的方式实现容错，分布存储在不同的节点服务器上。数据块的分布策略考虑了多种因素，如网络的拓扑、机架的分布、磁盘的利用率等。在其后的过程中，如果相关的数据块出现丢失或不可恢复等状况，主管理服务器会自动将该数据块编解码冗余到其他节点服务器，从而确保数据块的一定的冗余容错，进行自动冗余容错重建。在有多个节点服务器的情况下，任意损失一个节点，数据都不会丢失，而且随着节点服务器数目的增多，整个系统的可靠性越大。

3.1.4.4 高可用技术

系统中的所有服务节点均是通过网络连接在一起，由于采用了高可靠的容错机制，系统增减节点不必停止服务，可在线增减存储节点，存储节点和元数据节点间通过注册管理机制自适应管理，实现自动伸缩。

元数据服务器采用主备双机热备技术，主机故障，备机自动接替其工作，对外服务不停止;存储节点采用编解码冗余备份机制，如采用4:2编码容错，任意损失两个节点，数据不丢失，服务不停止。

3.1.4.5 低功耗存储技术

服务器的功耗取决于各个配件的总体功耗，而主要耗电大户则是处理器、芯片组和存储器了。低功耗存储技术主要是改进这些配件能够进而实现节能，这样服务器乃至数据中心整体功耗则会得到更好的控制。

随着嵌入式技术的飞速发展，嵌入式的性能有了很大的提高，嵌入式的性能与计算机的差距不断缩小，特别是在专用计算机领域。由于嵌入式系统是应用在特定的环境下，针对特殊的用途来设计的系统。所以不同于通用的计算机系统。同样是计算机系统，嵌入式系统是针对具体应用设计的“专用系统”。它的硬件和软件都必须高效地设计。“量体裁衣”，去除冗余，力争在较少的资源上实现更高的性能。与通用的计算机系统相比，它具有功耗低，体积小、集成度高、成本低等优点。可以被应用在近线存储、离线存储的存储节点的设计上，有效的减少成本和使用的功耗，同时相应的散热系统也可以简化。

3.1.4.6 分布式、分级、动态存储技术

云存储系统，就是将数据分散存储在多**立的设备上。传统的网络存储系统采用集中的存储服务器存放所有数据，存储服务器成为系统性能的瓶颈，也是可靠性和安全性的焦点，不能满足大规模存储应用的需要。分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。云存储系统将普通商用的 PC机或工作站通过高速网络互联在一起组成机群，能够根据系统的需要随时增加新的硬件，提高系统的可伸缩性和可用性，从而能够在价格低廉的中低端平台上获取高端或者超级计算机系统才具备的高可伸缩性、高可用性和高性能。

分级存储是根据数据的重要性、访问频率、保留时间、容量、性能等指标，

将数据采取不同的存储方式分别存储在不同性能的存储设备上，通过分级存储管理实现数据客体在存储设备之间的自动迁移。数据分级存储的工作原理是基于数据访问的局部性。通过将不经常访问的数据自动移到存储层次中较低的层次，释放出较高成本的存储空间给更频繁访问的数据，可以获得更好的性价比。这样，一方面可大大减少非重要性数据在一级本地磁盘所占用的空间，还可加快整个系统的存储性能。

传统的数据存储一般分为在线(On-line)存储和离线(Off-line)存储两级存储方式。而在分级存储系统中，一般分为在线(On-line)存储、近线(Near-line)存储和离线(Off-line)存储三级存储方式。

(1)在线存储是指将数据存放在高速的高性能的云存储系统存储设备上，适合存储那些需要经常和快速访问的程序和文件，其存取速度快，性能好，存储价格相对昂贵。在线存储，是工作级的存储，其最大特征是存储设备和所存储的数据时刻保持“在线”状态，可以随时读取和修改，以满足前端应用服务器或数据库对数据访问的速度要求。

(2)近线存储是指将数据存放在低速的磁盘系统上，一般是一些存取速度和价格介于高速磁盘与磁带之间的低端磁盘设备。近线存储外延相对比较广泛，主要定位于客户在线存储和离线存储之间的应用。就是指将那些并不是经常用到(例如一些长期保存的不常用的文件归档)，或者说访问量并不大的数据存放在性能较低的存储设备上。但对这些设备的要求是寻址迅速、传输率高。因此，近线存储对性能要求相对来说并不高，但又要求相对较好的访问性能。同时多数情况下由于不常用的数据要占总数据量的较大比重，这也就要求近线存储设备在需要容量上相对较大。近线存储设备主要有采用低功耗架构的云存储系统。

(3)离线存储，指将数据备份到磁带或磁带库上。大多数情况下主要用于对在线存储或近线存储的数据进行备份，以防范可能发生的数据灾难，因此又称备份级存储。离线存储通常采用磁带作为存储介质，其访问速度低，但价格低廉的海量存储。

本次云存储系统方案，就采用了分级技术，把存储信息根据信息的重要性、访问频率等对信息进行了分级存储，将文件的元数据等访问频繁的重要信息时刻保持在线存储，开机后保存在内存中，可以随时读取和修改，以满足前端应用服

务器或数据库对数据访问的速度要求。将其它备份数据、冗余容错的数据等访问量小的数据等采用廉价的SATA硬盘存储。对于访问量小的数据采用离线存储，一旦需要访问这些数据可以使用相应的唤醒策略来实现将离线转为在线，如通过网络唤醒机制等。对于与时间紧密相关的数据(如新闻、电视等内容信息)的存储，这些数据随着时间的推移，它们的使用频率越来越少，我们可以根据时间来对这些信息进行分级动态存储，如将前几个月的历史数据存放到离线存储设备上，它们的元数据信息也不需要存储在元数据服务器的内存中，直接存放在元数据服务器的硬盘中，如果需要访问时可以将其调入内存中。对于这些存储这些过时信息的存储节点可以让其一直处于待机状态，一旦要使用可以通过网络唤醒让其工作起来。

3.2 云传输方案

3.2.1 cTrans简介

cTrans高性能数据传输系统是由云创存储科技有限公司自主研发的基于互联网的分布式大容量数据资源智能传输软件系统，其主要作用是在分布式网络环境中，尤其是跨区域的广域网络中，克服网络带宽有限、网络状态不够稳定、原始数据来源有限等问题，在不同的应用或存储节点之间快速、稳定地共享、分发和传输大容量文件数据。

图7云传输工具界面示例

3.2.2 关键技术

cTrans高性能传输解决方案基于高速传输协议——cTrans。cTrans是一种全新的应用层协议，特别为企业关键型文件传输所设计，可以满足其所需的高速度、可预测性和百分之百的安全可靠性。cTrans出众的性能对所有的网络传输媒体皆适用。

cTrans是在用户数据报协议(UDP)之上开发的应用层协议。和那些基于并行 TCP 的应用不同，cTrans在单个数据流上实现了速度最大化。借助于革新性的文件流线化技术，cTrans的传输速率在分发大批小文件时同样可以得到保障。所以cTrans实现了在高速广域网上传输海量数据(和文件大小无关)的传输速率最大化。

和 TCP 吞吐率的特性相比，cTrans的传输速率完全不受网络延迟的影响，并且也对网络丢包有很好的鲁棒性。如图 1 所示， cTrans实现了传输速率的最大化，在某些情况下可以比TCP 快千倍。其速率具有可预测性。例如在10%的丢包情况下，cTrans的吞吐率可以达到网络链接带宽的 90%。在极端情况下，cTrans的吞吐率仅为终端系统的吞吐能力(通常是磁盘读写吞吐率)所限制。

图8 cTrans传输吞吐量与TCP传输对比

作为一种数据传输协议，cTrans具有应用层传输的完全可靠性。cTrans的可靠性设计是基于一种负反馈的机制:接收端检测到丢包并把需要重传的包信息反馈给发送端。通过理论优化，cTrans的重传机制只针对真正的丢包，没有冗余传输和带宽浪费。其重传效率接近百分之一百。

3.3 云点播方案

3.3.1 流媒体模块

3.3.1.1 流媒体集群工作流程图

图3-5 流媒体集群工作流程图

, 负载均衡、高并发访问:通过负载均衡各节点运行状态，提高系统工作效率，

满足系统的高并发访问需求。

, 监控视频流实时转发:前端视频数据经处理系统处理后，流媒体服务器将处

理后的监控视频流进行实时转发给用户，满足各种客户端需求。 , 历史视频数据流化推送，提供录像调回的视频流推送服务。 , 服务器状态(负载、链接数)等信息获取。

3.3.1.2 视频流实时转发

流媒体服务器实现把前端经处理服务器处理后的视频流通过网络转发给

Web客户端、iOS客户端、Android客户端和cStor集中存储服务器等端应用设备。流媒体转发服务器采用了先进RTP/RTSP流媒体网络传输技术，解决了有限的带宽下多个用户并发访问同一个监控点问题。解决了网络带宽瓶颈问题，可实现分布式集群部署，达到在低带宽网络中高效流畅的传输实时视频流功能。

由于嵌入式DVR、视频编码器、IPC等设备，无法以自己的网络和IO处理能力，提供多个用户的网络访问，而出现宕机和故障的现象。通过处理服务器可以将某一路视频流推送给流媒体服务器，对于多个用户的访问需求，可以复制分发给各个用户。

3.3.1.3 历史视频数据推送

流媒体服务器可以提供对历史视频数据的推送。存储系统将历史视频数据保存在cStor存储集群上，将cStor挂载到流媒体服务器上，流媒体服务器就可以像访问本地文件一样访问到cStor上的历史视频数据。当用户需要查看历史录像时，流媒体服务器可以将这些视频文件流化，通过rtsp或者http协议推送给用户，实现用户查看远程历史录像的需求。

3.3.2 流媒体服务器集群系统构架

以集群的形式对外提供负载均衡的标准RTSP流媒体并发推流服务，用户根据相应的流媒体RTSP地址，即可实时地获取系统处理完后的实时视频数据和存储的历史视频数据，以供监控和远程访问。

本系统输出为标准RTSP视频流，通过构建流媒体服务器集群和负载均衡机制，使得多台流媒体服务器可以共同对外提供服务，支持高并发访问。

图3-6流媒体输出子系统描述

针对PC机和解码上墙，此类需求一般为高清码流，因此布设在环保视频专网内，走局域网保证清晰度和实时性。

针对移动终端，由于其会经过公网，因此采用APN方式连接，APN的英文全称是Access Point Name，中文全称叫接入点，是移动终端上网时必须配置的一个参数，它决定了移动终端通过哪种接入方式来访问网络。如:使用联通的3G网络(WCDMA)，使用APN接入方式并于其鉴定协议，就可根据用户名判定，生成虚通路连接进入环保视频专网，从而通过流媒体服务器获得视频流。

图3-7流媒体服务器集群系统构架图

3.3.3 流媒体负载均衡

流媒体服务器集群采用LVS负载均衡来进行管理，对外提供虚拟网络服务。在服务器中设置一台负载均衡服务器，使用一个虚拟IP地址连接所有节点服务器，所有应用程序都使用该虚拟IP地址作为服务器集群地址。用户通过虚拟IP地址(Virtual IP Address)访问服务时，访问请求的报文会到达负载调度器，由它进行负载均衡调度，从一组真实服务器选出一个，将报文的目标地址Virtual IP Address改写成选定服务器的地址，报文的目标端口改写成选定服务器的相应端口，最后将报文发送给选定的服务器。真实服务器的回应报文经过负载调度器时，将报文的源地址和源端口改为Virtual IP Address和相应的端口，再把报文发给用户。

图3-8 LVS应用架构

为解决负载均衡服务器发生故障后整个集群瘫痪问题，我们配置了两个负载均衡节点，它们以“主/从”模式配合工作，平时只有主负载均衡服务器在工作，从负载均衡服务器在待命;一旦主负载均衡服务器宕机，从负载均衡服务器马上进入工作状态。

要实现负载均衡，所使用的软件有heartbeat和ldirectord;ldirectord(Linux Director Daemon)可以对服务和物理服务器进行监测，被广泛地用于http和https等服务。它是专门为LVS(Linux Virtual Server)监控而编写的，不仅能从heartbeat的配置文件/etc/ha.d/xxx.cf中读取所有有关IPVS(IP Virtul Server)路由表配置的信息，还可以方便地被heartbeat管理(比如由heartbeat来启动和停止ldirectord服务)。

heartbeat可以通过以太网(或者串行接口)来监控节点的健康状况。如果有多个heartbeat节点(heartbeat 2.0及后续版本已经能够支持两个以上节点)，我们既可以使用串行线又可以使用以太网连接它们，这样将大大提高系统的可用性。

3.3.4 视频流分发功能

流媒体服务器可以对接入的同一路视频流进行多路的分发，当不同客户对同一路流发出请求时，流媒体服务器可以对视频流进行复制，并根据不同客户端的处理能力推送符合客户端需求的视频流，降低接入侧传输带宽的占用。 3.3.5 流媒体服务器性能

测试环境:千兆局域网内，向流媒体服务器发送一百路720P视频流。

图 3-40 流媒体服务器内存测试结果

图 3-9 流媒体服务器CPU测试结果

3-10 流媒体服务器网络测试结果 图

从测试结果看，当流媒体服务器接收一百路视频流时，内存和CPU性能远未达到使用瓶颈，主要的制约因素是网络带宽的峰值已快达到千兆。我们将通过多个网络端口聚合和提高单个网口带宽两种方法来提高网络带宽，提高流媒体服务器的性能。

3.3.6 实时云端转码模块

由于视频转码计算量很大，单一的计算机不可能实现整个监控系统内的摄像头实时视频数据的转码。cVideo研发了云端转码技术，将视频转码计算放大云端，实现整个系统内的实时视频转码，以满足用户对不同分辨率，不同码流，不同终端的使用需求。

视频接入模块首先将不同厂家的前端设备接入进来，对于支持RTSP的采集设备，我们利用标准的流媒体协议接口实现视频和音频数据的传输。对于不支持RTSP的采集设备，我们利用设备厂商提供的SDK进行接入。然后在cVideo云计算平台上利用高效的转码技术，将采集到的高清视频信号解码后，采用H.264、H.263、MPEG2、MPEG4等常用标准视频编码方式和AAC、MP3、WMA、MPEG2等常用标准音频编码方式，对视频重新编码，在满足用户需求的同时降低对网络带宽的消耗。同时，将转码后的视频流推送给流媒体服务器分发出去。这样可以提供给终端不同分辨率需求的视频流，支持常用的音视频编码格式，支持标准解码器解码，从而支持常用播放器的播放(如支持网络功能的MPlayer、VLC等)。

转码处理节点

编图图编数

RTSP码像像码据前端流媒体RTSP

分解转封分SDK设备服务器析码码装发

转码流程 图3-10云端

在cVideo云平台基础上可以实现动态转码过程，保障无线视频数据的稳定接入，系统可根据实时的网络状态，自适应转码，调整合适的分辨率和码率，也可根据用户设置的流畅度优先或者清晰度优先，合理控制实时数据的流量，以保障在无线数据传输的环境下，视频信号正常传输，不受到影响。 4 技术优势

4.1 在线伸缩易扩展

由于本方案在充分利用已有存储的情况下，引入了cStor云存储作为存储系统，由于cStor云存储系统扩容非常方便，支持不停止服务的情况下，动态加入新的存储节点，无需任何操作，即可实现扩容。所以在将来的扩容计划中，只需要把增加的存储节点加入到存储系统中即可，无需停止服务，不影响工作。 4.2 负载均衡性能高

本方案的执法记录仪的上传分为两种，一是本方案的云传输方案，另一个是

在存储集群下构架分布式的FTP，存储的每个节点都对外提供服务，集群把当前的请求负载分发到各个存储节点中，从而在降低各个系统压力的同时，也更好利用了网络的带宽，提升了性能。

4.3 数据安全不丢失

在云存储的构架下，系统采用副本或者超安存的方式都保证了至少一个节点丢失的情况下，仍然能够保证数据的安全性。当需要调取的时候，通过在线点播方式直接获取视频流，本地不进行视频缓存，以进一步提升安全性。

因此在本案的架构下，分散的文件和重要的文件都可以确保数据不丢失。 4.4 数据高性能传输

网络延时一方面直接导致系统响应变慢，另外还通过对网络控制协议和应用协议的影响进一步放大对系统响应速度的影响。cTrans云传输技术解决了在网络状况差的情况下，实现数据的高性能传输。并且在网络状况好的情况下，更加充分地利用已有的网络带宽，提供网络利用率。

5 云平台配置清单

序号 名称 型号 技术规格 数量

江苏公安省厅(640TB存储容量)

2*E5-2620, 8*16GB Memory, 2*500GB 3.5" SATA, 2x cStor元数据1 cStor LAN ports (2x 10BaseT/100BaseTX/1000BaseT), 2U, 2 服务器 含导轨

2*E5-2620, 4*8GB Memory, 1*80GB 2.5" SSD, cStor存储服2 cStor 36*4TB3.5" SATA硬盘, 4x LAN ports (2x 10 务器 10BaseT/100BaseTX/1000BaseT), 4U, 含导轨

cStor云存储负责元数据的管理、维护、存储资源分配、负载均3 系统元数据管V2.0 2 衡等 理软件

cStor云存储负责存储节点数据管理、高速存储，高可用，高可4 系统存储控制V2.0 10 靠 软件

cStor云存储提供帐户管理、设备管理、系统监控、卷管理、告5 系统资源管理V2.0 10 警管理、故障管理等功能 软件

数据高速传输引擎，资源索引服务模块，文件处理6 云传输 cTrans V1.0 1 模块，用户应用终端模块

支持与存储共享服务节点，支持分布式视频点播

7 云视频点播 cVideoV2.0 流媒体模块，视频流实时转发模块，历史视频数据1

推送模块

48个10/100/1000Base-T，上行支持4×1000Base-X

SFP、2×10GE SFP+、4×10GE SFP+插卡 高性能万可插拔双电源，支持交流或者直流供电，配置2个3 网络设备 兆以太网1 万模块，2端口万兆SFP+光接口板 交换机 包转发率:138Mpps

交换容量:256Gbps

13个地市配置相同，共3318TB容量，每个配置256TB存储容量，

每个地市配置具体如下:

2*E5-2620, 8*16GB Memory, 2*500GB 3.5" SATA, 2x cStor元数据1 cStor C1122 LAN ports (2x 10BaseT/100BaseTX/1000BaseT), 2U, 2 服务器 含导轨

2*E5-2620, 4*8GB Memory, 1*80GB 2.5" SSD, cStor存储服2 cStor C1223 36*4TB 3.5" SATA硬盘, 4x LAN ports (2x 4 务器 10BaseT/100BaseTX/1000BaseT), 4U, 含导轨 cStor云存储负责元数据的管理、维护、存储资源分配、负载均3 系统元数据管V2.0 2 衡等 理软件

cStor云存储负责存储节点数据管理、高速存储，高可用，高可4 系统存储控制V2.0 4 靠 软件

cStor云存储提供帐户管理、设备管理、系统监控、卷管理、告5 系统资源管理V2.0 4 警管理、故障管理等功能 软件

数据高速传输引擎，资源索引服务模块，文件处理6 云传输 cTrans V1.0 1 模块，用户应用终端模块

支持与存储共享服务节点，支持分布式视频点播

7 云视频点播 cVideoV2.0 流媒体模块，视频流实时转发模块，历史视频数据1

推送模块

24个10/100/1000Base-T，上行支持4×1000Base-X

SFP、2×10GE SFP+、4×10GE SFP+插卡

高性能万可插拔双电源，支持交流或者直流供电，配置2个

8 网络设备 兆以太网万模块，2端口万兆SFP+光接口板 1

交换机 包转发率:138Mpps

交换容量:256Gbps

交换容量:960GbpsSFP+

视频云存储平台-方案建议书

视频云存储平台 方案建议书

目录

第一章概述 .............................................................................................................................................7 1.1系统简介 . .............................................................................................................................7 1.2设计原则 . .............................................................................................................................7 1.3设计目标 . .............................................................................................................................9 1.4术语及缩略语解释 .......................................................................................................... 10 1.4.1术语解释 ................................................................................................................... 10 1.4.2英文 /缩略语解释 . .................................................................................................... 11第二章总体设计 . ................................................................................................................................. 16 2.1需求说明 . .......................................................................................................................... 16 2.1.1功能性需求说明 . ...................................................................................................... 16 2.1.2非功能性需求说明 .................................................................................................. 17 2.2技术路线 . .......................................................................................................................... 18 2.3逻辑架构 . .......................................................................................................................... 19 2.4系统特点 . .......................................................................................................................... 22 2.4.1高效灵活的空间管理 .............................................................................................. 22 2.4.2海量数据的快速检索 .............................................................................................. 23 2.4.3持续可靠的数据服务 .............................................................................................. 24 2.4.4高可扩展的应用支撑 .............................................................................................. 25 2.4.5开放透明的兼容系统 .............................................................................................. 26 2.5应用场景 . .......................................................................................................................... 27

第三章视频类云存储设计 ................................................................................................................. 29 3.1系统软硬件设计 .............................................................................................................. 29 3.1.1软件设计 ................................................................................................................... 29 3.1.2硬件设计 ................................................................................................................... 38 3.2系统物理拓扑 .................................................................................................................. 40 3.3系统功能设计 .................................................................................................................. 42 3.3.1视频存储功能 . .......................................................................................................... 42 3.3.2录像管理功能 . .......................................................................................................... 43 3.3.3系统管理功能 . .......................................................................................................... 43 3.3.4运维管理功能 . .......................................................................................................... 44 3.4系统业务流程 .................................................................................................................. 44 3.4.1视频存储流程 . .......................................................................................................... 44 3.4.2视频检索流程 . .......................................................................................................... 45 3.4.3视频读取流程 . .......................................................................................................... 46 3.5系统项目设计 .................................................................................................................. 47 3.5.1项目信息收集 . .......................................................................................................... 47 3.5.2云存储设计流程 . ...................................................................................................... 48 3.5.3云存储管理服务器设计 .......................................................................................... 49 3.5.4存储容量计算 . .......................................................................................................... 51 3.6系统软硬件总参考清单 . ................................................................................................. 53第四章图片类云存储设计 ................................................................................................................. 55

4.1系统软硬件设计 .............................................................................................................. 55 4.1.1软件设计 ................................................................................................................... 55 4.1.2硬件设计 ................................................................................................................... 61 4.2系统物理拓扑 .................................................................................................................. 62 4.3系统功能设计 .................................................................................................................. 64 4.3.1图片存储功能 . .......................................................................................................... 64 4.3.2系统管理功能 . .......................................................................................................... 65 4.3.3运维管理功能 . .......................................................................................................... 65 4.4系统业务流程 .................................................................................................................. 66 4.4.1图片存储流程 . .......................................................................................................... 66 4.4.2图片检索流程 . .......................................................................................................... 68 4.4.3图片下载流程 . .......................................................................................................... 69 4.5系统项目设计 .................................................................................................................. 70 4.5.1项目信息收集 . .......................................................................................................... 70 4.5.2云存储设计流程 . ...................................................................................................... 71 4.5.3云存储管理服务器设计 .......................................................................................... 72 4.5.4存储容量计算 . .......................................................................................................... 74 4.6系统软硬件总参考清单 . ................................................................................................. 75第五章视频、图片混合云存储设计 ................................................................................................ 77 5.1系统软硬件设计 .............................................................................................................. 77 5.1.1软件设计 ................................................................................................................... 77

5.1.2硬件设计 ................................................................................................................... 86 5.2系统物理拓扑 .................................................................................................................. 87 5.3系统功能设计 .................................................................................................................. 88 5.3.1视频存储功能 . .......................................................................................................... 88 5.3.2录像管理功能 . .......................................................................................................... 89 5.3.3图像存储功能 . .......................................................................................................... 89 5.3.4系统管理功能 . .......................................................................................................... 89 5.3.5运维管理功能 . .......................................................................................................... 89 5.4系统业务流程 .................................................................................................................. 89 5.4.1视频业务流程 . .......................................................................................................... 89 5.4.2图片业务流程 . .......................................................................................................... 89 5.5系统项目设计 .................................................................................................................. 90 5.5.1项目信息收集 . .......................................................................................................... 90 5.5.2云存储设计流程 . ...................................................................................................... 91 5.5.3云存储管理服务器设计 .......................................................................................... 92 5.5.4云存储存储设备设计 .............................................................................................. 94 5.6系统软硬件总参考清单 . ................................................................................................. 97第六章存储技术对比分析 ................................................................................................................. 98 6.1.1存储技术现状 . .......................................................................................................... 98 6.1.2存储技术对比分析 ................................................................................................ 104第七章附件 ........................................................................................................................................ 109

7.1《视频云存储容量计算工具》 ..................................................... 错误!未定义书签。 7.2主要硬件产品介绍 ........................................................................................................ 109 7.2.1存储管理服务器 . .................................................................................................... 109 7.2.2存储主机 ................................................................................................................. 110表格目录

表 1 视频监控云存储与传统集中存储对比表 . ...................................................................106表 2 视频监控云存储与文件云存储对比表 ........................................................................108图片目录

图 1. 云存储逻辑架构图 ............................................................................................................ 20图 2. CVM软件架构 ................................................................................................................. 30图 3. CVS软件架构 . .................................................................................................................. 32图 4. CVA软件架构 . .................................................................................................................. 34图 5. ASS软件架构 ................................................................................................................... 37图 6. 视频云存储物理结构图 .................................................................................................... 41图 7. 视频云存储系统功能图 .................................................................................................... 42图 8. 视频存储流程 . .................................................................................................................... 45图 9. 视频检索流程 . .................................................................................................................... 46图 10. 视频读取流程 .................................................................................................................. 47图 11. 管理节点双机部署方式 . ................................................................................................. 50图 12. 管理节点集群部署方式 . ................................................................................................. 51图 13. CVM软件架构 . .............................................................................................................. 56

图 14. CVS软件架构 ................................................................................................................ 58图 15. ASS软件架构 . ................................................................................................................ 60图 16. 图片类云存储系统物理结构 ......................................................................................... 63图 17. 视频云存储系统功能 . ..................................................................................................... 64图 18. 图片直存流程 .................................................................................................................. 67图 19. 图片非直存流程 .............................................................................................................. 68图 20. 图片下载流程 .................................................................................................................. 69图 21. 管理节点双机部署方式 . ................................................................................................. 72图 22. 管理节点集群部署方式 . ................................................................................................. 74图 23. CVM软件架构 . .............................................................................................................. 78图 24. CVS软件架构 ................................................................................................................ 80图 25. CVA软件架构 ................................................................................................................ 82图 26. ASS软件架构 . ................................................................................................................ 85图 27. 视频图片混合云存储物理结构图 ................................................................................. 87图 28. 视频云存储系统功能图 . ................................................................................................. 88图 29. 管理节点双机部署方式 . ................................................................................................. 92图 30. 管理节点集群部署方式 . ................................................................................................. 94图 31. CVR直连存储图 ..........................................................................................................100图 32. 视频云存储拓扑图 ........................................................................................................103

概述

系统简介

随着视频监控系统规模越来越大, 以及高清视频的大规模应用, 视频监控系统中需要存 储的数据和应用的复杂程度在不断提高,且视频数据需要长时间持续地保存到存储系统中, 并要求随时可以调用, 对存储系统的可靠性和性能等方面都提出了新的要求。 在未来的复杂 系统中, 数据将呈现爆炸性的海量增长, 提供对海量数据的快速存储及检索技术, 显得尤为 重要,存储系统正在成为视频监控技术未来发展的决定性因素。

面对百 PB 级的海量存储需求, 传统的 SAN 或 NAS 在容量和性能的扩展上会存在瓶颈。 而云存储可以突破这些性能瓶颈, 而且可以实现性能与容量的线性扩展, 这对于追求高性能、 高可用性的企业用户来说是一个新选择。

云存储是在云计算(cloud computing )概念上延伸和发展出来的一个新的概念,是 指通过集群应用、 网格技术或分布式文件系统等功能, 应用存储虚拟化技术将网络中大量各 种不同类型的存储设备通过应用软件集合起来协同工作, 共同对外提供数据存储和业务访问 功能的一个系统。所以云存储可以认为是配置了大容量存储设备的一个云计算系统。 依据云存储的技术及功能特点, 下一代公司专门针对大容量视频数据的存储和管理以及 满足视频监控领域特殊的应用需求, 量身设计了一套下一代视频云存储系统 (以下文章中称 为下一代视频云存储) 。

设计原则

视频云存储系统的设计和实施主要遵循“技术先进性、应用高效性、开放兼容性” 等方 面的原则。

1) 采用前瞻性的存储技术架构

采用以云存储为核心的 IT 技术与安防监控行业特点进行结合,进而针对性开发出具有 行业属性的先进视频、 图片专有云存储系统。 将云存储核心技术如集群化部署、 资源虚拟化 整合、 分布式流数据存储等技术应用到本套云存储系统中。 同时充分考虑安防监控行业的发 展需要, 该套云存储系统需要能够支撑未来大数据处理、 智能分析处理等云计算技术的需要, 实现云存储系统在安防监控领域的先进性和前瞻性。

2) 专注与应用结合的设计方式

本套云存储系统是针对安防监控行业内视频数据、 图片数据存储而设计的, 对视频数据 的具体业务应用进行详细的应用分析后, 从系统底层的流数据结构的设计一直到上层的应用 调度策略设计都必须站在应用的角度考虑存储。

云存储系统需要明确自己作为应用的支撑这一深层次的角色定位, 而不能再停留在传统 存储和通用的文件云存储仅仅是数据存储的这一较低的层次认识。 因此专注于视频和图片的 应用是本套视频云存储系统的重要设计原则。

3) 提供开放和兼容的系统环境

云存储系统的开放性和兼容性是需要考虑的重要原则, 本套云存储系统要成为业内领先 的专业存储系统, 就必须要考虑到与标准应用平台的无缝对接和第三方标准存储设备的兼容 性问题。

本套云存储系统需要对应用平台提供统一的接口, 可在不同的行业中与其应用平台进行 良好的互动, 对用户的应用提供优秀的数据保障。 同时对于第三方标准存储设备, 云存储系 统应该做到良好的兼容性,以保护用户的前期投入提供一个开放、公平的系统环境。

设计目标

下一代视频云存储系统设计的核心目标其一是视频和图片数据在存储方面能够很好的 满足用户需求; 其二是为用户应用数据提供高效、 稳定、 快速的服务; 其三是系统可以实现 便捷、可靠的统一管理及运维。

1) 数据存储

下一代视频云存储系统实现百 PB 级的海量存储, 突破传统的 SAN 或 NAS 在容量和性 能的扩展上存在的瓶颈, 实现性能与容量的线性扩展, 满足用户对高性能、 高可用性的需求。 视频云存储系统通过集群智能化部署设计, 不同于传统视频存储的部署模式, 系统性能 全面提升,而且不再存在单机故障及性能瓶颈应用,从而实现高效实用的存储系统。 2) 应用服务

下一代视频云存储系统是一套贴合用户需求而设计视频云存储系统, 其先天的基因中就 融入了面向应用的特质, 在不断发展的趋势下这种面向应用的特质会不断地为用户提供高效、 灵活、可靠的专业级存储服务。

3) 统一管理及运维

视频云存储系统具有高效灵活的空间管理能力, 通过全系统分层集群的设计将系统的管 理资源进行整合,并根据负载均衡算法提供全高效并发处理机制,提高了系统的整体性能。 视频云存储系统内的设备和资源的运行情况进行统一监控,以标准的 SNMP 协议与运 维服务器进行数据交互,能够非常便捷的实现系统整体运维。

术语及缩略语解释

术语解释

云存储:是与云计算同时兴起的一个概念。云存储一般包含两个含义:

1)云存储是云计算的存储部分,即虚拟化的、易于扩展的存储资源池。用户通过云计 算使用存储资源池,但不是所有的云计算的存储部分都是可以分离的。

2)云存储意味着存储可以作为一种服务,通过网络提供给用户,用户可以通过若干种 方式来使用存储。

云计算:(Cloud Computing)是一种基于互联网的计算方式,通过这种方式,共享的 软硬件资源和信息可以按需提供给计算机和其他设备。

双机热备(双机容错) :就是对于重要的服务,使用两台服务器,互相备份,共同执行 同一服务。 当一台服务器出现故障时, 可以由另一台服务器承担服务任务, 从而在不需要人 工干预的情况下,自动保证系统能持续提供服务。

集群(cluster )技术:是一种较新的技术 , 通过集群技术,可以在付出较低成本的情况 下获得在性能、 可靠性、 灵活性方面的相对较高的收益, 其任务调度则是集群系统中的核心 技术。

虚拟化:是指计算元件在虚拟的基础上而不是真实的基础上运行, 是一种多设备虚拟整 合、虚拟应用的技术;是一种简化了管理,优化资源的解决方案。

负载均衡:一种分布式计算机处理技术, 用来平衡电脑各部件或大型电脑、 服务器各主 机的资源使用率。

I 帧:表示关键帧,可以理解为这一帧画面的完整保留;解码时只需要本帧数据就可以

完成。

H.264:是 MPEG-4 标准所定义的最新,同时也是技术含量最高、代表最新技术水平 的视频编码格式之一, H.264最具价值的部分无疑是更高的数据压缩比。

720P :是美国电影电视工程师协会 (SMPTE ) 制定的高等级高清数字电视的格式标准, 有效显示格式为 1280×720, P 是 Progressive, 逐行的意思。

1080P :是美国电影电视工程师协会(SMPTE )制定的高等级高清数字电视的格式标 准,有效显示格式为 1920×1080, P 是 Progressive, 逐行的意思。

英文 /缩略语解释

A

AFP :Apple 公司开发的文件协议

API (Application Programming Interface) ,称为应用编程接口,就是软件系统不同 组成部分衔接的约定。 软件的规模日益庞大, 常常会需要把复杂的系统划分成小的组成部分, 编程接口的设计十分重要。

ASSN (Asynchronous Storage Service Node)第三方存储服务节点

ASS (AsynchronousStorage Service)异构存储软件

C

CIFS (CommonInternetFileSystem )通用 Internet 文件系统在 windows 主机之间 进行网络文件共享,是通过使用微软公司自己的 CIFS 服务实现的。

CVMN (Cloud Video Manage Node)视频云存储管理节点

CVSN (Cloud Video Storage Node)视频云存储节点

CVM (Cloud Video Manage)视频云存储管理软件

CVN (Cloud Video Net-Snmp)视频云存储运维软件

CVS (Cloud Video Storage)视频云存储软件

CVA (Cloud Video Access)视频云存储接入软件

F

FC 协议(Fibre Channel)提高硬盘协议的传输带宽,侧重于数据的快速、高效、可靠 传输, FC 光纤通道拥有自己的协议层。

FCSAN 网络介质为光纤通道,把服务器与存储设备连接起来的存储技术。

FTP (FileTransferProtocol )文件传输协议,使得主机间可以共享文件。

G

GUI (GraphicalUserInterface 图形用户接口) 是指采用图形方式显示的计算机操作用 户界面。

H

Hot-Spare ,当一个正在使用的磁盘发生故障后,一个空闲、加电并待机的磁盘将马上 代替此故障盘,此方法就是热备。

HTTP (Hypertexttransferprotocol 超文本传输协议)是一种详细规定了浏览器和万 维网服务器之间互相通信的规则。

I

IO (Input/Output)输入 /输出。

IP (Internet Protocol网络之间互连的协议)中文简称为“网协” ,就是为计算机网络 相互连接进行通信而设计的协议。

IPC (IP Camera)网络摄像机名称缩写。

IPSAN :是在传统 IP 以太网上架构一个 SAN 存储网络把服务器与存储设备连接起来的 存储技术。 IP SAN其实在 FC SAN的基础上再进一步,它把 SCSI 协议完全封装在 IP 协议 之中即 iSCSI 协议。

iSCSI 是一种由 IBM 公司研究开发的,是一个供硬件设备使用的可以在 IP 协议的上层 运行的 SCSI 指令集。

J

JPEG (JointPhotographicExpertsGroup 联合图像专家小组)图像压缩标准。 M

Mibs 网络中所有可能的被管理对象的集合的数据结构。

N

NAS (Network Storage Technologies)基于标准网络协议实现数据传输。 NFS (NetworkFileSystem )即网络文件系统 . 网络文件系统 允许一个系统在网络上与 他人共享目录和文件。

P

PB 数据单位, 1PB = 1,024 TB = 1,048,576 GB

R

Raid (Redundant Arrays of Independent Disks) ,中文为独立冗余磁盘阵列。 RTSP (RealTimeStreamingProtocol )实时流传输协议,是 TCP/IP协议体系中的一 个应用层协议。

S

SAN (Storage Area Network )集中式管理的高速存储网络,由多供应商存储系统、 存储管理软件、应用程序服务器和网络硬件组成。

SAS 是新一代的 SCSI 技术,和现在流行的 SerialATA (SATA )硬盘相同,都是采用串 行技术以获得更高的传输速度,并通过缩短连结线改善内部空间等。

SNMP (Simple Network Management Protocol)简单网络管理协议,它是一个标 准的用于管理 IP 网络上结点的协议。

SSD (SolidStateDrives )固态硬盘简称固盘,简单的说就是用固态电子存储芯片阵列 而制成的硬盘。

T

Trap 广义的 trap 即 snmp trap,指被管理设备(代理)上报的陷阱报文,表明设备发 生故障或变更的主动通知。

TB 数据单位, 1TB = 1,024 GB = 1,048,576 MB

TCP (Transmission Control Protocol )传输控制协议,是一种面向连接、可靠的、 基于字节流的运输层(Transport laye)通信协议。

U

UDP (User Data Protocol)用户数据报协议是与 TCP 相对应的协议,它是面向非连 接的协议,它不与对方建立连接,而是直接就把数据包发送过去。

URL (UniformResourceLocator )称为网页地址,是因特网上标准的资源的地址。 W

WEB 广泛译作网络、互联网等技术领域。

Web Service 是一种服务导向架构的技术 , 通过标准的 Web 协议提供服务 , 目的是保证

不同平台的应用服务可以互操作。

总体设计

下一代视频云存储系统是由下一代自主研发的一套针对安防监控行业应用的专业级云 存储系统。 采用软硬件一体化设计, 结合先进的集群化技术、 虚拟化技术、 离散存储技术等, 通过流式文件系统对存储资源进行虚拟化和应用化整合, 为用户提供高性能、 高稳定、 高扩 展性的数据存储服务。

需求说明

功能性需求说明

1) 视频功能

要求视频存储系统具备 7×24小时大码流视频录像、 快速检索、 回放和管 理的功能,同时,对于视频的回放,须有相应的优化,比如 I 帧序列回放等。 检索要求支持对录像按照多种方式检索, 如按照类型、 标签、 时间段等方 式。

回放要求按照类型、时间、 I 帧、正序、倒序、倍数等方式进行回放。 管理要求支持删除、锁定、标注、循环覆盖(时间、空间)等方式进行管 理。

2) 图片功能

要求视频存储系统支持图片的高速写入、 并发下载、图片压缩、锁定、删 除等功能。

下载要求支持按时间段和 URL 的方式获取图片。

图片压缩要求能支持按照图片尺寸、大小进行压缩。

提供图片直存和非直存两种解决方案,丰富图片存储的多选性。

3) 运维管理功能

要求支持对系统的运行状态、 存储使用情况进行监控, 以及对软硬件异常状态报警, 便 于用户处理。

4) 系统管理功能

要求统一服务接口, 系统提供的统一的服务接口便于与应用平台进行对接。 要求提供统一的管理界面,通过管理界面能进行存储设备和资源的配置。 非功能性需求说明

1) 可靠性需求

采用视频云存储技术, 将网络中大量各种不同类型的存储设备通过应用软件整合起来协 同工作, 共同对外提供视频数据存储和业务访问。 保证单个节点失效时, 系统能够通过自动 负载将业务调整到其他设备上以满足用户业务的持续性; 并且需要能够提供数据的迁移备份, 在设备故障无法快速修复时依然能够支持数据的正常读取来满足业务应用的需要。

2) 稳定性需求

随着容量和存储设备的增加, 如何保证海量数据存储的安全性和可靠性是传统视频存储 面临的巨大挑战, 要求存储系统具备 7×24小时的不间断写入的能力。 在系统运行的过程中, 运行压力的持续或加大系统能够通过集群技术、 虚拟化技术动态自动调整业务压力, 将业务 响应的压力进行分散来减少单点压力过大。

3) 扩展性需求

云存储系统的建设在不同的阶段可能会有不同的容量要求。 随着项目的不断扩大、 应用 的不断加强, 容量将会不断扩大。 那么云存储系统需要能够提供动态扩展功能, 要求对在线 系统增加、 减少设备时业务不中断。 设备一旦融入云存储系统后立即可用作为整体存储资源 的一部分进行调用,在扩展存储设备时要求能够支持对接标准第三方存储设备。

另外对于系统的扩展性, 在动态调整具体监控区域的存储资源时要求能够做到良好的灵 活性, 即不但能够增加存储资源的配给, 也能够减少存储资源的配给工作, 充分体现出良好 的扩展性。

4) 可用性需求

云存储系统需要提高良好的可用性, 将复杂的应用、 繁琐的操作流程简单化。 对用户而 言只需要使用唯一的 IP 地址就能够访问和管理云存储系统。

用户在唯一的界面上就能够准确并安全地进行配置、 部署、 监控整套云存储系统, 能够 为用户对设备状态、资源、报警、升级、扩展,维护方面提供便捷。

5) 性能需求

要求系统提供线性递增的性能属性, 容量越大性能越强; 同时提供并发响应机制, 加快 数据业务的处理能力。

技术路线

下一代视频云存储系统基于云架构进行开发, 采用面向用户业务应用的设计思路, 融合 集群应用、负载均衡、虚拟化、云结构化、离散存储等技术,可将网络中大量各种不同类型 的存储设备通过专业应用软件集合起来协同工作, 共同对外提供高性能、 高可靠、 不间断的 数据存储和业务访问服务。

在视频云存储系统的设计中,采用的核心技术如下:

采用存储全域虚拟化技术对具有海量存储需求的用户提供透明存储构架, 可持续扩容避 免瓶颈限制, 可以更有效的进行资源管理, 灵活增减空间, 达到最大程度上合理利用空 间的效果。

采用集群技术,解决单 /多节点失效问题,并利用负载均衡技术充分利用各存储节点的 性能,提升系统的可靠性和安全性。

采用离散存储技术,保障了用户高效的读写的同时保证了业务的持续性。

采用统一完善的接口,降低对接成本、平台维护成本和用户管理的复杂度。

采用开放的集成构架,使其可兼容业界各类 iSCSI/FC存储设备,保护用户现有存储投 资资源。

采用数据备份和容灾技术,保证云存储中的数据不丢失,确证云存储服务的安全稳定。 采用视频、图片的全直存技术方案,保证项目整体的成本控制,优化存储系统流程。 逻辑架构

云存储系统采用分层结构设计,整个系统从逻辑上分为五层,分别为设备层、存储层、 管理层、接口层、应用层。

云存储逻辑架构图

1) 设备层

设备层是云存储最基础、最底层的部分,该层由标准的物理设备组成,支持标准的 IP-SAN 、 FC-SAN 存储设备。在系统组成中,存储设备可以是 SAN 架构下的 FC 光纤通道 存储设备或 iSCSI 协议下的 IP 存储设备。

2) 存储层

在存储层上部署云存储流数据系统, 通过调用云存储流数据系统, 实现存储传输协议和

标准存储设备之间的逻辑卷或磁盘阵列的映射,实现数据(视频、图片、附属流)和设备层

存储设备之间的通信连接,完成数据的高效的写入、读取和调用等服务。

3) 管理层

在管理层,融合了索引管理、计划管理、调度管理、资源管理、集群管理、设备管理等 多种核心的管理功能。 可以实现存储设备的逻辑虚拟化管理、 多链路冗余管理、 录像计划的 主动下发, 以及硬件设备的状态监控和故障维护等; 实现整个存储系统的虚拟化的统一管理, 实现上层服务(视频录像、回放、查询、智能分析数据请求等)的响应。

4) 接口层

应用接口层是云存储最灵活多变的部分, 接口层面向用户应用提供完善以及统一的访问 接口, 接口类型可分为 Web Service接口、 API 接口、 Mibs 接口, 可以根据实际业务类型, 开发不同的应用服务接口,提供不同的应用服务。实现和行业专属平台、运维平台的对接; 实现和智能分析处理系统之间的对接; 实现视频数据的存储、 检索、 回放、 浏览转发等操作; 实现关键视频数据的远程容灾;实现设备以及服务的监控和运维等。

5) 应用层

从逻辑上划分, 除了应用层外, 剩下的四层都属于通常云存储的范畴, 但是在下一代视 频云存储系统中, 为了与视频监控系统的建设和应用更加紧密的结合, 更加符合用户的业务 需求,将应用层纳入了整个系统架构中,从根本上提高下一代视频云存储系统的针对性。 可将行业视频监管平台、 运维平台、 智能分析平台等通过相应的接口与云存储系统对接, 实现与云存储系统之间的数据以及信令的交互。

行业视频监控平台可与云存储系统进行配置录像计划、配置存储策略、检索视频资源、 重要录像的备份存储等指令的交互,辅助流数据、视频数据、图片数据的存取。

运维平台采用标准的 SNMP 协议实现并提供 Mibs 接口,对云存储系统以及服务进行

监控管理,及时将产生的告警传递给用户。

将智能分析平台可与云存储系统进行对接, 实现基础数据的读取, 以及经过存储的二次 分析后的片段信息,文本信息写入和检索。

系统特点

下一代视频云存储系统通过全集群化设计、 全域虚拟化设计、 分布式文件系统设计、 面 向应用的算法、 功能设计为用户提供了更为海量的存储空间、 更为庞大的前端路数支持、 更 为高效的处理能力、 更为透明的系统环境。 对于面向视频、 图片等监控行业无疑是一套非常 优秀的云存储系统。

高效灵活的空间管理

下一代视频云存储系统具有高效灵活的空间管理能力。 为了突破传统存储在存储容量和 系统性能上的矛盾, 在管理大容量空间时通过全系统分层集群的设计将系统的管理资源进行 整合,并根据负载均衡算法提供全高效并发处理机制,大大地提高了系统的整体性能。 1) 存储资源的虚拟化

对存储空间的管理方面下一代视频云存储系统将全域各存储节点的资源进行虚拟化后, 向用户呈现出一个持续的、 超大的数据资源池, 将其称之为存储资源池。 存储资源池的整合 过程完全透明, 由系统算法自行完成, 将用户从繁琐的空间管理和配置中解脱出来, 提高了 管理效率。

2) 存储资源的在线扩展

当存储资源无法满足用户的容量需求, 需要进行存储资源的扩展时, 下一代视频云存储 系统能为用户提供十分便易的操作。用户只需要在集群内添加新增存储设备的 IP 地址,系

统会自动辨别新增设备,对新增设备进行虚拟化整合,这样新增设备的容量就能融入集群, 并作为集群内全部存储资源的一部分为用户所用; 同时, 在整个存储资源的扩展过程中, 视 频云存储系统的录像业务正常运行, 保障用户不会因为系统的扩容而中断正在进行的正常业 务,从而实现存储资源的在线扩展。

云存储的系统架构保证了存储资源在线扩容的同时, 可以满足容量与处理性能的线性增 长,从而提供了无限制的容量增长能力。

3) 虚拟空间的灵活使用

用户对存储资源池的使用完全可以做到随心所欲, 可以按照监控系统的需要和监控区域 的容量大小将存储资源池的存储资源进行分配,分配后的存储资源称为录像池。

录像池的划分采用灵活策略方式, 对于已经分配好的并在线运行的录像池策略依然能够 进行调整。 调整方式非常灵活, 不但能够做到将录像池进行扩大, 同时也能非常灵活的支持 将录像池进行缩小,而这点在传统存储中则非常困难。

海量数据的快速检索

下一代视频云存储系统管理着百 PB 级的存储容量空间, 但是依然能够具备高效、 准确、 快速的数据检索能力。

1) 一体化索引设计

下一代视频云存储系统的索引管理遵循着高效、 简洁、 一体化的设计思路。 所有与用户 业务相关的索引信息统一由下一代视频云存储系统的视频云存储管理节点或者集群进行管 理。 视频云存储管理集群在对索引的一体化设计上将海量数据索引查找、 筛选进行了全面的 优化,大大的提高了查找速度。在规模不断扩大时性能几乎相同,均能做到毫秒级耗时。

2) 深化的应用设计

下一代视频云存储系统本着视频云存储系统的特有性, 在视频、 图片的某些专有信息上 也进行了独特的设计。可以支持快速的对 I 帧定位并直接读取 I 帧信息,避免了传统存储在 I 帧数据获取时反复读取视频数据再分析呈现的过程。该项设计使得下一代视频云存储系统 在数据存储索引设计与用户应用更紧密地进行了融合, 使得下一代视频云存储系统能够为用 户提供更为高效的海量数据的快速检索能力。

持续可靠的数据服务

下一代视频云存储系统为用户能够提供 7X24小时不间断高效可持续的数据服务, 充分 保护数据安全和可靠性。

1) 集群化管理节点设计

下一代视频云存储系统在管理层面通过部署集群化视频云存储管理节点向用户提供系 统级的存储性能和可靠性。通过视频云存储管理集群将管理压力、 业务压力、调度压力、检 索压力等同时分担在不同的视频云存储管理节点上, 不但能够使系统整体性能提升, 还可以 使得单台节点的压力下降。

通过这种方式单台视频云存储管理节点的系统消耗更小, 也就使得使用寿命更长, 可能 出现故障的概率降低。即使视频云存储管理集群中部分(一台或多台) 节点出现故障, 也不 会影响到视频云存储系统的服务, 因为在视频云存储管理集群中的其他节点会主动接过故障 节点的工作,继续为视频云存储系统提供管理服务。

2) 持续并发业务存取

在数据存储层面同样由于视频云存储节点也采用的集群化部署, 所有的存储资源是采用

虚拟化的方式由系统统一进行管理的。 在数据存储时下一代视频云存储系统采用离散存储算 法,可以为用户提供系统级分散存储服务。支持将同一 IPC 提供的数据流按照分片的方式 分布式存储在不同视频云存储节点上。

这样即使单台或多台存储节点出现故障该 IPC 的录像数据仍然可用。在存储节点内运 行管理和业务软件也可用对数据进行合理分配, 同时高效的 Raid 技术在设备层面也能保证 数据的高安全和可靠性。

3) 高可靠的录像功能

下一代视频云存储系统在存储节点上内置视频云接入软件, 所提供的录像服务和流媒体 服务也是由视频云存储管理节点统一进行调度的, 每套视频云接入软件负责一部分前端的录 像工作。 当这台节点宕机时视频云存储管理集群会根据当前资源情况按照负载均衡策略将这 部分录像任务重新进行分配,保证业务的不中断。

高可扩展的应用支撑

下一代视频云存储系统是一套为视频、 图片等监控行业而设计视频云存储系统。 其先天 的基因中就融入了面向应用的特质, 在不断发展的趋势下这种面向应用的特质会不断地为用 户提供高效、灵活、可靠、的专业级存储服务。

1) 数据应用性能支撑

由于视频数据具有持续时间长、 数据量大等特点, 在存储和读取上对存储设设备的压力 会尤其的严重。传统存储在遇到视频流数据的时候往往会出现存储 /读取慢、前端支持路数 底的瓶颈。而下一代视频云存储系统就能够很好的解决这些问题。

2) 流数据存储结构设计

下一代视频云存储系统的集群化、 分布式设计使得系统的性能有很大的提升, 能够并发 服务以满足视频数据的高速读取需求。

下一代视频云存储系统的流数据结构系统也是专门为视频、 图片数据而设计, 能够合理 将整段数据进行划分。这样设计的优点是满足视频数据的持续写入。

对于划分的粒度, 通过下一代多年视频监控行业的服务经验, 同时配合对大数据服务的 扩展需要, 以及考虑到后期数据读取和应用的频率而进行的专业调整。 在具体存储空间的分 配上下一代视频云存储也是自有知识产权的设计, 摒弃传统存储的分配方式而为视频、 图片 数据而特别设计的。

3) 高扩展性应用设计

视频录像的应用方面下一代视频云存储也进行了充分的考虑。 如支持对 I 帧的快速定位、 对录像标注、 修改、 对存储周期采用时间和存储容量双轴线覆盖策略等。 下一代视频云存储 这些专业化设计使得用户在应用过程中不再需要平台分析服务器采用反复读取完整录像后 再进行分析而得出结论的方式。 这样大大优化了应用的服务质量, 使得监控系统的服务也更 加专业、有效。同时为有云计算需求的用户提供了优质的数据基础。

开放透明的兼容系统

下一代视频云存储系统的设计理念就是通过云的概念将所有不同类型的应用、 业务接口 全部封闭在云内,为上层业务和用户提供统一的、透明的、可调用的系统级存储资源。 1) 统一开发平台接口

云存储系统在软件接口设计上采用 API 的模式对内部所有处理模块进行筛选,将对业 务有决定性的模块按照接口的模式进行统一封装, 提供给上层业务进行调用, 这样云存储系

统内部实现对上层业务就不再重要, 上层业务只用调用云存储系统提供的统一接口即可, 大 大的优化了上层业务的代码结构、 简化了操作步骤, 也将应用的效率和性能进行了大幅提高。 2) 标准第三方设备接入

下一代视频云存储系统采用的是标准的设备兼容模式, 支持标准 IP SAN、 FC SAN存 储设备的接入。下一代视频云存储系统通过部署第三方存储服务节点的方式,将用户环境 中现有或者需要使用的标准第三方存储设备统一进行管理。第三方存储设备接入到下一代 视频云存储系统后,由视频云存储管理集群统一进行管理,第三方存储设备的资源也纳入 到虚拟池内进行管理。用户在使用上并不会感受到差别,真正实现透明、统一、兼容的视 频云存储系统。

应用场景

下一代视频云存储解决方案作为安防监控行业整体方案中的存储技术部分, 在确定使用 云存储方案前需先明确存储业务的类型。 当前云存储业务应用场景分为三种类型:纯视频云 存储场景、纯图片云存储场景、视频与图片混合类云存储场景。

视频云存储场景与图片云存储场景的主要区别在于:

视频云存储中视频数据流采用直写方式存储到存储磁盘阵列上。 在此场景中云存储的存 储节点替代了流媒体服务器的功能, 将流媒体转发与存储结合, 简化了系统结构。 因此云存 储不需要部署流媒体服务器, 可以节省项目的整体成本。 同时大幅提高存储系统的效率和可 靠性。

图片云存储方案中高清抓拍相机的图片数据流需要通过平台接入服务器转发到存储磁 盘阵列。 以云存储替代传统的存储方式, 可以最大限度的发挥存储设备的整体性能, 大幅提

升存储效率和可靠性。 对于图片中我司的图片直存云存储方案则可省去接入服务器, 效率更 为优良。

混合云存储场景支持一套云存储能同时满足视频和图片数据的存储要求。 并综合视频和 图片的在云存储系统中的存储优势, 将复杂的业务存储场景简单化, 向用户提供一体化的存 储解决方案。

因此本方案针对业务应用场景进行了分类:纯视频类数据的云存储设计请参考第三章; 纯图片类数据的云存储设计请参考第四章; 项目既包含视频存储又包含图片存储的情况请参 考第五章。

视频类云存储设计

下一代视频云存储系统应用于纯视频存储时,主要是承担整个系统内的视频数据写入 /读取工作。 云存储系统一方面采用了基于云架构的分布式集群设计和虚拟化设计, 在系统内 部实现了多设备协同工作、性能和资源的虚拟整合,最大限度利用了硬件资源和存储空间。 另一方面, 通过将云存储的存储功能、 管理功能进行打包, 通过开放透明的应用接口和简单 易用的管理界面, 与上层应用平台整合后, 为整个安防监控系统提供了高效、 可靠的数据存 储服务。

系统软硬件设计

软件设计

下一代视频云存储系统主要由四大部件组成:云存储管理软件(CVM ) ,云存储软件 (CVS ) ,云存储接入软件(CVA )以及云存储异构软件(ASS ) 。下面分别介绍四大软件内 部结构及功能。

视频云存储管理软件 CVM

视频云存储管理软件:CVM (Cloud Video Manage)整套软件,主要功能包括视频 云存储系统内资源管理、存储节点管理、集群管理、策略调度、运维监控等。

软件包含六大功能模块,分别为:索引管理模块、调度管理模块、集群管理模块、计划 管理模块、资源管理模块、辅助管理模块,整体软件架构如下图所示:

转载请注明出处范文大全网 » 视频云存储方案