范文一:数据交换平台设计方案
信息交换平台设计方案
目录
1. 项目背景................................................................................................................... 4
1.1. 概述............................................................................................................ 4
1.2. 现状分析..................................................................................................... 4
1.3. 需求描述..................................................................................................... 5
2. 目标与原则 ............................................................................................................... 6
2.1. 建设目标..................................................................................................... 6
2.2.
2.3.
3.1.
3.2. 建设原则..................................................................................................... 7 定义与约束 ................................................................................................. 7 建设内容..................................................................................................... 8 建设依据..................................................................................................... 9 3. 建设内容与依据 ........................................................................................................ 8
4. 技术路线................................................................................................................... 9
4.1. 技术架构..................................................................................................... 9
4.2. 应用架构................................................................................................... 15
5. 系统功能................................................................................................................. 18
5.1.
5.2. 功能划分................................................................................................... 18 系统管理................................................................................................... 21
5.2.1. 运行环境配置..................................................................................... 21
5.2.2.
5.2.3. 系统注册............................................................................................ 22 目录服务............................................................................................ 23
5.2.3.1. 类别维护..................................................................................... 25
5.2.3.2. 元数据维护 ................................................................................. 27
5.2.3.3. 目录索引管理.............................................................................. 28
5.2.4. 权限管理............................................................................................ 28
5.2.4.1. 操作者权限 ................................................................................. 29
5.2.4.2. 系统用户权限.............................................................................. 30
5.2.5. 订阅定制............................................................................................ 31
5.2.5.1. 数据校验..................................................................................... 33
5.2.5.2. 订阅............................................................................................ 34
5.2.5.3. 退订............................................................................................ 35
5.2.6. 日志定制............................................................................................ 36
5.2.7.
5.2.8.
5.3. 安全管理............................................................................................ 38 其它参数设置..................................................................................... 39 数据交换服务............................................................................................ 40
5.3.1. 数据交换流程..................................................................................... 40
5.3.2.
5.3.3.
5.3.4.
5.3.5.
5.3.6. 消息管理............................................................................................ 41 队列管理............................................................................................ 42 发送管理............................................................................................ 42 接收管理............................................................................................ 43 封装解析............................................................................................ 44
5.3.6.1. 封装............................................................................................ 44
5.3.6.2. 解析............................................................................................ 45
5.3.7. 数据整编............................................................................................ 46
5.3.8. 数据保存............................................................................................ 47
5.3.9. 其它相关服务..................................................................................... 48
6. 项目实施安排.......................................................................................................... 48
1. 项目背景
1.1. 概述
经过近几年的信息化建设,北京市水务局的计算机网络和应用系统的建设均取得了长足发展,随着信息技术的发展,水务信息化建设的相关标准与方式方法也在不断完善和规范,为后续相关业务信息化建设奠定了坚实的基础。 北京市水务局已经建设了骨干通讯网,构建了机关内部的计算机局域网络平台和数据库系统。
水务局目前已经运行的有近30个业务系统。以水务局“水务信息平台”为核心的水务信息网已基本建成。水务信息化标准数据库已经建立并在不断的规范当中。目前北京市水务局已建立了水文数据库、供水数据库、水环境数据库、工情数据库、灾情数据库、水土保持数据库、社会经济数据库和图形图像地理信息数据库八类数据库,这些数据库均是在ORACLE9I 版本数据库之上。水务局对下属机关、局属、县区单位分为A 、B 、C 三类分中心机构,大部分分中心均已建有自己的水务业务信息系统,且基本实现与局中心水务平台相连,进行数据交换与共享。
1.2. 现状分析
北京市水务信息平台虽已取得的很大进展,但由于各分中心的业务系统的应用结构、技术结构以及数据库差异较大,尤其各分中心的业务系统所用的数据库不尽相同——有不同版本的ORACLE 、SQL SEVER 等,采用的开发技术不同——如J2EE 、DOTNET 等,不同系统之间需要实现数据的及时共享与互通,局中心尚没有建立完善的信息共享交换机制,不能及时获得各分中心的水务信息,达不到为决策支持提供信息服务的目标,各系统间的数据交换成为数据共享的最大障碍,因此需要建立一个统一的、适用性广的信息交换平台,用于交换局中心与各分中心之间的各种数据,从而实现数据及时共享与交换。
1.3. 需求描述
建设一个开放的、可扩展的、适应性强的、高效稳定的信息交换平台,平台应具有如下功能:
1、 方便的实现北京市水务局及各分中心业务应用系统之间的数据共享与交换;
2、 实现不同类型的数据库对接:即通过本平台能够实现不同类型数据库之间的互通,可以将数据源表和目标数据表对应起来;
3、 数据对导:即本平台支持对结构相同或相似源数据表与目标数据表内数据的直接导出导入操作,对导前可以配置导出导入字段的对应关系,同时应支持通过视图进行对导数据的功能;
4、 数据类型自动转换:指通过平台实现对不同数据类型数据的自动转换功能,比如一个字段由STRING 型转换为另一个数据库接受的VARCHAR 型数据;
5、 消息队列的自动管理:本平台可以自动判断并管理消息队列,按消息的优先次序或级别来安排消息传输,建立良好的数据传输机制;
6、 数据的自动封装与解析:本平台可以对指定数据按一定原则进行封装,封装时可以自动判断数据包的大小,按指定大小封装成一个或多个包并记录包间的关系,在接收数据包后,可以对包进行自动解析;
7、 安全控制:本平台应具有严格稳定的安全机制,确保数据安全,即能够根据需要自动按规则对传输数据进行加密解密、根据不同请求者的权限级别设置对应的数据访问权限、自动记录数据丢失与否及传送成功与否的记录,并在传输失败后,能够以GSM 的方式通知接收方本次传送失败,请等待下一次传送;
8、 日志:本平台要有健全完备的日志功能,根据需要记录系统运行过程中的所有相关信息,尤其当系统遇到意外而无法正常工作时,应有相关日志以备查阅;
9、 运行稳定:由于信息交换平台要完成局中心与各分中心之间所有基础数据、业务数据、实时数据甚至空间数据的时实共享与交换,因此本平台要长期稳定的运行,能够处理好由于多方同时发送请求而造成的堵塞或冲突等情况,同时具有一定的网络故障应对能力,即当网络发生故障时,交换平台应能自动记录正在传送途中的数据信息,以便网络恢复时,自动续传,支持断点续传;
10、 鉴于信息交换平台在整个水务信息化中的重要地位,本平台在设计时尽量考虑到后期的可扩展性、开放性和广泛的兼容性要求,不能因为具体业务系统的变化或水务信息平台的某个问题而影响正常的数据交换业务,更不应出现平台无故中止或停止服务而进行平台扩展调试的情况;
11、 平台尽可以满足人性化,可配置的灵活要求。
2. 目标与原则
2.1. 建设目标
信息交换平台建设在水务局中心,为局中心与各分中心、各分中心之间的数据共享与交换服务,并兼顾分中心与采集系统之间的信息交换,实现整个水务信息网用户中任意两个用户间的数据共享与交换,主要实现以下目标:
1、数据交互:能够将一个数据库的某一表中数据,根据一定的要求导入到另一数据库相应表中;
2、资源共享与订阅:能够实现数据资源的共享设置、共享级别设置,订阅数据资源等操作,并能按照订阅内容交换数据;
3、信息级别权限控制:一定级别的工作站只能访问该级别或级别要求更低的共享资源;
4、数据操作源和目的数据库可以为多种数据库:如:SQL Server,Oracle 等;
5、数据交换要支持多种数据类型:如:数值、字符、日期、文件等;
6、信息交换平台运行模块要以服务程序模式运行;
7、信息交换平台支持数据配置扩展,可以通过配置文件来更改运行环境、共享资源数据内容以及共享级别;
8、日志记录:创建日志,方便调试和日后查看;
9、系统具有长时间稳定运行的能力;
10、有一定的网络故障处理能力,当网络出现问题时,系统可以在一定程度上采取自救措施,如支持断点续传和发送短信息给等待用户。
2.2. 建设原则
本平台建设遵循以下原则:
1、实用性原则:以实用为第一准则,切实满足管理和业务需求;
2、安全性原则:设计采用有效的软件安全保护、防止非法入侵等措施,保证应用系统、数据的运行安全;
3、先进性原则:设计采用先进软件技术,并考虑适度超前,为今后需求变化留有余地;
4、可靠性原则:技术成熟,保证系统稳定可靠长期运行;
5、完备性原则:设计功能全面、完整;
6、可扩充性原则:采用先进开发手段,组件化的开发模式,以保证可扩充性;
7、标准化与开放性原则:系统设计符合标准化建设和开放的原则。
2.3. 定义与约束
1、元数据:元数据是一组描述数据本身基本特征和属性的数据,又称为“数据的数据”。从本质上说,元数据是一种数据结构标准,它提供了一种框架体系和方法来描述、表征数字化信息的基本特征,并通过一套通用的编码规则,将来源各异的数字化资源归纳到一个标准的体系中。
2、数据抽取:现有数据库内的数据一般都是以某种关系型存在的,构成一个数据集合,抽取即是把数据库内的数据按照一定的规则提取出来组成一个满足自身数据规范要求的数据集合的形式。
3、SOA (service-oriented architecture,也叫面向服务的体系结构或面向服务架构):是指为了解决在Internet 环境下业务集成的需要,通过连接能完成特定任务的独立功能实体实现的一种软件系统架构。SOA 是一个组件模型,它将应用程序的不同功能单元(称为服务)通过这些服务之间定义良好的接口和契约联系起来。接口是采用中立的方式进行定义的,它应该独立于实现服务的硬件平台、操作系统和编程语言。这使得构建在各种这样的系统中的服务可以以一种统一和通用的方式进行交互。
4、节点:本文中指整个水务网内与局中心相连接的各分中心(包括局中心)。
5、系统用户:使用本平台进行数据交换或共享的系统,即系统用户在本文中指一个应用系统。
6、操作者用户:操作本平台的操作员,即指通过本平台提供的人机交互界面操作本平台完成指定系统功能的人。
7、缩略语:在本设计方案中,信息交换平台或共享交换平台有时被称为本平台或本系统,或在上下文描述时,简要称为系统、平台,均指本信息交换平台。
3. 建设内容与依据
3.1. 建设内容
依据信息交换平台的承担任务、北京市水务信息化建设现状及发展形式的要求,本平台建设内容主要分为下面几个方面:
1、目录服务
系统提供目录服务功能,统一管理市水务局中心、各分中心的基础信息、各类业务信息、各种统计分析等数据——包括相关图表数据,利用目录服务手段为各用户依据权限设定范围提供独享数据资源、共享数据资源的快速检索与定位。
2、基础信息资源服务
通过建立专门的基础信息维护模块接收各种系统所需基础信息资源、公共信息资源,从而为各级用户之间实现信息资源的共享与流通提供必要保障。
3、元数据定制服务
考虑到本系统的可扩展性及与各类业务系统之间的兼容性,系统对用到的各类基础信息元数据、业务信息元数据提供用户可定制功能,即用户可通过自身业务需要定制自己的元数据信息,再根据对元数据的维护、整理、分析、接收、发送、订阅分配等业务操作实现数据交换与管理功能。
4、数据订阅服务
局中心、各分中心用户均可订阅其它用户作好订阅分配的数据信息集,可以根据各自权限及所需订阅信息订阅其它系统或中心的信息数据,从而最大限度的包容了由业务变动带来的需求信息变化,也灵活的实现了不同时期、不同级别用
户对数据的不同需求。
5、信息交换服务
本交换平台为局中心、各分中心用户所需的各项服务进行统一管理,提供对各类数据交换的统一规范化服务与管理,为跨部门、跨区域、跨级别、跨系统的数据交换提供服务。
6、支撑服务
为了保证本系统稳定、安全、顺利的运行,本平台提供全面的支撑服务体系。如安全认证服务、审计服务等。
7、日志
作为安全服务的补充,本平台提供完备的日志管理机制,并对日志进行分级处理,用户可根据自身需要在系统内设置本平台所要记录的日志信息,便于后期查看。
3.2. 建设依据
《软件工程术语》GB/T 11457-1995
《计算机软件产品开发文件编制指南》GB/T 8567-1988
《北京市水利骨干通信网——信息高速公路总体规划》
《信息技术软件生存期过程》GB/T 8566-1995
《计算机软件质量保证计划规范》GB/T 12504-1990
《计算机软件配置管理计划规范》GB/T 12505-1990
《软件维护指南》GB/T 14079-1992
《计算机软件可靠性和维护性管理》GB/T 14394-1993
《软件支持环境》GB/T 15853-1995
4. 技术路线
4.1. 技术架构
1、技术模式
作为整个北京市水务信息网络各应用系统之间的数据交换接口,为了保证其可扩展性和系统的可靠性,本信息交换平台采用组件化的设计模式实现,各组成模块尽量作到松散耦合,可以无限制扩充,从而实现与其他系统模块的无缝集成,该系统采用面向对象的组件化技术建设基于C/S结构的系统,并且以Windows 服务程序模式与Windows 程序用户交互模式结合方式运行。这种设计具有以下一些优势:
? 以服务方式运行的系统可以在服务器不登陆的情况下,数据交换就能够运行;
? 服务程序与交互界面并存,这样可以实时监测和控制交换程序的运行,方便维护和调试;
? 系统提供用户操作界面,可以让用户非常便捷地完成相关设置与订阅操作;
? C/S结构程序最适合网络间数据交换,能够保证程序的持续稳定运行; ? 系统采用ODBC 数据源来连接数据库,解决多种类型的数据库源的连接问题。
本系统技术框图如下:
交换平台技术框图
2、技术实现
系统内各具体功能模块均由相应的组件(或称构件)构成,相关组件由容器
统一管理,根据服务对象与功能的不同,容器可分为“管理容器”和“交换容器”分别完成系统与数据的管理及数据交换功能。功能组件按其功能分别归由相应的容器统一调配管理,组件间的关系通过配置文件(XML )实现,以达到松藕合的目标。
组件按其作用与重要程度可分为“标准组件”和“附加组件”两种,标准组件是信息交换平台为完成正常数据管理与交换功能必要须的功能组件,附加组件是指为了使平台更好的运行,为平台添加一些附加功能而设计的组件。附加组件也是可选组件,平台根据相关配置动态实现附加组件的调用,当平台加入的附加组件并已配置了相关信息时,平台运行过程中会自动调用此组件实现附加功能;当平台的配置信息改变删除附加组件时,平台不再调用附加组件,而进行常规运行,并不影响正常的平台功能。
本平台设计的组件、分类及作用描述如下表:
注:节点指使用本平台的各个系统用户。 以上组件与主要功能模块的对应关系如下:
辅助功能
业务主体
基础服务
组件与功能对应关系
上图中浅黄色为组件,淡蓝色为功能模块,箭头表示功能与组件的主要对应关系。
3、技术特点
总结起来信息交换平台具有以下技术特点: 1) 元数据
采用元数据理念管理共享与交换用到的各种数据元素,元数据管理基于信息资源目录管理的资源体系实现,本平台元数据描述除清晰描述信息自身含义外,还清楚的描述信息的存取方法、基本属性等信息,为建立在信息资源目录基础上的数据抽取创造条件。
2) SOA 架构
本平台采用SOA 技术架构进行开发,各组件统一在容器中进行规划并接受容器的统一调用与管理,实现组件间的松散藕合,这种组件化的模式使平台兼备
技术的先进性与灵活性,最大程度的兼顾了当前和今后应用系统的多样化,同时为本平台的无限制扩展提供可能。
3) 通信技术
信息交换平台是基于网络运行的平台,数据传输采用SOCKET 同步机制传输,并且在传输过程中,平台自动对数据包大小进行检测并加以限制,当欲传输数据大于包的限制容量时,则分为多个包进行传送,并自动记忆包间的关系,对检测到不合法的包进行自动舍弃,同时发送舍弃信息给数据发送方。
4) 并发技术
由于信息交换平台运行时需要同时进行多种处理,所以系统设计时采用多线程并发设计,系统主要并发线程有:轮询发送订阅数据线程、接收处理数据线程、订阅数据线程、监听订阅数据线程等,接收每个资源方发送的数据时,每个接收处理一个线程。
5) 轮询技术
信息交换平台运行时需要不停检测新数据,如果检测到新数据则将数据发送给订阅方。所以系统采用时间轮询不停检测和发送新数据。
本平台设计采用线程睡眠Sleep 等待方法实现。Sleep 等待是让此线程停止执行一段时间,然后再继续运行进行轮询。这样能有效避免两个线程因同时使用资源而产生冲突。
轮询时间间隔可以通过系统运行环境配置文件进行设置。 6) 扩展接口
为了使平台在后期维护时方便快捷,不停止正常工作或尽可能短时间的中断正常工作,系统应具有一定的可扩展性,预先考虑到可能存在的接口,目前考虑到的接口如下:
? 数据库操作接口:可以扩展对多种数据库类型的访问,以适应不同的数据库类型;
? 数据读取接口:可以采用多种读取数据的方式; ? 数据保存接口:可以完成多种情况的数据保存; ? 数据整编接口:扩展数据整编功能的接口;
? 交互消息接口:各工作站交互不同类型消息时的扩展接口;
数据传输接口:数据在网络间传输其它技术扩展接口。
4.2. 应用架构
由于本平台应用于以市水务局为中心的北京市水务信息网络,负担的数据共享与交换范围包括局中心、各级分中心及具体采集终端,因此本平台以局中心为中心采用集中管理的方式,即各分中心必须登录局中心平台进行注册,获得本分中心(以下称节点)的共享级别及相应的共享数据,从而再与其它分中心进行数据共享与交换。其交换节点以“星型”结构存在,如下图:
节点的星型结构
在实际数据交换中,本平台实现水务信息网内所有节点之间的数据共享与交换功能,即任意两个节点之间都可以进行信息共享与数据交换,因此从数据交换的角度看,属“网状”结构,结构图如下:
信息交换“网状”结构
本平台功能架构总体上可分为三层:表现层、认证层和应用层,其中应用层可分为交换服务应用与系统管理应用两部分。
平台功能架构图如下:
表现层
认证层
应用层
平台功能架构图
应用层:在本信息交换平台中,系统管理模块作为平台应用层的一部分,也是平台运行的基础模块,完成平台运行环境、平台运行过程中相关进程的运行方式、时间特性、服务对象与区享等级、资源信息等的设置操作,为实现数据交换提供基础支撑服务;数据交换服务模块同样是应用层的组成部分,完成具体的数据交换功能,根据系统管理部分的设置信息有效有序的管理消息、进行数据的接收、发送、解析、整编及保存等相关操作。
认证层:身份认证属认证层,是指在系统运行过程中,根据系统管理相关部分的设置信息判断发出订阅申请的用户在本平台中具有的共享级别信息,从而作到权限的有效控制,防止信息泄露。
表现层:人机交互界面是表现层内容,是计算机软件操作者与软件系统进行交互的途径,本平台除在后台自动运行的数据传输及进程管理方面的功能外,所有系统参数设置、资源定制管理方面的操作均通过表现层的人机交互界面完成。
5. 系统功能
5.1. 功能划分
信息交换平台除一部分设置功能需要用户通过界面控制完成外,数据交换功能需要长期稳定的在后台运行,为水务信息各应用提供数据共享与交换服务,因此本平台功能可分为系统管理(或叫数据交换管理)和数据交换服务两部分。其功能结构图如下:
信息交换平台功能结构图
1、系统管理模块
分为运行环境配置、注册管理、目录服务管理、权限管理、订阅定制、日志定制、安全管理、其它参数设置七个子模块,功能概述如下:
? 运行环境配置:完成平台运行的系统环境、可以连接的数据库类型、连接方式及参数、可以接受转换的数据类型等支持系统运行环境的基础信息配置。
? 注册管理:完成通过本平台进行数据交换与共享的所有应用系统在局中心平台的注册,获取相应访问信息范围及其它辅助信息,只有在本平台注册过的系统才可以通过本平台与局中心及其它分中心之间实现数据的交换与共享。
? 目录服务管理:系统以目录的形式管理所有信息元素,对各类信息元素进行分类管理,分类从多角度进行,如按基础信息、业务信息;服务对象(这里指局中心各系统及分中心相关系统)等,每种分类及具体信息均按一定规则被编制成目录形式,且在整个目录中均有唯一的ID 标识,同时基础信息和业务信息
元素按可以访问的秘密程度分组,与系统用户组对应,这样便于对有请求的系统用户(这里指发出请求的相关应用系统)进行访问内容控制,即根据目录索引快速定位到当前用户有权访问的数据范围,并迅速定位用户指定信息。目录信息的类别、内容可根据实际需要由人工或系统设定自动增加整理,并定时给出总目录详细信息及目录变化记录等。
? 权限管理:在本平台中,权限管理分为两部分完成,一是对操作者的管理与权限分配,实现操作者使用本平台具体功能的权限对应管理;二是对系统用户的可访问信息的权限设置,所有欲使用本平台进行数据交换的应用系统需首先在本平台上注册身份,注册方式可以由系统自动判别注册也可以由管理员通过相关界面输入系统内,并对各用户可以访问的信息内容进行权限等级划分——不同级别的用户可以访问的资源范围不同。在此后的运行中,平台会自动判断提出请求的用户身份并与其权限对应,从而保证用户的正当权力和数据信息的保密性。
? 订阅定制:各用户均可订阅其它用户作好订阅分配的数据信息集,可以根据各自权限及所需信息订阅其它用户的可订阅信息数据,从而最大限度的包容了由业务变动带来的需求信息变化,也灵活的实现了不同时期、不同级别用户对数据的不同需求。
? 日志定制:本平台将日志按重要程度分级管理,并由用户进行设置(当然系统会提供默认设置)应记录的日志范围,系统会根据设置信息记录相关日志。
? 安全管理:包括信息数据安全及网络安全两部分,信息安全又为分访问安全与传输安全两种,访问安全是指本平台通过对用户进行身份认证、权限判断的方式保护正当用户的应得权力,同时避免信息的非法访问;传输安全指本系统对传输数据按一定规则进行加密封装之后再行传送,接收时同样首先进行解密和有效性验证后才对数据进行解析、整编、保存相关处理;网络安全是考虑到本平台的数据交换服务进程要长期依托网络运行,因此应具有一定的自动监测网络状态及故障应对措施,确保信息的完整和安全。
? 其它参数设置:支撑系统运行及方便用户的其它参数设置功能。 2、数据交换服务模块
包括消息管理、队列管理、发送管理、接收管理、封装与解析、数据整编、数据保存和其它相关服务八个子模块,功能概述如下:
? 消息管理:平台提供消息管理机制,统一管理经过平台的收发信息。各用户发送过来的请求中均有各自的特征信息,平台接收与准备发送的消息也同样以一定规则验证特征信息,然后根据指定原则对各种消息进行验证、归类、排序等一系列管理操作,便于通过平台的各类消息有序的传递。
? 队列管理:当通过本平台的请求较多时,如果不对各类消息加以控制会产生资源争用或并发冲突的现象,并且可能会出现优先级较高的请求反而等待时间过长现象,因此需要平台对队列进行有序管理,队列管理根据消息分类的结果及发出请求的用户优先级及消息本身的优先级进行综合判断给出合理排序。
? 发送管理:本交换平台在处理各类数据交换与共享请求时,会向请求方发送处理结果或其它中间信息,本平台依据发送数据包的特征标识找到接收方,并首先探测网络状况,许可时即进行发送操作,并自动记录发送日志。
? 接收管理:与发送管理相对应,本平台在接收各用户传送过来的信息时,首先验证数据包的有效性、接收目标等内容,将数据解析后接收并归入相应的目标信息集队列等待下一步处理。
? 封装解析:封装与解析是与发送和接收相对应的两个过程,封装指在数据发送前,要按指定规则对数据进行加密、压缩、封装,当数据量较大,一个数据包装不下时,系统自动将信息分成多个数据包,并在每个包内加上相应标识后准备发送;解析即是接收方在接收到对方传来的数据包后,对数据包进行规则解密、验证数据的有效性,通过后即可整编保存数据。
? 数据整编:数据接收后,要根据数据特性标识进行整编、分析、归类及相关转换处理,然后准备保存。
? 数据保存:整编无误的数据即可以保存到目的数据库的相关表内,以完成数据交换的全部操作。并记录相关日志。
? 相关服务:提供数据交换过程中其它相关服务功能如流量分析、关联计算等。
由于本系统是服务系统,因此只有必要的管理设置模块有人机交互界面,其余大部分功能没有人机界面。系统主界面示意图如下——没有体现出来的功能模块均没有交互界面:
数据交换平台
环境配置目录服务权限管理订阅定制参数设置参数设置日志管理
欢迎使用数据交换平台!
信息交换平台系统主界面
5.2. 系统管理 5.2.1. 运行环境配置
运行环境配置维护本平台可以处理的数据库类型、连接方式及具体数据库实例名、所属数据库类型和相应的连接参数信息。具体描述如下:
1、数据库类型维护
维护平台可以支持的数据库类型,如Oracle9i 、Oracle10g 、SQL Server2000、SyBase 等。每个数据库类型有一个唯一编码与之对应,维护信息包括数据库类
型名、编码、描述等。数据库类型不能随意删除,当前数据库在使用时,不可以删除。
2、连接方式维护
平台可以采用的数据库连接方式,如ODBC 、JDBC 、ADO 等维护,维护信息包括方式名称、编号、可用的数据库类型描述等。
3、数据类型与转换
维护不同数据库所包含的数据类型,并配置不同数据库、不同数据类型之间转换关系,定义转换格式。
4、数据库实例
指本平台在具体数据交换时要连接的数据库实例名、所属数据库类型及相关连接参数信息,便于平台自动根据系统连接、调用相应数据库获得所需数据。
以上各信息之间可以存在关联,或使用一定的方式进行关系映射对应,再与系统用户进行关系对应设置,这样用户在使用时,无需再作任何操作平台即可直接根据信息判断出用户请求的目标数据库,简化服务环节。
对上述各类信息的维护,平台具有严格的权限控制,最高级别权限的人员可以对相关信息进增、删、改、查操作,并可以打印相应的信息列表以备对照。
5.2.2. 系统注册
局中心及各分中心的相关应用系统在通过本信息交换平台进行数据交换与共享之间,首先要在局中心通过本平台注册,获得各自的标识及权限信息后才可以通过本平台进行数据交换。
本平台提供的注册方法有两种:平台自动注册和人工注册。 1、平台自动注册
指当平台检测到发出业务申请的系统没有在平台内注册过时,便自动为其注册,在平台内保存此系统的标识码并分配默认访问权限,同时将此信息发送给此申请系统用户,完成注册过程。
2、人工注册
由具体的系统操作人员通过平台提供的人机交互界面维护新的应用系统信息,以获得此系统用户的标识号并为此系统用户分配相应权限,便于系统用户运
行时不必再注册而直接与其它节点进行数据共享与交换操作。系统用户权限分配请参见权限管理相关部分。
5.2.3. 目录服务
平台采用开放式的技术实现信息元的维护操作,在目录服务模块中,平台首先提供一个标准的元数据分类方式,并根据当前水务局数据库内容提供默认的信息元素,在此基础上相关用户可以对目录树进行维护操作。
信息资源目录的管理与建设原则遵照本平台的应用架构模式,以局中心为中心的集中式目录建设,各分中心拥有自己的资源目录,且与局中心形成网状的信息共享与交换结构。目录管理示意图如下:
目录服务主要包括类别维护,用于对元数据进行分级、分类管理,如类别的增删改查及对类别分组设置等;元数据维护指对具体的元数据信息的维护操作,
资源目录管理结构
目录服务模块功能结构图
目录服务功能界面如下:
目录服务功能界面
5.2.3.1. 类别维护
类别维护指对信息按一定规则分类管理,如按局中心数据库分类方式分为水文、供水、水环境、水利工程等方式进行分类或按基础信息、业务信息进行分类,还可分为数据目录、服务目录、应用目录和用户目录,已订阅目录、被订阅目录等,本平台根据实际需要提供若干固定分类,要求用户必须遵循此分类方式进行维护的类别,如用户对象——在这里指可能使用本平台进行数据交换的操作者和系统;消息分类——包括不同类型消息的归类方式、特征码信息设置等。固定分类因其具有固定的特征而在平台中具有个性化的管理和服务与之对应。用户可以根据自己的需要创建新的类别并对其进行维护。
类别维护可分为新增、修改、删除和类别分组几部分功能,其中系统提供的固定类别不能修改或删除。平台根据设置(见日志定制部分),可以记录类别维护的日志。
1、新增
对此模块有权限的平台使用者可以创建新的类别,为类别输入名称及相关辅助信息,系统自动为类别生成ID 标识号,此ID 标识号在整个平台目录数据中具有唯一性,且按一定的规则生成,类别可以包括子类别,并且系统对类别可分级数有限制(参见其它参数设置部分),不允许无限制的分级。
已订阅目录和被订阅目录属系统根据用户操作信息自动生成的查询、浏览目录。已订阅目录内分别展示当前用户已经从其它节点处订阅的信息内容;被订阅目录指其它节点用户到当前用户登记的订阅情况。当前操作者只能在对已订阅目录内容进行取消订阅(即退订,参见退订部分)操作,不能对被订阅目录进行任何编辑性操作。
2、修改
与新增类别相似,已创建的目录类别名称及描述信息可以修改,但其ID 标识不会改变。
3、类别合并
已经创建的多个类别可以合并成一个类别,类别合并包括三个方面:同级类
别可以直接合并,即拖动一个类别到另一个类别文件夹上,系统即会自动合并两个文件夹内的信息元素,同时文件夹名称不变,被合并的类别文件夹消失且被合并的信息元素自动按合并后的编码方式重新编码,同时通过平台订阅记录自动修改其它订阅用户的相应信息的编码;下级向上级合并,首先将下级的信息元素拖到上级目录,使被合并文件夹(类别)为空,再删除之;上级向下级合并,一般来讲,不会有上级向下级合并的情况发生,依据规则,有下级类别的则上级类别没有直接的信息元素,情况发生在一个类别后期又增加子类的时候,首先建立子类别,然后将上级类别的信息元素拖到下子类中即可——系统自动根据编码规则重新为信息元素编码,并同时通过平台订阅记录自动修改其它订阅用户的相应信息的编码。
4、删除
每个类别均有一个启用与否的状态标识,只有未启用的类别可以无限制的删除,一旦该类别被启用,则必须是此类别下面所有的信息元素均处于未启用或已被移走(参见元数据维护部分)的情况下才可以删除。当此类别包含的信息元有一个处于启用状态时,此类别的状态即为启用状态,且此状态不能人为改为未启用,类别在新建成功时,状态默认为未启用。
5、分组设置
根据信息元素可以被订阅访问的级别,平台提供将元数据类别分组的功能,即根据当前的资源目录树,选择若干类别(选中上级目录时,所有下级均为选中状态)归为一组,并为此组命名、编号。一个类别可以同时在多个组内出现,但原则上不允许存在类别不在任何组的情况——平台提供检查漏项功能,由系统检查是否存在尚未被分组的类别资源。便于对系统用户分配订阅内容。
类别分组界面如下图:
资源类别分组界面
5.2.3.2. 元数据维护
信息元维护指对各分类内应包含的信息元素(元数据)的维护,如水文类中包括日降雨量、时段降雨量、日蒸发量等内容。
基于信息资源目录管理的信息元素维护在清晰描述信息自身含义的基础上,还清楚的描述了信息的存取方法,为后期的数据抽取做好准备。
元数据维护可分为新增、修改、删除、移动和优先级设置几部分功能。平台根据参数设置(见其它参数设置部分),可以记录信息维护的日志。
1、新增
对此模块有权限的平台使用者可以为指定类别添加新的信息元素,输入元素名称及相关辅助信息,系统自动为元素生成ID 标识号,此ID 标识号在整个平台目录数据中具有唯一性,且按一定的规则生成,信息元素的ID 号中包括有所属的类别信息,如某元素的所属类别ID 号为0100,则此元素在该类别中是第2个元素,则此元素的ID 号为0102。
2、修改
与新增相似,已创建的信息元素名称及描述信息可以修改,但其ID 标识不会改变。
3、移动
信息元素(或称元数据)可以由一个类别转移到另一个类别,转移可分为平级转移、向上转移和向下转移,分别与类别维护中的平级合并、向上合并、向下合并相对应。
信息元素转移后,平台自动判断目标类别的编码,然后按目标类别编码生新为信息元素进行编码,并根据记录订阅信息,修改订阅方此信息元素的编码值。
4、删除
每个元素均有一个启用与否的状态标识,只有未启用的元素可以无限制的删除,一旦该元素被启用过,则证明此元素在某个目标数据库内存在该信息,平台会提示要慎重删除。一个元素在平台内被发现有请求使用时,其状态自动变为启用状态,且此状态不能人为改为未启用,新建成功时,状态默认为未启用。
5、优先级设置
每个信息元素都有一个优先级别号,标识此元素在所在类别中的重要程度,便于平台在运行时依此做出优先级判断。——当系统发生资源争用时,可优先处理优先级较高的数据请求。
5.2.3.3. 目录索引管理
目录索引顾名思义即是目录服务部分统一管理信息索引的功能,在此规定固定的编码规则,并对编码的方式、意义有明确说明,当创建新的类别、添加新的信息元素或其它需要生成编码时,即调用此功能,系统根据请求信息自动生成与之对应的ID 标识。同时还有废号回收的功能,即当一个中间类别号或信息元素号被删除后,再有新的类别或信息元素生成时,可以使用此号。这样严格控制了目录中所有信息标识的唯一性,同时也最大程度的利用了号码资源。
5.2.4. 权限管理
权限管理主要是对使用本系统的操作者及可以通过本平台进行数据交换及
共享的所有应用系统的访问权限分配与管理功能。功能结构图如下:
权限分配功能结构图
5.2.4.1. 操作者权限
操作者的授权主要指通常意义上的用户与权限的管理,是对指定用户与平台功能的权限对应关系的分配与设置。具体包括角色定义、用户维护、权限分配。
1、角色定义
按系统使用者的预定权限范围将用户考虑分组,每个组对应一个角色,可拥有相同的系统操作权限。
角色定义功能完成角色的性质定义,包括编号、角色名称、权限范围描述等信息。角色定义维护包括角色信息的新增、修改、删除、查询。
此功能只能由系统管理员完成。 2、用户维护
用户维护主要指维护系统的操作者人员信息,包括人员姓名、编号、登录名、密码、单位部门、联系方式等基本信息,同时为用户分配所属的角色,一个用户可以同时拥有多个角色,即拥有多个角色的权限。
用户维护功能包括新增、修改、删除、查询。 此功能只能由系统管理员完成。
用户本身登录平台后,可修改个人基本信息中除编号、登录名称以外的所有
信息。
3、权限分配
权限分配是对指定角色可以访问本平台的具体菜单及功能进行设置分配。其设置后还可以根据需要进行修改。
系统提供默认角色及权限设置,当新增一个操作员后,如没有对其进行角色分配,则采用系统默认分配值操作本平台。
5.2.4.2. 系统用户权限
在这里使用本平台进行数据交换或共享的系统即称为系统用户。应用系统的权限设置主要对目录服务内的相关信息进行分配与设置。具体包括权限分配和权限修改两部分。
目录服务中已提到,系统用户在目录中以一个固定的类别存在,可以使用本平台的所有应用系统均是本平台的系统用户,因此必然要在目录列表中存在(可能是人为注册也可以是自动注册的),且具体的应用系统在目录列表中对应一个具体的信息元素级数据。在目录服务中,也可以为系统用户分组。
1、权限分配
在本模块中,不能对系统用户进行增删改操作——此功能在目录服务中完成,只能对系统用户进行权限分配——当系统用户进行分组后即为用户组进行权限分配,即可以为指定的系统用户(组)分配可以访问的信息资源类别组(包括其它应用系统),这样,该用户就可以向有权访问的用户发出订阅请求信息,从而实现数据接收或发送——只有双方均有权访问对方时,才能实现数据双向交换。
同操作者权限管理类似,平台对系统用户提供默认权限设置,当一个新的应用系统通过本平台自动注册后,即享有本平台的默认系统用户权限,要改变此系统用户的权限,可以对该应用系统进行分组或直接分配系统使用权限范围。
系统用户组权限分配界面如下:
系统用户组权限分配界面
如界面所示,在为系统用户(组)分配权限时,还可以进行批量分配——当几个系统用户(组)有相同的权限范围时。
2、权限修改
权限修改即是对已建立并分配权限(包括默认分配)的用户或用户组的权限进行修改、重新分配的过程。
权限修改时,当用户(组)的权限范围缩小(这里指原来有的权限修改为没有的情况)时,平台自动判断此用户(组)是否已经订阅了被撤消权限的信息,如果有则提示操作者用户此信息已经被订阅,若强烈撤消此项权限内容,则本系统自动删除此用户(组)对该信息的订阅信息及被订阅方的被订阅记录,否则直接修改权限。
5.2.5. 订阅定制
订阅定制是本交换平台的核心功能之一,主要指订阅方向被订阅方提出订阅请求,经对方允许后获得订阅信息的先期预订过程。
系统提供人机交互界面,用户通过界面访问、浏览可以订阅的对方信息,并
定制订阅信息。订阅信息维护包括校验数据、订阅、退订三部分。
订阅定制的功能结构图如下:
订阅定制功能结构
校验数据是指在具体订阅资源之前,首先检查、校验订阅方与共享方数据的同步性,不同步则通过本平台进行数据同步,以便达到数据的一致性。
退订是指订阅方取消订阅,删除已经定制好的订阅信息并发送退订消息给共享方不再订阅的过程;
定制与此相反指开始订阅对方的共享信息。
另外系统提供基于订阅的信息浏览与查询功能,可以查询已订阅的信息,也可以有针对性的查询当前网络中可以订阅的其它节点的共享信息。查询条件可以是信息类别、节点名称——这些基础信息均是通过点到点的数据同步得到、时间等。
订阅定制总体功能流程图如下:
订阅流程图
5.2.5.1. 数据校验
本平台提供两种数据校验方式:系统自动定时校验和人工操作校验。 1、自动校验
自动校验是通过系统设置校验节点、频率或时间参数后,平台在运行过程中依据参数设置对指定对象进行数据校验,自动同步的过程。不需要人为操作。
2、人工校验
人工校验是指由操作员根据需要对指定节点的数据进行校验同步的过程。人工校验没有时间、频率的限制,由操作者根据需要而定。
无论通过哪种校验方式,平台自动记录校验记录,记录上次校验时间,便于
下一次数据校验时的参照与比对。
5.2.5.2. 订阅
订阅即指订阅定制,是用户通过系统界面浏览其权限范围内的其它用户的共享资源,并对共享资源进行选择发送订阅请求,最终获得订阅资格的过程。
订阅的操作流程如下:
订阅流程图
订阅界面
5.2.5.3. 退订
退订与订阅的过程刚好相反,是指已经订阅成功的信息,由于某种变化或需要,而由订阅方向共享方发出信息,提出取消订阅的过程。
退订的操作流程如下:
退订流程图
如图所示,退订过程中,一般只要订阅方提出申请共享方即取消对此订阅方提供相应的订阅信息。
5.2.6. 日志定制
日志管理分为三个方面:记录内容管理、文件时间设置、日志查看。结构图如下:
日志管理功能结构
1、记录内容
本平台提供完备的日志服务功能,考虑到用户的不同需求及灵活性,同时考虑到系统长期运行时输出日志对系统性能的影响,本平台将需要记录日志的内容按对系统响影的程度分为五级,用户可以选择指定级别记录日志信息。
日志内容分级情况表:
2、成文时间
本平台在为需要记录日志内容分级的同时,还可以对日志文件时间进行设置,即用户根据自己的需要可以设置每小时、每天、每月、每年一个日志文件——这里当然是单选,即只能选择一种。日志文件可以人为中止,中止时记录成一个文件,然后可以更改日志文件的成文时间。
如上所述,本系统充分考虑了用户对日志内容、日志文件大小方面的个性化要求,用户可以根据自己的实际情况权衡日志应记录的内容和文件大小,从而达到最优效果,在确保系统的正常运行的同时方便后期查看运行情况,为分析系统、查找原因提供适当的参考信息。
3、查看日志
用户可以在本系统内查看日志信息,可以输入查询条件选择性查看日志信息。从而从不同角度、不同方位查看分析当时的系统及环境情况。对日志查询结果还可以输出打印出来,其输出格式可为EXCEL 和WORD 文档以及数据报表。
日志查看总体流程图如下:
日志查看流程图
5.2.7. 安全管理
安全管理提供完备的安全策略保护本平台及数据的安全。本平台安全管理主要从三个方面考虑:
1、用户方面
有严格的权限分配与控制机制——权限分配部分已有详述。 2、数据方面
采用独特的加密方式进行加密、封装再传输——参见数据交换服务之封装解析部分。
3、网络监测方面
平台提供实时网络监测部件,用于实时(间隔时间可设置,见其它参数设置部分)探测当前的计算机网络状况及数据流量,当发现网络故障时,自动记录网络故障出现的时间及可能的原因,并中止当前的网络通讯作业,等待网络恢复后继续执行。当监测到网络故障发生一定时间间隔(允许的网络超时时间,见其它参数设置部分)后,便以GSM 的方式通知当前正在等待网络信息回复的用户,网络发生故障,并记录被中断的作业信息。
本平台网络监测采用定时探测的技术实时监测网络状态,同时当网络出现故障时(断网或超时),以GSM 无线网络为依托,采用GPRS (General Packet Radio Service ,通用分组无线业务)技术实现信息的无限制发送,确保通信畅通,为等待回复的用户及时提供当前状况,便于用户尽早采用备战措施。此功能借鉴目前已在使用的水务实时通技术方案实现。
5.2.8. 其它参数设置
支持平台正常运行的相关参数设置,具体包括:
? 监测网络的时间间隔:多少秒探测一次网络连接状态。 ? 是否支持断点续传:即可否支持传输被中断之后的续传。
? 网络超时时延:探测到多少秒连续的断网状态后即认为网络中断,发送断网信息给用户。
? 传输数据包的大小:数据传输数据包的大小限制,以K 字节为单位。 ? 可建目录级别:系统可以创建的服务目录级别,包括元数据一级。 ? GSM 发送内容:网络中断、严重错误、共享资源被删除。 其它参数设置。
5.3. 数据交换服务
本模块描述中,5.3.4发送管理 5.3.8数据保存是一个完整、粗略的数据交换全过程,其中封装解析是封装与解析两个过程,消息管理与队列管理功能贯穿其中,大体过程如下:
数据交换过程
信息发送方的数据在发送前,首先进行加密、压缩并按规则封装成一个一个的数据包,然后进行发送;接收方收到信息后,首先对数据进行初步校验、解析在确定数据无误后按规则整编,最后保存到相应数据库内完成数据交换的一个单方向传输过程。
5.3.1. 数据交换流程
数据交换服务是本平台的核心业务,系统管理模块的一切功能都是为数据交换服务的,数据交换服务长期驻留内存并运行,实时完成网络内各用户、各系统之间的信息交换与共享。
数据交换指共享方与订阅方之间的信息互通和数据交换。一个订阅方可以订阅多个共享方的共享数据,同理一个共享方也会受理多个订阅方的订阅请求。实际上产生数据交换的过程就是共享方向订阅方发送数据的过程。
数据交换流程图如下:
数据交换流程图
如图所示,当订阅方订阅了信息后,共享方轮询读取数据,并对数据进行封装,然后发送给订阅方,订阅方接到数据后,首先对数据进行验证、解析、整编最后将合法数据保存(如果验证数据不合法则丢弃并发送错误信息给共享方,要求重新发送),并封装确认信息返回给共享方,共享方在接到回复后,记录订阅概要信息(或重新读取数据进行发送),完成数据交换过程。
5.3.2. 消息管理
本平台提供消息管理机制,统一管理经过平台的一切消息。平台采用特征验 41
证码的方式为每条消息加注特征码,同时总结各用户端传送消息的特性,分析消息的归属类别,根据消息的特点对消息进行分类(如发送、请求、回复、接收、报错等)、整理、预排序,准备使用各自的通道进行传输,避免消息混乱的状态发生。消息的归类规则及特征码信息可以在目录服务中进行维护。
本管理功能不提供用户交互界面,而是以内部进程的形式存在。
5.3.3. 队列管理
当通过本平台的请求较多时,如果不对各类消息加以控制会产生资源争用或并发冲突的现象,并且可能会出现优先级较高的请求反而等待时间过长现象,因此本平台采用有效的队列管理手段根据消息本身的特性优先级等信息调动、排列各进程,使所有请求有序高效的得以执行,从而最大程度的优化系统。
5.3.4. 发送管理
本交换平台在处理各类数据交换与共享请求时,会产生各种信息及数据的发送操作,平台依据发送数据包的特征标识找到接收方,并首先探测网络状况,许可时即进行发送操作,并自动记录发送日志(根据日志记录设置情况而定)。
发送流程图如下:
42
发送数据流程图
发送信息内容不仅限于各类交换的数据信息,还包括通讯双方的交互消息等。GSM 信息发送发生在计算机网络不能连通的情况,GSM 可发送网络中断信息、错误报告信息及资源删除消息——依据参数设置情况而定。
GSM 信息发送采用在平台中集成无线通讯技术,当计算机网络不通时,与GSM 短信无线网络平台相连接,依托局中心已建的PDA 技术平台进行发送信息的方式。
5.3.5. 接收管理
与发送管理相对应,本平台在接收各用户传送过来的信息时,首先验证数据包的有效性,有效则接收下来进入下一步处理,否则丢弃此包同时发送错误信息给发送方,并记录相关日志(根据日志定制部分的设置而定)。
接收管理的流程图如下:
43
接收流程
如图所示,当信息端口有传来的数据时,首先根据数据包的特征码进行初验,有效则接收数据否则丢弃此数据包,并发送错误消息(或重发消息)给发送方要求重新发送。
5.3.6. 封装解析
5.3.6.1. 封装
封装是指数据在发送之前进行的加密、压缩、封装过程。平台对准备发送的数据按一定规则加密压缩后,进行封装,并且一个数据包的大小是固定的(参见其它参数设置部分),当欲传送数据大于规定包的大小时,系统自动将数据分成多个包进行传送,并记录各个包之间的先后关系,同时在包中加入明显的可供验证的标记。
封装流程图如下:
44
比
封装流程图
在数据加密、压缩之前,平台采用轮询读取数据的方式实现数据的循环读取,本平台采SLEEP 等待的方式进行数据读取,即每读取一次数据后,等待一段时间再进行下一次数据读取,这样避免了由于多线程同时争用系统资源而产生堵塞。并发与轮询技术的结合使用有效、充分的利用了系统资源,使得平台具有较高的数据处理能力,为支持频繁、大数据量的数据交换与共享提供了可能。
5.3.6.2. 解析
解析即是接收方在接收到对方传来的数据包后,对数据包进行规则解密、验证数据的有效性,通过后即可整编保存数据。
解析数据包的流程图如下:
45
解析流程图
5.3.7. 数据整编
数据接收并经解析后,要根据数据特性标识进行整编、再分析、归类、关联计算及相关转换处理,然后准备保存。数据整编主要指对经过解析检验的数据进行归类、按数据类型对应关系进行转换处理的过程。
数据整编流程图如下:
46
整编流程图
5.3.8. 数据保存
整编无误的数据即可以保存到目的数据库的相关表内,完成数据交换的整个流程,并记录相关日志(依据日志设置而定)。
数据保存处理流程图如下:
47
数据保存处理流程
5.3.9. 其它相关服务
本平台还提供一些必要的其它方便性的服务功能,此模块也是本平台预留的可维护增加的开放式接口。
6. 项目实施安排
本项目工期安排如下表:
48
范文二:智能交通大数据综合服务平台设计方案
智能交通大数据综合服务平台
1. 概述
随着经济发展、城市化进程的加快以及城市规模不断扩大,机动车拥有量及道路交通流急剧增加,城市紧缺的土地资源和高密度的土地利用模式,使得交通供给与交通需求之间的矛盾日益突出,交通拥堵、停车困难、环境恶化等交通问题不断加剧,影响了城市的可持续发展及人民生活水平的提高,阻碍了经济的发展。大城市也面临同样的问题,近年来机动车保有量持续快速增长,高峰交通拥堵日益加剧,交通发展面临严峻形势和新的挑战。很多城市在市区主要范围内实施“错峰限行”等交通管理措施。采取调控交通需求削减交通需求总量其原因之一是城市道路已经难以通过基础设施规划建设来改善交通。另一方面,如何利用智能交通系统(ITS)来缓解交通、提升交通效率也是可以着力的一个方向。
目前各交通管理部门建立了功能相对完善的交通指挥控制中心,包括交通信号控制系统、道路交通监控系统、交通诱导显示系统、停车管理系统、交通违章处理系统等,初步实现了交通信号控制、道路监控、交通信息综合查询、有/无线指挥调度及交通诱导等基础功能。ITS的各种信息采集技术(如微波采集技术、视频采集技术、环形线圈感应式采集技术等)被广泛地运用于交通数据采集,公安交管部门不仅具备了交通基础信息,还拥有了各类动态数据,如车辆实时营运信息、道路交通状况等,采集的数据类型包括属性数据、空间数据、影像数据等。对交通三要素(人流、车辆、道路)连续不断采集的多源交通数据流产生了巨量的交通数据,具有典型的“3V”特性:大容量、多样性、高速度,也具有价值、复杂性的特点,属于名符其实的交通“大数据”。仅以国内某城市内道路卡口数据为例,每天达到约15GB的数据量,要实现对城市道路交通的整体运营水平和人们出行规律的深度挖掘,就要以日、月甚至年为时间粒度对大数据进行计算和分析。
[数据是智能交通的核心,数据为王的大数据时代已经到来。如何高效地从海量数据中分析、挖掘所需的信息和规律,结合已有经验和数学模型等生成更高层次的决策支持信息,获得各类分析、评价数据,为交通诱导、交通控制、交通需求管理、紧急事件管理等提供决策支持,为交通管理者、运营者和个体出行者提供交通信息,成为当务之急。交通数据分析的发展趋势正如TDWI大数据分析报告指出的,由常规分析转向深度分析,如图1所示。
图1分析的趋势
[7]在交通数据分析方面,生昕格交流了交通云数据处理平台的一个具体应用实例,该平台基于廉价计算机构建集群,用Hbase存储大数据,采用MapReduce
[8][9]进行分布式计算;Chen等利用MapReduce框架对交通流预测;李磊等论述了基于云计算的铁路数据中心的逻辑结构。这些工作没有涉及交通大数据处理平台需要面对的各种应用场景以及系统构建应遵循的原则,如没有涉及实时数据流处理问题。面对交通大数据,如何存储、组织和管理并提供服务是ITS面临的一个挑战。本文针对如何构建交通大数据处理平台开展研究,主要从使能技术方面展开论述,不对具体业务系统进行评述。
2. 交通大数据处理平台的功能需求及其逻辑框架
本节通过介绍智能交通系统大数据的特点以及提供服务的要求分析了交通大数据分析平台需具备的特点,提出了交通大数据处理平台逻辑框架,并进一步阐述了平台构建的基本原则建议。
2.1 交通大数据处理平台需具备的特性
如前所述,交通服务要提供全面的路况,需要交通综合监测网络对城市道路交通状况、交通流信息、交通违法行为等的全面监测,采集、处理及分析大量的实时监测数据,具有数据量巨大的特点;随着城市机动车保有量不断提高,城市道路交通状况日趋复杂化,交通流特性呈现随时间变化大、区域关联性强的特点,需要根据实时的交通流数据及时全面采集、处理、分析等,因此具有系统负载时变性高、波动大的特点,应支持低延时、高并发事务;公众出行服务对交通信息发布的时效性要求高,需将准确的信息及时提供给不同需求的主体,信息处理、分析实时性要求高;ITS需面向政府、社会和公众提供交通服务,为出行者提供安全、畅通、高品质的行程服务,保障交通运输的高安全、高时效和高准确性,
要求ITS应用系统具有高可用性和高稳定性。这给交通大数据处理平台提出了挑战,平台需满足的特性如表1所示。
交通大数据处理平台面对海量数据,系统不能仅依靠少数几台机器的升级(Scale-up,纵向扩展)满足数据量的增长,必须做到横向可扩展(Scale-out),既满足性能的要求,也满足存储的要求(包括结构性数据、非结构形式、半结构性数据);由于服务需求的多样性,平台既要支持交通数据流的实时分析与处理又要支持复杂查询与深度分析所需的高性能、低延迟需求。平台需具有高度容错性,大数据的容错性要求在作业(Job)执行过程中,一个参与节点失效不需要重做整个作业。机群节点数的增加会增加节点失效概率,在大规模机群环境下,节点的失效不再是稀有事件,因此在大规模机群环境下,系统不能依赖于硬件来保证容错性,要更多地考虑软件级容错,同时增加系统的可用性。系统的开放性也是十分重要的,在下一小节会知道ITS是一个巨系统,各子系统之间数据交换、共享以及服务集成是必不可少的,同时要求系统支持迭代开发,可不断更新/增加功能;系统服务不但专业人员可以使用,业务人员也可以使用,分析可以实现大众化。
另外,平台应支持异构环境。交通大数据平台的建设是分步骤、分阶段进行的,设备的采购、更新会造成硬件系统的异构,建设同构大规模机群难度较大;另外,对异构环境的支持可以有效地利用历史上积累的计算机资源,降低硬件成本的投入。
表1交通大数据处理平台需具备的特性
特性 简要说明
高度可扩展性 横向大规模可扩展,大规模并行处理
实时性 对交通数据流、事件的实时处理
高性能、低延迟分析 快速响应复杂查询与深度分析、实时分析结果
高度容错性 系统在硬件级、软件级实现容错
可用性 系统具有相当高的可靠性
支持异构环境 对硬件平台一致性要求不高,适应能力强
开放性、易用性 系统之间可实现数据共享、服务集成
较低成本 较高的性价比
2.2 交通大数据分析平台逻辑框架
[6]ITS是一个复杂的巨系统。中国ITS体系框架确定了以下内容:用户服务包括9个服务领域、47项服务、179项子服务;逻辑框架包括10个功能领域、57项功能、101项子功能、406个过程、161张数据流图;物理框架包括10个系统、38个子系统、150个系统模块、51张物理框架流图;应用系统有58个。ITS内容庞多、结构复杂、技术含量高,需要多个领域、多个部门的长期合作。ITS涉众面广,包括政府部门、企业、公众,由此决定了其信息服务需求的多样性:交通指挥部门需要实时连续交通监控(如流量、平均车速、饱和度、占有率等);城市规划部门需要当前和历史路网交通流和交通需求数据;出行者需要即席查询
交通信息等。因此,涉及交通数据流实时分析处理(RTAP)、联机事务处理(OLTP)、联机分析处理(OLAP)、联机分析与挖掘(OLAM)等功能。
图2 大数据分析与处理平台通用体系结构
为此,构建交通大数据分析与处理平台需要结合分布式并行处理技术与实时数据流处理技术。其逻辑功能框架如图2所示。层次功能结构逻辑如图2右半部分所示,自底向上分别是分布式存储层、分布式处理层、元数据服务层、处理分析层(包括复杂事件处理CEP、实时分析处理RTAP、联机分析处理OLAP、深度分析OLAM)以及交通大数据分析处理应用层;同时,需要对分布式系统进行作业、资源调度、管理的协调与监控中间件的支持,支持工作流及其调度的设施。而在图2左半部分则展示了交通大数据分析与处理平台的部件结构图,在逻辑上可划分为实时数据流处理子系统与大数据深度分析(知识获取与模式发现)子系统。
实时数据流处理子系统接受实时交通数据流,数据流元组记录随时间变化的空间(如位置、区域等)信息、以及车牌、卡口、速度等属性数据或视频、图像数据,具有动态、海量、高维、时效、连续、多源、无限等特性。该子系统是实现实时交通监控系统的数据基础,能够为指挥调度、道路规划、事故预警等交通信息管理和决策提供支持,为交通用户提供更为全面和便捷的服务。该子系统包含数据流管理系统,提供对数据流的连续查询和混合查询支持。连续查询用于实时持续不断地监控,如“查询超速的车辆信息”以及“开始监控违法车辆行踪”是连续运行的查询,后者涉及空间数据库。用户可以指定连续查询的滑动时间窗口,对于进入窗口且符合查询条件的事件进行报警监控。混合查询用于那些不仅需要涉及动态流数据还需要访问静态历史和空间数据的复杂查询,如“统计未来5分钟内从西湖区流出的车流量”。
深度分析子系统运用各种先进的数据处理技术,包括数据集成技术、人工智能与数据挖掘技术、决策支持与专家系统等,根据各交通子系统的需求和它们之间的内在联系,对来自多来源渠道、格式不一致的数据在综合交通信息的基础上进行抽取、集成,并进行深度分析与处理,获得可用于决策的模式、模型、规则和知识。需要改造传统的数据挖掘、机器学习算法,以适应大数据的需要。
平台对外提供各种交通信息服务,实现多种模式交通信息发布,包括Web交通信息服务、电台电视台、交通服务咨询热线、手机与车载导航等移动终端、触摸屏查询终端、可变情报板、交通指南等载体的交通信息发布。各种应用与服务之间通过一个统一的服务接口进行连接,服务接口向上层应用提供一致的调用接口,屏蔽底层细节,它是一个接口规范,用以隔离应用与服务,实现两者的独立性,以期达到平台功能扩展的灵活性。平台的数据则来自ITS交通数据采集监控网,该层包括网络层(信息传输)和感知层(信息感知与获取)。 3. 交通大数据处理平台的构建
本节阐述在当前计算技术下的一个可能的平台方案。据前述,平台必须具有高度可扩展性、实时性、高性能、低延迟分析、高度容错性、可用性、支持异构环境、开放性、易用性,同时也希望具有较低成本;其核心技术包括大规模数据流处理技术以及大规模数据管理、分析技术。这要求我们在进行平台构建时作出合理的决策。
对大数据进行分析的基本策略是把计算推向数据,而不是移动大量的数据;对大数据处理、分析的性能优化,分布式并行是必然选择,并且软件系统性能的提升可以降低企业对硬件的投入成本、节省计算资源,提高系统吞吐量;但异构节点之间的性能差异可能导致系统“木桶效应”,因此,异构机群需要特别关注负载均衡、任务调度等方面的设计;交通数据量及其多样性给数据管理系统提出了新的要求,在存储以及处理方式需要具备较好的扩展性,无共享结构(Shared-nothing)的存储方式是较好的候选方案,传统数据库缺少水平扩展的能力,在系统设计决策中根据数据大小、性能瓶颈、处理能力等因素决定哪些数据
[11]由传统数据库来管理,哪些数据应当由新出现的NoSQL (Not only SQL)存储管理系统来管理。
3.1 交通大数据分析平台
根据以上分析,新近云计算是一种可选方案。云计算是分布式处理、并行处理和网格计算的发展,是这些计算机科学概念的商业实现,具有分布式、大规模、虚拟化、高可靠性、通用性、高可扩展性、低廉等特点,它实现对共享可配置计算资源(包括网络、服务器、存储、应用和服务等)的按需服务。云计算中的平
[12][13]台(集群计算框架)有谷歌的MapReduce与微软的Dryad等,而Hadoop是一个实现了MapReduce的开源分布式并行编程框架;专门针对迭代计算的编程
[14][15]框架有Pregel、HaLoop等,前者是一个迭代图形计算系统,后者提供了一个迭代MapReduce接口。基于Hadoop的应用可以运行于机群上,实现对海量数据的处理。此外,Hadoop平台已经形成了一个生态系统,提供一个分布式文件系统(HDFS),HBase是基于HDFS的对BigTable的开源实现,是面向列、可伸缩的分布式存储系统,支持事务以及B树范围查询和排序;Hive是基于Hadoop的大型数据仓库,其目标是简化Hadoop上的数据聚集、即席查询及大数据集的分析等操作,以减轻程序员的负担;Pig是Yahoo!提出的类似于Hive的大数据集分析平台,它提供的类SQL语言叫Pig Latin,一种基于操作符的数据流式的接口,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算;Mahout是可伸缩的机器学习算法;工具Sqoop用于传统数据库和HDFS进行数据交换;Oozie是工作流调度工具;ZooKeeper是一个分布式的应用程序协调器,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。基于Hadoop的大数据分析平台构建如图3所示。需要注意的是,Hadoop适用于长顺序扫描,基于Hadoop的Hive会导致较高的延迟,因此不适用于需要快速响应的场景;Hive基于只读的,不适用于事务处理的场景。
图3 大数据分析与处理平台的一个实例
图4 CAP理论的可视化图
解
在平台构建中涉及分布式存储系统的选择。在分布式系统中,一致性(即所有节点访问同一份最新的数据副本)、可用性(即对数据更新具备高可用性)、分区容忍性(即能容忍网络分区),这三个要素最多只能同时实现两个,这就是周
[10]知的CAP理论。但通过显式处理分区情形,系统设计师可以通过细致地管理分区期间的不变性约束优化数据的一致性和可用性,对三者进行平衡。CAP的C仅指单一副本这个意义上的一致性,因此只是ACID一致性约束的一个严格的子集。ACID一致性不可能在分区过程中保持,因此分区恢复时需要重建ACID一致性。CAP理论的可视化图解见图4。而NoSQL一般放弃ACID事务策略的一致性,而是采用BASE(基本可用、事务软状态以及最终一致性)事务策略以换取高可用性和可伸缩性。NoSQL存储系统可分为键,值存储(如Redis, Tokyo Cabinet)、列存储(如HBase, Cassandra)、文档数据库(如MongoDB, CouchDB)、图数据库(如neo4j, FlockDB)等;对于具体应用,应当根据需要支持的数据模型、一致性机
制、存储机制、持久性保障、事务支持、可用性、查询能力、性能保障等方面来选择相应的NoSQL存储系统,不可一概而论。据统计,目前NoSQL存储系统有150种之多。
3.2 实时数据流处理子系统
实时性是交通数据处理的关键也是其价值得以实现的基础。如交通流的实时监控、交通拥堵状况的实时信息、交通诱导等应用均要求系统能够返回当前的交通状态;在另一些场景则需要进行连续监控,在技术上涉及连续查询。这方面的功能需求已在第二节讲述。在构建交通大数据处理平台中,实时交通数据流处理子系统是关键系统之一。该系统中涉及的关键技术包括:高速数据转换,将获取的事件数据流由随机访问格式转换为分布式并行分析格式,将几分钟前获取的交通数据即时处理呈现最新分析结果;灵活的资源分配方案,不同类型的数据处理组件(即事件处理服务)与可伸缩分布式键值存储灵活连接,可以便捷地构造新的服务而不影响现有系统的运行;基于滑动窗口的连续计算技术;自适应负载平衡与资源分配优化。
开源的分布式实时流计算框架有Twitter的Storm、Yahoo~的S4、基于Hadoop的HStreaming、专门进行复杂事件处理和事件流处理的Esper等。Storm具有高容错性、水平扩展性好、快速、可靠处理消息等优点;S4目前还处于半成品阶段,代码成熟度底,不支持动态部署;Storm支持节点在集群中动态增加或移除,S4不支持;Storm属于全内存计算,所需的内存资源多,HStreaming介于半内存和全磁盘计算,速度相对慢。本文以Storm为例来阐述交通数据实时平台的构建。
Storm采用创建拓扑结构(topology)来转换数据流,不同于Hadoop作业,这些转换会持续处理到达的数据。Storm为流转换提供的基本组件有:喷口(Spout)和螺栓(Bolt)。Spout是一个输入流组件,负责将数据分发到多个Bolts执行处理任务(如过滤、聚合、查询等),Bolts执行后可产生新的流作为下级Bolts的输入流。由此形成的整个处理结构即为一个Topology(作业或应用)如图5所示。相应地,基于Storm的交通数据流处理逻辑以及软件结构分别如图6与图7所示。
图5 一个Storm的Topology结构
图6基于Storm交通数据流处
理逻辑框架
图7 Storm交通数据流处理的软件结构
在一个基于Storm的交通数据处理集群中,有主从两种不同的节点,三种不同的守护进程:Nimbus运行在主节点上,类似于Hadoop中的Jobtracker,主要负责接收客户端提交的Topology,进行相应的验证,分配任务,进而把任务相关的元数据写入Zookeeper相应目录,此外,Nimbus还负责通过Zookeeper来监控任务执行情况,负责全局任务调度。从节点上运行Supervisor,类似于TaskTracker,管理本地节点的任务,负责会监听任务分配情况,根据实际情况启动/停止工作进程(worker)。每个从节点上运行进程worker,类似于Hadoop中的map/reduce的任务,worker进行Spout/Bolt数据处理。不同于map/reduce任务,worker是连续计算,不会停止。不同于Hadoop,守护进程间并不直接发送心跳信息或者存在其他RPC控制协议,他们之间的信息交换是通过Zookeeper来实现。其中Storm处理框架的处理结果可以在分布式存储系统中持久化存储。
3.3 资源统一管理与调度
交通大数据处理与分析平台涉及多种不同类型的应用,如本文所讲述的脱机应用(数据分析、数据挖掘)和联机应用(数据流实时处理),不同的应用可能采用了不同的计算框架。为提高资源利用率、降低运维成本,将不同计算框架部署到公共的集群中,对资源(内存,CPU,网络IO等)统一管理与调度,让不同
[16]计算框架共享集群资源。目前,这方面典型代表有Mesos和YARN。本文采用Mesos构建资源共享平台,如图8所示。
[16]图8 基于Mesos平台的资源共享体系结构
Mesos是一种让多个计算框架有效共享机群资源的可伸缩弹性的“核心”集群资源管理器。它通过定义多个计算框架进行资源共享的最小接口,把任务调度与执行控制交给各个计算框架来负责。有利于适应机群框架的多样性和快速演化性。Mesos由master进程和框架组成。master进程负责管理运行于机群节点上的slave守护进程,框架在slave节点上运行任务。master进程通过资源供应方式实施个计算框架之间的资源共享。每一份资源供应是各slave节点空闲资源表。master进程采用某种策略(平等分享、优先共享等)决定分配多少资源给每个框架。每个运行于Mesos之上的计算框架均包含两个组件:调度器和执行器。特定计算框架通过自身的调度器向master进程注册,选择是否接受master提供的资源,接受多少;而slave节点上的执行器(如Hadoop的执行器即TaskTracker)运行框架的任务(task)。
4. 原型系统实验
根据本文的论述,我们构建相应交通大数据处理与分析平台进行原型验证,分别构建了Hadoop和Storm集群对平均行车速度这个指标的计算。实验所采用的设备规格说明如表2所示。为每个虚拟节点分配了一个虚拟CPU、2GB内存、30GB外存,操作系统是CentOS6.2。
表2 实验所用设备规格说明
型号 CPU 内存 存储 VCPU/VMem/VDisk 关联虚拟机节点
Dell Inc.戴尔6CPU 24核 64G 500G 1/2G/30G master,slave1 PowerEdge R910
Dell Inc.戴尔6CPU 24核 64G 500G 1/2G/30G slave2,slave3 PowerEdge R910
4.1 交通大数据分析实验平台
所构分析平台采用Hadoop-0.20.2-CDH。实验中所产生卡口仿真数据是指某个卡口某个时刻车辆通行的瞬时车速,产生了8GB 共399000000条记录的卡口数据。相应作业采用Java语言实现,计算给定数据集的平均速度。实验中计算所用时间是557秒。
4.2 实时交通数据流实验平台
所构实验平台使用Storm 0.8.1、Zookeeper-3.4.5、ZEROMQ-2.1.7(内部消息系统,用于节点或进程间的通信)和JZMQ(ZEROMQ的Java 绑定)。作业采用Java语言实现,对卡口平均车速的持续监控。在Storm集群中,共使用4个Workers,每个Worker有4个Slots。在实验过程中每个Worker上使用1个Slot。实验中,产生了三个卡口点位的仿真数据。实验结果见表3。
实验考察了并行度和执行效率,分别对相应作业配置了不同的Spouts与Bolts个数。在并行度上,在集群配置允许的情况下,Spout的并行度越高,产
生结果时间越短。但如果spout并行度超出了集群配置的允许范围,Spout高并行度并不能缩短产生结果时间,反而很有可能延长产生结果时间。由结果可知,原型系统可以每秒处理1万条以上卡口数据。
表3 Storm机群的运行结果
执行器中任务数 编号 Topology名称 卡口记录数(万) 整体运行时间 Spouts Bolts
1 es 10 27 100 1m33s
2 fs 5 27 100 1m40s
3 gs 10 27 200 2m37s
4 hs 10 27 500 6m3s
5 js 10 27 1000 9m33s 5. 结论
本文围绕如何构建交通大数据处理平台开展讨论,主要从方法论角度展开论述。首先,对平台需求及其逻辑框架进行了讨论,提出了相应的方案,讲述了其涉及的核心技术;其次,提出了针对交通大数据分析平台以及交通数据流计算的实时计算平台一种可行构建方案;最后,通过原型系统论证了方案的可行性。目前,我们开展了前期的研究,没有涉及系统、代码的优化,也没有涉及具体业务子系统的构建细节。下一步将进行实际运行系统的构建,开展更深入一步的工作,包括实时交通数据流处理算法、交通大数据分析算法等方面的理论与实现技术的研究。
范文三:公共交通出行服务大数据平台设计方案
公共交通出行服务大数据平台
解决方案
1 概述
随着近几年我省经济的快速发展,公众出行方式日趋多样化,公众对交通出行信息的需求日益增强。如何辅助出行者迅速获取有效交通信息,提高出行效率,提升服务水平,是交通部门面临的一个现实问题。
2005年,交通部将“公众出行交通信息服务系统”确定为三大交通信息化示范工程之一,在交通信息化工作基础较好的几个省市相继开发了一些应用系统,在一定程度上方便了公众的出行,得到了公众的认可。但这些应用系统主要是基于具体部门业务及所拥有的数据进行开发,信息服务的内容还缺少关联性;其次,现有的各类应用系统在服务内容、服务方式、服务质量以及服务范围,以信息发布和推送为主,很少接收来自公众的出行反馈信息,没有形成数据闭环。
目前我省各交通管理部门已经建立了功能相对完善的交通指挥控制中心,包括交通信号控制系统、道路交通监控系统、交通诱导显示系统、停车管理系统、交通违章处理系统等,初步实现了交通信号控制、道路监控、交通信息综合查询、有/无线指挥调度及交通诱导等基础功能。公安交管部门不仅具备了交通基础信息,还拥有了各类动态数据,如车辆实时营运信息、道路交通状况等,采集的数据类型包括属性数据、空间数据、影像数据等。对交通三要素(人流、车辆、道路)连续不断采集的多源交通数据流产生了巨量的交通数据,具有典型的“3V”特性:大容量、多样性、高速度,也具有价值、复杂性的特点,属于名符其实的交通“大数据”。
数据是智能交通的核心,数据为王的大数据时代已经到来。如何高效地从海量数据中分析、挖掘所需的信息和规律,结合已有经验和数学模型,实现对城市道路交通的整体运营水平和人们出行规律的深度挖掘,生成更高层次的决策支持信息,获得各类分析、评价数据,为交通诱导、交通控制、交通需求管理、紧急事件管理等提供决策支持,为交通管理者、运营者和个体出行者提供交通信息,成为当务之急。
本文面对交通大数据,就如何存储、组织和管理数据,并提供政务与商务两方面的公共交通出行服务,提出了解决方案。本文分析了交通大数据分析平台需具备的特点,提出了公共交通出行服务大数据平台逻辑框架,并在现有技术基础上,阐述了平台构建方案。 2 功能需求
如前所述,交通服务要提供全面的路况,需要交通综合监测网络对城市道路交通状况、交通流信息、交通违法行为等的全面监测,采集、处理及分析大量的实时监测数据,具有数据量巨大的特点;随着城市机动车保有量不断提高,城市道路交通状况日趋复杂化,交通流特性呈现随时间变化大、区域关联性强的特点,需要根据实时的交通流数据及时全面采集、
处理、分析等,因此具有系统负载时变性高、波动大的特点,应支持低延时、高并发事务;公众出行服务对交通信息发布的时效性要求高,需将准确的信息及时提供给不同需求的主体,信息处理、分析实时性要求高;公共交通出行服务大数据平台需面向政府、社会和公众提供交通服务,为出行者提供安全、畅通、高品质的行程服务,保障交通运输的高安全、高时效和高准确性,必须具有高可用性和高稳定性。这给公共交通出行服务大数据平台提出了挑战。
表1公共交通出行服务大数据平台需具备的特性
特性 简要说明
高度可扩展性 横向大规模可扩展,大规模并行处理
实时性 对交通数据流、事件的实时处理
高性能、低延迟分析 快速响应复杂查询与深度分析、实时分析结果
高度容错性 系统在硬件级、软件级实现容错
可用性 系统具有相当高的可靠性
支持异构环境 对硬件平台一致性要求不高,适应能力强
开放性、易用性 系统之间可实现数据共享、服务集成
较低成本 较高的性价比
公共交通出行服务大数据平台面对海量数据,系统不能仅依靠少数几台机器的升级(Scale-up,纵向扩展)满足数据量的增长,必须做到横向可扩展(Scale-out),既满足性能的要求,也满足存储的要求(包括结构性数据、非结构形式、半结构性数据)。
由于服务需求的多样性,平台既要支持交通数据流的实时分析与处理又要支持复杂查询与深度分析所需的高性能、低延迟需求。平台需具有高度容错性,大数据的容错性要求在作业(Job)执行过程中,一个参与节点失效不需要重做整个作业。机群节点数的增加会增加节点失效概率,在大规模机群环境下,节点的失效不再是稀有事件,因此在大规模机群环境下,系统不能依赖于硬件来保证容错性,要更多地考虑软件级容错,同时增加系统的可用性。系统的开放性也是十分重要的,作为一个复杂系统,各子系统之间数据交换、共享以及服务集成是必不可少的,同时要求系统支持迭代开发,可不断更新/增加功能;系统服务不但专业人员可以使用,业务人员也可以使用,分析可以实现大众化。
另外,平台应支持异构环境。公共交通出行服务大数据平台的建设是分步骤、分阶段进行的,设备的采购、更新会造成硬件系统的异构,建设同构大规模机群难度较大;另外,对异构环境的支持可以有效地利用历史上积累的计算机资源,降低硬件成本的投入。 3 逻辑框架
公共交通出行服务大数据平台是一个复杂系统,内容庞多、结构复杂、技术含量高,需要多个领域、多个部门的长期合作。同时,公共交通出行服务大数据平台涉众面广,包括政府部门、企业、公众,由此决定了其信息服务需求的多样性:交通指挥部门需要实时连续交通监控(如流量、平均车速、饱和度、占有率等);城市规划部门需要当前和历史路网交通
流和交通需求数据;出行者需要即席查询交通信息等。因此,涉及交通数据流实时分析处理(RTAP)、联机事务处理(OLTP)、联机分析处理(OLAP)、联机分析与挖掘(OLAM)等功能。
图1 大数据分析与处理平台通用体系结构
为此,构建公共交通出行服务大数据平台需要结合分布式并行处理技术与实时数据流处理技术。其逻辑功能框架如图1所示。层次功能结构逻辑如图1右半部分所示,自底向上分别是分布式存储层、分布式处理层、元数据服务层、处理分析层(包括复杂事件处理CEP、实时分析处理RTAP、联机分析处理OLAP、深度分析OLAM)以及交通大数据分析处理应用层;同时,需要对分布式系统进行作业、资源调度、管理的协调与监控中间件的支持,支持工作流及其调度的设施。而在图1左半部分则展示了交通大数据分析与处理平台的部件结构图,在逻辑上可划分为实时数据流处理子系统与大数据深度分析(知识获取与模式发现)子系统。
实时数据流处理子系统接受实时交通数据流,数据流元组记录随时间变化的空间(如位置、区域等)信息、以及车牌、卡口、速度等属性数据或视频、图像数据,具有动态、海量、高维、时效、连续、多源、无限等特性。该子系统是实现实时交通监控系统的数据基础,能够为指挥调度、道路规划、事故预警等交通信息管理和决策提供支持,为交通用户提供更为全面和便捷的服务。该子系统包含数据流管理系统,提供对数据流的连续查询和混合查询支持。连续查询用于实时持续不断地监控,如“查询超速的车辆信息”以及“开始监控违法车辆行踪”是连续运行的查询,后者涉及空间数据库。用户可以指定连续查询的滑动时间窗口,对于进入窗口且符合查询条件的事件进行报警监控。混合查询用于那些不仅需要涉及动态流数据还需要访问静态历史和空间数据的复杂查询,如“统计未来5分钟内从长沙市流出的客流量”。
深度分析子系统运用各种先进的数据处理技术,包括数据集成技术、人工智能与数据挖掘技术、决策支持与专家系统等,根据各交通子系统的需求和它们之间的内在联系,对来自多来源渠道、格式不一致的数据在综合交通信息的基础上进行抽取、集成,并进行深度分析
与处理,获得可用于决策的模式、模型、规则和知识。需要改造传统的数据挖掘、机器学习算法,以适应大数据的需要。
平台对外提供各种交通信息服务,实现多种模式交通信息发布,包括Web交通信息服务、电台电视台、交通服务咨询热线、手机与车载导航等移动终端、触摸屏查询终端、可变情报板、交通指南等载体的交通信息发布。各种应用与服务之间通过一个统一的服务接口进行连接,服务接口向上层应用提供一致的调用接口,屏蔽底层细节,它是一个接口规范,用以隔离应用与服务,实现两者的独立性,以期达到平台功能扩展的灵活性。平台的数据则来自ITS交通数据采集监控网,该层包括网络层(信息传输)和感知层(信息感知与获取)。 4 平台的构建
4.1 云平台
对大数据进行分析的基本策略是把计算推向数据,而不是移动大量的数据;对大数据处理、分析的性能优化,分布式并行是必然选择,并且软件系统性能的提升可以降低企业对硬件的投入成本、节省计算资源,提高系统吞吐量;但异构节点之间的性能差异可能导致系统“木桶效应”,因此,异构机群需要特别关注负载均衡、任务调度等方面的设计;交通数据量及其多样性给数据管理系统提出了新的要求,在存储以及处理方式需要具备较好的扩展性,无共享结构(Shared-nothing)的存储方式是较好的候选方案,传统数据库缺少水平扩展的能力,在系统设计决策中根据数据大小、性能瓶颈、处理能力等因素决定哪些数据由传统数据库来管理,哪些数据应当由新出现的NoSQL (Not only SQL)存储管理系统来管理。
根据以上分析,云计算平台是一种可选方案。云计算是分布式处理、并行处理和网格计算的发展,是这些计算机科学概念的商业实现,具有分布式、大规模、虚拟化、高可靠性、通用性、高可扩展性、低廉等特点,它实现对共享可配置计算资源(包括网络、服务器、存储、应用和服务等)的按需服务。云计算中的平台(集群计算框架)有谷歌的MapReduce与微软的Dryad[13]等,而Hadoop是一个实现了MapReduce的开源分布式并行编程框架。基于Hadoop的应用可以运行于机群上,实现对海量数据的处理。此外,Hadoop平台已经形成了一个生态系统,提供一个分布式文件系统(HDFS),HBase是基于HDFS的对BigTable的开源实现,是面向列、可伸缩的分布式存储系统,支持事务以及B树范围查询和排序;Hive是基于Hadoop的大型数据仓库,其目标是简化Hadoop上的数据聚集、即席查询及大数据集的分析等操作,以减轻程序员的负担;Pig是Yahoo!提出的类似于Hive的大数据集分析平台,它提供的类SQL语言叫Pig Latin,一种基于操作符的数据流式的接口,该语言的编译器会把类SQL的数据分析请求转换为一系列经过优化处理的MapReduce运算;Mahout是可伸缩的机器学习算法;工具Sqoop用于传统数据库和HDFS进行数据交换;Oozie是工作流调度工具;ZooKeeper是一个分布式的应用程序协调器,它包含一个简单的原语集,分布式应用程序可以基于它实现同步服务,配置维护和命名服务等。基于Hadoop的大数据分析平台
构建如图3所示。需要注意的是,Hadoop适用于长顺序扫描,基于Hadoop的Hive会导致较高的延迟,因此不适用于需要快速响应的场景;Hive基于只读的,不适用于事务处理的场景。
4.2 实时数据处理平台
为解决交通数据处理的实时性问题,如交通流的实时监控、交通拥堵状况的实时信息、交通诱导等应用均要求系统能够返回当前的交通状态;在另一些场景则需要进行连续监控,在技术上涉及连续查询。在构建公共交通出行服务大数据平台中,实时交通数据流处理子系统是关键系统之一。该系统中涉及的关键技术包括:高速数据转换,将获取的事件数据流由随机访问格式转换为分布式并行分析格式,将几分钟前获取的交通数据即时处理呈现最新分析结果;灵活的资源分配方案,不同类型的数据处理组件(即事件处理服务)与可伸缩分布式键值存储灵活连接,可以便捷地构造新的服务而不影响现有系统的运行;基于滑动窗口的连续计算技术;自适应负载平衡与资源分配优化。建议基于storm实现分布式实时流计算框架。Storm具有高容错性、水平扩展性好、快速、可靠处理消息等优点,支持节点在集群中动态增加或移除。Storm的缺点是属于全内存计算,所需的内存资源多,成本相对较高。
Storm采用创建拓扑结构(topology)来转换数据流,不同于Hadoop作业,这些转换会持续处理到达的数据。Storm为流转换提供的基本组件有:喷口(Spout)和螺栓(Bolt)。Spout是一个输入流组件,负责将数据分发到多个Bolts执行处理任务(如过滤、聚合、查询等),Bolts执行后可产生新的流作为下级Bolts的输入流。由此形成的整个处理结构即为一个Topology(作业或应用)如图2所示。相应地,基于Storm的交通数据流处理逻辑以及软件结构分别如图3与图4所示。
图2 一个Storm的Topology结构
图3基于Storm交通数据流处
理逻辑框架
图4 Storm交通数据流处理的软件结构
在一个基于Storm的交通数据处理集群中,有主从两种不同的节点,三种不同的守护进程:Nimbus运行在主节点上,类似于Hadoop中的Jobtracker,主要负责接收客户端提交的Topology,进行相应的验证,分配任务,进而把任务相关的元数据写入Zookeeper相应目录,此外,Nimbus还负责通过Zookeeper来监控任务执行情况,负责全局任务调度。从节点上运行Supervisor,类似于TaskTracker,管理本地节点的任务,负责会监听任务分配情况,根据实际情况启动/停止工作进程(worker)。每个从节点上运行进程worker,类似于Hadoop中的map/reduce的任务,worker进行Spout/Bolt数据处理。不同于map/reduce任务,worker是连续计算,不会停止。不同于Hadoop,守护进程间并不直接发送心跳信息或者存在其他RPC控制协议,他们之间的信息交换是通过Zookeeper来实现。其中Storm处理框架的处理结果可以在分布式存储系统中持久化存储。
4.3资源统一管理与调度平台
交通大数据处理与分析平台涉及多种不同类型的应用,如本文所讲述的脱机应用(数据分析、数据挖掘)和联机应用(数据流实时处理),不同的应用可能采用了不同的计算框架。为提高资源利用率、降低运维成本,将不同计算框架部署到公共的集群中,对资源(内存,CPU,网络IO等)统一管理与调度,让不同计算框架共享集群资源,我们建议基于新思自有版权的软件产品CCS构建资源共享平台。
[16]图5基于Mesos平台的资源共享体系结构
CCS基于CloudStack开发。cloudstack是一款目前应用广泛的开源云平台系统软件。通过CloudStack,可以对云数据中心的服务器,存储,网络进行统一的管理,并且可以通过一个可以定制虚拟机配置,存储,网络的自助门户,向用户提供XenServer、KVM、VMWare Sphere等虚拟化设施之上的IaaS或者开放式私有云类型的云服务。
作为一种让多个计算框架有效共享机群资源的可伸缩弹性的“核心”集群资源管理器,CCS通过定义多个计算框架进行资源共享的最小接口,把任务调度与执行控制交给各个计算框架来负责。有利于适应机群框架的多样性和快速演化性。CCS由master进程和框架组成。master进程负责管理运行于机群节点上的slave守护进程,框架在slave节点上运行任务。master进程通过资源供应方式实施个计算框架之间的资源共享。每一份资源供应是各slave节点空闲资源表。master进程采用某种策略(平等分享、优先共享等)决定分配多少资源给每个框架。每个运行于Mesos之上的计算框架均包含两个组件:调度器和执行器。特定计算框架通过自身的调度器向master进程注册,选择是否接受master提供的资源,接受多少;而slave节点上的执行器(如Hadoop的执行器即TaskTracker)运行框架的任务(task)。
下面是诗情画意的句子欣赏,不需要的朋友可以编辑删除!!
谢谢!!!!!
1. 染火枫林,琼壶歌月,长歌倚楼。岁岁年年,花前月下,一尊芳酒。水落红莲,唯闻玉磬,但此情依旧。
2. 玉竹曾记凤凰游,人不见,水空流。
3. 他微笑着,在岁月的流失中毁掉自己。
4. 还能不动声色饮茶,踏碎这一场,盛世烟花。 5. 红尘嚣 浮华一世转瞬空。
6. 我不是我 你转身一走苏州里的不是我 。
7. 几段唏嘘几世悲欢 可笑我命由我不由天。
8. 经流年 梦回曲水边 看烟花绽出月圆。
9. 人生在世,恍若白驹过膝,忽然而已。然,我长活一世,却能记住你说的每一话。
10. 雾散,梦醒,我终于看见真实,那是千帆过尽的沉寂。
11. 纸张有些破旧,有些模糊。可每一笔勾勒,每一抹痕迹,似乎都记载着跨越千年万载的思念。
12. 生生的两端,我们彼此站成了岸 。
13. 缘聚缘散缘如水,背负万丈尘寰,只为一句,等待下一次相逢。
14. 握住苍老,禁锢了时空,一下子到了地老天荒
15. 人永远看不破的镜花水月,不过我指间烟云 世间千年,如我一瞬。
16. 相逢一醉是前缘,风雨散,飘然何处。
17. 虚幻大千两茫茫,一邂逅,终难忘。相逢主人留一笑,不相识,又何妨。
18. 天下风云出我辈,一入江湖岁月催;皇图霸业谈笑间,不胜人生一场醉。
19. 得即高歌失即休,多愁多恨亦悠悠,今朝有酒今朝醉,明日愁来明日愁。
20. 直道相思了无益,未妨惆怅是清狂。
21. 看那天地日月,恒静无言;青山长河,世代绵延;就像在我心中,你从未离去,也从未改变。
22. 就这样吧,从此山水不相逢。
23. 人天自两空,何相忘,何笑何惊人。
24. 既不回头,何必不忘。 既然无缘,何须誓言。 今日种种,似水无痕。 明夕何夕,君已陌路。
25. 有缘相遇,无缘相聚,天涯海角,但愿相忆。有幸相知,无幸相守,苍海明月,天长地久。
26. 相见得恨晚,相爱的太慢,进退让我两难。缘过了远分,缘过了聚散,是否回头就能够上岸
27. 天凉了,凉尽了天荒 地老了,人间的沧桑,爱哭了,这么难舍 心都空了,想放不能放。天亮了,照亮了泪光 泪干了,枕边地彷徨
28. 心微动奈何情己远.物也非,人也非,事事非,往日不可追
29. 渺渺时空,茫茫人海,与君相遇,莫失莫忘。
30. 如果换我先开口,日子是否还一样细水长流
31. 也许是前世的姻 也许是来生的缘 错在今生相见 徒增一段无果的恩怨
32. 人道海水深,不抵相思半。海水尚有涯,相思渺无畔。
33. 醉眼看别人成双作对,
34. 无人处暗弹相思泪。
35. 终于为那一身江南烟雨覆了天下,容华谢后,不过一场,山河永寂。 36. 千秋功名,一世葬你,玲珑社稷,可笑却无君王命。
37. 凤凰台上凤凰游,负约而去,一夜苦等,从此江南江北,万里哀哭。 38. 嗟叹红颜泪、英雄殁,人世苦多。山河永寂、怎堪欢颜。 39. 风华是一指流砂,苍老是一段年华。
40. 夜雨染成天水碧。有些人不需要姿态,也能成就一场惊鸿。 41. 你要记得,紫檀未灭,我亦未去。
42. 谁在岁月里长长叹息。
43. 汉霄苍茫,牵住繁华哀伤,弯眉间,命中注定,成为过往。 44. 红尘初妆,山河无疆。 最初的面庞,碾碎梦魇无常,命格无双。 45. 江南风骨,天水成碧,天教心愿与身违。
46. 山河拱手,为君一笑 。
47. 如是颠簸生世亦无悔。
48. 荏苒岁月覆盖的过往,白驹过隙,匆匆的铸成一抹哀伤。 49. 那被岁月覆盖的花开,一切白驹过隙成为空白。
50. 褪尽风华,我依然在彼岸守护你。
51. 那些繁华哀伤终成过往,
52. 请不要失望,平凡是为了最美的荡气回肠。
53. 你的路途,从此不见我的苍老。
54. 长歌当哭,为那些无法兑现的诺言,为生命中最深的爱恋,终散作云烟。 55. 随你走在天际,看繁花满地。
56. 我自是年少,韶华倾负。
57. 你要记得,那年那月,垂柳紫陌洛城东。
58. 苍茫大地一剑尽挽破,何处繁华笙歌落。 59. 寄君一曲,不问曲终人聚散。
60. 谁将烟焚散,散了纵横的牵绊;听弦断,断那三千痴缠。61. 清风湿润,茶
烟轻扬。重温旧梦,故人已去。
1. 水滴虽小,却可以折射出太阳的光彩。
2. 梦落三千尺愁深似海,繁华遗落散满地。记忆轮回里,我举杯,在奈何桥上
满口饮尽。
3. 人生没有轮回,就像花,人活一世,花开一季、人生如花,花似梦。
4. 生活的苦涩和美好给了我对人生的领悟,如今,千山万水走遍,我发现自己再也不愿离开文学的蓝天,再也不愿离开那个让我痴迷的文学舞台。
5. 在烟雨红尘中,轻拾季节花瓣飘落的音符,组成美妙曲符,然后,倚在时光的路口,撷一缕明媚,许自己一份唯美的怀想,与快乐、浪漫相约,闲淡清欢。
6. 未经历坎坷泥泞的艰难,哪能知道阳光大道的可贵;未经历风雪交加的黑夜,哪能体会风和日丽的可爱;未经历挫折和磨难的考验,怎能体会到胜利和成功的喜悦。挫折,想说恨你不容易
7. 燕子斜飞人家,炊烟零乱,柳絮飘飘,弥漫了山里人家。
8. 这样知解自己的生命即使是心灵空荡我也无所畏惧
9. 中秋之曰不可能岁月明如水,偶然的暗淡,恰似镜子的背后之面,有所缺憾,人生才会是积翠如云的空濛山色。
10. 在经受了失败和挫折后,我学会了坚韧;在遭受到误解和委屈时,我学会了宽容;在经历了失落和离别后,我懂得了珍惜。
11. 曾经盛开的蔷薇,虽经风吹雨打,但和着微风,还有屡屡暗香飘过。
12. 我只希望,不管三年,五年,或是十年以后。某一天,我们相遇,还能相认,你大喊一声,我想死你了。那一刻,我定会泪流满面。我们是朋友,永远的朋友。
13. 最爱的未必适合在一起,相爱是让彼此做自己。
14. 时间断想,时间不断。流逝,像是水,可弯可直,像是风,可柔可刚。
15. 如果说人生是一望无际的大海,那么挫折则是一个骤然翻起的浪花。如果说人生是湛蓝的天空,那么失意则是一朵飘浮的淡淡的白云。
16. 云层雾气,缠着几户古木人家,清新自然,如诗如画。
17. 我喜欢你,只是一个现在;我爱你,却是一整个未来。
18. 夜雨染成天水碧。有些人不需要姿态,也能成就一场惊鸿。
19. 再大的风不会永不停息,在浓得雾不会经久不散,风息雾散仍是阳光灿烂。
20. 牵着时光的衣襟,走进芳菲五月,轻轻地将春光拥入怀中,于一抹素白流韵中,弹奏一曲江南的婉韵,把盏,将似水流年浅斟轻酌。
21. 我穿越轮回而来,在奈何桥相思盈袖,凄然守候。莫落泪,纵若水落三千尺东流,云动八万里西散,我依旧会化身城碟,翩翩起舞跨过奈何桥与你相会。
22. 如果我爱你,我就会理解你,通过你的眼睛去看世界。我能理解你,是因为我能在你身上看到我自己,在我身上也看到了你。
23. 似乎风在转向,送走了缓缓袭来的味道,又将刚刚溜走的风,静静地换回来。
24. 生活告诉我,童话只不过是小孩子幻想的游戏。
25. 人生就像穿着一件长满虱子的华丽睡袍,外表美丽,而内心却充满了干啊和恐慌。
26. 必须用另一种真实方式来代替时光里已经逝去的东西
27. 岁月,依一抹浅香于心间,看年华向晚,闻花香送暖。给时光一个浅浅的回眸;给自己一份微笑从容。沉淀,馨香;念起,温暖。
28. 人生的起起落落间,总会有一些情怀需要安静回味;总会有一些伤痛需要独自体会;总会有一段路需要一个人走;总会有一些事需要坦然面对。
29. 疏影横斜水清浅,暗香浮动月黄昏。
30. 心若没有栖息的地方,到哪里都是在流浪。
31. 今后,我会从尘世中的纷争走出,远离喧嚣,把岁月打磨成诗,让自己的文字静如睡莲,动如涟漪,无论何时都能描绘成美丽的水墨丹青。
32. 全是理智的心,恰如一柄全是锋刃的刀,它叫使用它的人手上流血。——泰戈尔
33. 我们都不擅长表达,以至于我们习惯了揣测。去肯定,去否定,反反复复,后来我们就变得敏感而脆弱。
34. 心心念念的往事、曾经深爱过的人、年少琐碎的过往,它们就像缠绕之间的一阵风,来的缱绻,去的时候让人来不及挽留。
35. 如果在乎的没有那么多,想要的没有那么多,生活便会简单得很多。
36. 在极度的喧嚣中,独自微笑独自平静是憾,落花是美的,淡淡的书香,淡淡的花香,淡淡的馨香。
37. 曾芬芳过的那片土地,幸福的花儿虽早已凋谢,只留下风雨吹打的痕迹。
38. 辗转半世红尘,缘去缘灭,空留满池伤痕。雨花迟落,霜雪纷飞,池水泛冰,已益处月的苍凉。
39. 一条古道,一匹瘦马,一个人影,被落日的余晖缓缓拉长。
40. 我们人生的大幕才刚刚拉启:刀光剑影,英雄本色;是非恩怨,儿女情常。
41. 我们要去流浪,虔诚地定格住每一寸记忆;我们要去成长,潇洒地忘却掉每一条纹路。
42. 嗅着昨日芬芳遗留的气息,寻寻觅觅,仍不见踪迹。邂逅了一场烟火,终还是那般凄凉。迷失的夜晚,点缀了无数颗孤单的星星,不知道那是否有属于我的一颗。
43. 像这样轻飘飘的日子和平平静静的心情,也算是生活中的一种享受吧。
44. 想着远方的你,绝美的笑容,只为你一个人展露,那一泓羞涩的笑容,悄悄。
45. 细碎的声音,如羞涩的蓓蕾,夜暮花影,轻浅六月,寂寂流年,拢一阙清绝,归隐在宋词里。
46. 夕阳沉落在海水深处却不见浪花翻滚,淡淡的只留下一个让人沉思的背影。落雨是晚风中的殇,带着晨曦的翘首滑落最后的伤痕!雨尽含羞,淡抹嫣红!
47. 无影击碎了泪水,岁月在那个光年划下的痕迹原来是一刀一刀地刻在了我的心上。
48. 我收拢了梦想的翅膀,我停却了信念的脚步,却再也作不回曾经的那一天。
49. 我宁愿用尽此生,为那些尘世的硝烟尘雾,潸然泪下,为菩提落花,为世间繁华。
50. 阳光依旧在,我们穿越光影,沿着历史的足迹继续前行,创造美好生活,走向美丽明天!
51. 洋溢着春日的微笑,坚强了外表,却虚伪了内心,脆弱了,是不敢触及的。
52. 也许,就在那一刻里,梦境还在,柔情亦在。
53. 一个人的戏,自己独自导演,诠释精彩。在剧中尽情释放着自己的喜怒哀乐。笑得凄然绝美;哭得肝肠寸断。
54. 但生命中被你刻上痕迹的那些岁月无法抹去。
55. 往事悠然一笑间,不必空忧。我们一路走来,只是为了告别往事,走入下一段风景。倘若让忧伤填补了生命的空白,就真的是亵渎了生命。
56. 人生只有回不去的过去,没有过不去的当下。上帝只会给你过得去的坎,再不好过的生活,再难过的坎,咬咬牙,也就过去了。
57. 我一直以为山是水的故事,云是风的故事,你是我的故事。可是却不知道,我是不是你的故事。
58. 生命并不是一场竞赛,而是一段旅程。如果你在途中一直都试图给他人留下深刻印象,超过别人,那你就浪费了这段旅程。
59. 比如新的朋友新的感情新的思绪我想要知道的
60. 我以为我已经将爱情忘记,将你忘记。可是有一天,我听到一首歌,我的眼泪就出来了。因为这首歌,我们曾一起听过。
61. 忍花开花落,云卷云舒,品人生似棋。
62. 我离开你这一种信仰又会以怎样全新的姿势去面临更深沉的挑战
63. 人生路,路迢迢,谁道自古英雄多寂寥,若一朝,看透了,一身清风挣多少。
64. 只有夕阳站在那里。灵魂像无数的雪花飘过,光明闪烁,渐渐清醒。
65. 终于为那一身江南烟雨覆了天下,容华谢后,不过一场,山河永寂。
66. 荏苒岁月覆盖的过往,白驹过隙,匆匆的铸成一抹哀伤。
67. 忘川水不枯,记忆不散;奈何桥不断,思卿不弃;今夕,彼岸花又放,佳期约又到,我轮回践约而来,等你归来。红尘路上,伊人在否?
68. 十年生死两茫茫,不思量,自难忘,千里孤坟,无处话凄凉,纵使相逢应不识,尘满面,鬓如霜。
69. 天空飘过一朵云,有时是晴,有时是阴。但白昼终归还是白昼。
70. 我知道回不去,但还是会想念会回忆会心疼到无法自拔。
71. 天空不曾留下鸟的痕迹,但是我已飞过、在大地上画满窗子,让所有习惯黑暗的眼睛都习惯光明。
72. 人生首先要是望远镜,看远;再就是显微镜,看细;接下来是放大镜,看透;其次是太阳镜,看淡;最后是哈哈镜,笑看生活。
73. 我不是公主,也不会有等待救赎我的王子。
下面是诗情画意的句子欣赏,不需要的朋友可以编辑删除!!
谢谢!!!!!
1. 染火枫林,琼壶歌月,长歌倚楼。岁岁年年,花前月下,一尊芳酒。水落红莲,唯闻玉磬,但此情依旧。
2. 玉竹曾记凤凰游,人不见,水空流。
3. 他微笑着,在岁月的流失中毁掉自己。
4. 还能不动声色饮茶,踏碎这一场,盛世烟花。
5. 红尘嚣 浮华一世转瞬空。
6. 我不是我 你转身一走苏州里的不是我 。
7. 几段唏嘘几世悲欢 可笑我命由我不由天。
8. 经流年 梦回曲水边 看烟花绽出月圆。
9. 人生在世,恍若白驹过膝,忽然而已。然,我长活一世,却能记住你说的每一话。
10. 雾散,梦醒,我终于看见真实,那是千帆过尽的沉寂。
11. 纸张有些破旧,有些模糊。可每一笔勾勒,每一抹痕迹,似乎都记载着跨越千年万载的思念。
12. 生生的两端,我们彼此站成了岸 。
13. 缘聚缘散缘如水,背负万丈尘寰,只为一句,等待下一次相逢。
14. 握住苍老,禁锢了时空,一下子到了地老天荒
15. 人永远看不破的镜花水月,不过我指间烟云 世间千年,如我一瞬。
16. 相逢一醉是前缘,风雨散,飘然何处。
17. 虚幻大千两茫茫,一邂逅,终难忘。相逢主人留一笑,不相识,又何妨。
18. 天下风云出我辈,一入江湖岁月催;皇图霸业谈笑间,不胜人生一场醉。
19. 得即高歌失即休,多愁多恨亦悠悠,今朝有酒今朝醉,明日愁来明日愁。
20. 直道相思了无益,未妨惆怅是清狂。
21. 看那天地日月,恒静无言;青山长河,世代绵延;就像在我心中,你从未离去,也从未改变。
22. 就这样吧,从此山水不相逢。
23. 人天自两空,何相忘,何笑何惊人。
24. 既不回头,何必不忘。 既然无缘,何须誓言。 今日种种,似水无痕。 明夕何
夕,君已陌路。
25. 有缘相遇,无缘相聚,天涯海角,但愿相忆。有幸相知,无幸相守,苍海明月,天
长地久。
26. 相见得恨晚,相爱的太慢,进退让我两难。缘过了远分,缘过了聚散,是
否回头就能够上岸
27. 天凉了,凉尽了天荒 地老了,人间的沧桑,爱哭了,这么难舍 心都空了,想放
不能放。天亮了,照亮了泪光 泪干了,枕边地彷徨
28. 心微动奈何情己远.物也非,人也非,事事非,往日不可追
29. 渺渺时空,茫茫人海,与君相遇,莫失莫忘。
30. 如果换我先开口,日子是否还一样细水长流
31. 也许是前世的姻 也许是来生的缘 错在今生相见 徒增一段无果的恩怨 32. 人道海水深,不抵相思半。海水尚有涯,相思渺无畔。 33. 醉眼看别人成双作对,
34. 无人处暗弹相思泪。
35. 终于为那一身江南烟雨覆了天下,容华谢后,不过一场,山河永寂。 36. 千秋功名,一世葬你,玲珑社稷,可笑却无君王命。
37. 凤凰台上凤凰游,负约而去,一夜苦等,从此江南江北,万里哀哭。 38. 嗟叹红颜泪、英雄殁,人世苦多。山河永寂、怎堪欢颜。 39. 风华是一指流砂,苍老是一段年华。
40. 夜雨染成天水碧。有些人不需要姿态,也能成就一场惊鸿。 41. 你要记得,紫檀未灭,我亦未去。
42. 谁在岁月里长长叹息。
43. 汉霄苍茫,牵住繁华哀伤,弯眉间,命中注定,成为过往。 44. 红尘初妆,山河无疆。 最初的面庞,碾碎梦魇无常,命格无双。 45. 江南风骨,天水成碧,天教心愿与身违。
46. 山河拱手,为君一笑 。
47. 如是颠簸生世亦无悔。
48. 荏苒岁月覆盖的过往,白驹过隙,匆匆的铸成一抹哀伤。 49. 那被岁月覆盖的花开,一切白驹过隙成为空白。
50. 褪尽风华,我依然在彼岸守护你。
51. 那些繁华哀伤终成过往,
52. 请不要失望,平凡是为了最美的荡气回肠。
53. 你的路途,从此不见我的苍老。
54. 长歌当哭,为那些无法兑现的诺言,为生命中最深的爱恋,终散作云烟。
55. 随你走在天际,看繁花满地。
56. 我自是年少,韶华倾负。
57. 你要记得,那年那月,垂柳紫陌洛城东。
58. 苍茫大地一剑尽挽破,何处繁华笙歌落。
59. 寄君一曲,不问曲终人聚散。
60. 谁将烟焚散,散了纵横的牵绊;听弦断,断那三千痴缠。61. 清风湿润,茶烟轻扬。重温旧梦,故人已去。
1. 水滴虽小,却可以折射出太阳的光彩。
2. 梦落三千尺愁深似海,繁华遗落散满地。记忆轮回里,我举杯,在奈何桥上满口饮尽。
3. 人生没有轮回,就像花,人活一世,花开一季、人生如花,花似梦。
4. 生活的苦涩和美好给了我对人生的领悟,如今,千山万水走遍,我发现自己再也不愿离开文学的蓝天,再也不愿离开那个让我痴迷的文学舞台。
5. 在烟雨红尘中,轻拾季节花瓣飘落的音符,组成美妙曲符,然后,倚在时光的路口,撷一缕明媚,许自己一份唯美的怀想,与快乐、浪漫相约,闲淡清欢。
6. 未经历坎坷泥泞的艰难,哪能知道阳光大道的可贵;未经历风雪交加的黑夜,哪能体会风和日丽的可爱;未经历挫折和磨难的考验,怎能体会到胜利和成功的喜悦。挫折,想说恨你不容易
7. 燕子斜飞人家,炊烟零乱,柳絮飘飘,弥漫了山里人家。
8. 这样知解自己的生命即使是心灵空荡我也无所畏惧
9. 中秋之曰不可能岁月明如水,偶然的暗淡,恰似镜子的背后之面,有所缺憾,人生才会是积翠如云的空濛山色。
10. 在经受了失败和挫折后,我学会了坚韧;在遭受到误解和委屈时,我学会了宽容;在经历了失落和离别后,我懂得了珍惜。
11. 曾经盛开的蔷薇,虽经风吹雨打,但和着微风,还有屡屡暗香飘过。
12. 我只希望,不管三年,五年,或是十年以后。某一天,我们相遇,还能相认,你大喊一声,我想死你了。那一刻,我定会泪流满面。我们是朋友,永远的朋友。
13. 最爱的未必适合在一起,相爱是让彼此做自己。
14. 时间断想,时间不断。流逝,像是水,可弯可直,像是风,可柔可刚。
15. 如果说人生是一望无际的大海,那么挫折则是一个骤然翻起的浪花。如果说人生是湛蓝的天空,那么失意则是一朵飘浮的淡淡的白云。
16. 云层雾气,缠着几户古木人家,清新自然,如诗如画。
17. 我喜欢你,只是一个现在;我爱你,却是一整个未来。
18. 夜雨染成天水碧。有些人不需要姿态,也能成就一场惊鸿。
19. 再大的风不会永不停息,在浓得雾不会经久不散,风息雾散仍是阳光灿烂。
20. 牵着时光的衣襟,走进芳菲五月,轻轻地将春光拥入怀中,于一抹素白流韵中,弹奏一曲江南的婉韵,把盏,将似水流年浅斟轻酌。
21. 我穿越轮回而来,在奈何桥相思盈袖,凄然守候。莫落泪,纵若水落三千尺东流,云动八万里西散,我依旧会化身城碟,翩翩起舞跨过奈何桥与你相会。
22. 如果我爱你,我就会理解你,通过你的眼睛去看世界。我能理解你,是因为我能在你身上看到我自己,在我身上也看到了你。
23. 似乎风在转向,送走了缓缓袭来的味道,又将刚刚溜走的风,静静地换回来。
24. 生活告诉我,童话只不过是小孩子幻想的游戏。
25. 人生就像穿着一件长满虱子的华丽睡袍,外表美丽,而内心却充满了干啊和恐慌。
26. 必须用另一种真实方式来代替时光里已经逝去的东西
27. 岁月,依一抹浅香于心间,看年华向晚,闻花香送暖。给时光一个浅浅的回眸;给自己一份微笑从容。沉淀,馨香;念起,温暖。
28. 人生的起起落落间,总会有一些情怀需要安静回味;总会有一些伤痛需要独自体会;总会有一段路需要一个人走;总会有一些事需要坦然面对。
29. 疏影横斜水清浅,暗香浮动月黄昏。
30. 心若没有栖息的地方,到哪里都是在流浪。
31. 今后,我会从尘世中的纷争走出,远离喧嚣,把岁月打磨成诗,让自己的文字静如睡莲,动如涟漪,无论何时都能描绘成美丽的水墨丹青。
32. 全是理智的心,恰如一柄全是锋刃的刀,它叫使用它的人手上流血。——泰戈尔
33. 我们都不擅长表达,以至于我们习惯了揣测。去肯定,去否定,反反复复,后来我们就变得敏感而脆弱。
34. 心心念念的往事、曾经深爱过的人、年少琐碎的过往,它们就像缠绕之间的一阵风,来的缱绻,去的时候让人来不及挽留。
35. 如果在乎的没有那么多,想要的没有那么多,生活便会简单得很多。
36. 在极度的喧嚣中,独自微笑独自平静是憾,落花是美的,淡淡的书香,淡淡的花香,淡淡的馨香。
37. 曾芬芳过的那片土地,幸福的花儿虽早已凋谢,只留下风雨吹打的痕迹。
38. 辗转半世红尘,缘去缘灭,空留满池伤痕。雨花迟落,霜雪纷飞,池水泛冰,已益处月的苍凉。
39. 一条古道,一匹瘦马,一个人影,被落日的余晖缓缓拉长。
40. 我们人生的大幕才刚刚拉启:刀光剑影,英雄本色;是非恩怨,儿女情常。
41. 我们要去流浪,虔诚地定格住每一寸记忆;我们要去成长,潇洒地忘却掉每一条纹路。
42. 嗅着昨日芬芳遗留的气息,寻寻觅觅,仍不见踪迹。邂逅了一场烟火,终还是那般凄凉。迷失的夜晚,点缀了无数颗孤单的星星,不知道那是否有属于我的一颗。
43. 像这样轻飘飘的日子和平平静静的心情,也算是生活中的一种享受吧。
44. 想着远方的你,绝美的笑容,只为你一个人展露,那一泓羞涩的笑容,悄悄。
45. 细碎的声音,如羞涩的蓓蕾,夜暮花影,轻浅六月,寂寂流年,拢一阙清绝,归隐在宋词里。
46. 夕阳沉落在海水深处却不见浪花翻滚,淡淡的只留下一个让人沉思的背影。落雨是晚风中的殇,带着晨曦的翘首滑落最后的伤痕!雨尽含羞,淡抹嫣红!
47. 无影击碎了泪水,岁月在那个光年划下的痕迹原来是一刀一刀地刻在了我的心上。
48. 我收拢了梦想的翅膀,我停却了信念的脚步,却再也作不回曾经的那一天。
49. 我宁愿用尽此生,为那些尘世的硝烟尘雾,潸然泪下,为菩提落花,为世间繁华。
50. 阳光依旧在,我们穿越光影,沿着历史的足迹继续前行,创造美好生活,走向美丽明天!
51. 洋溢着春日的微笑,坚强了外表,却虚伪了内心,脆弱了,是不敢触及的。
52. 也许,就在那一刻里,梦境还在,柔情亦在。
53. 一个人的戏,自己独自导演,诠释精彩。在剧中尽情释放着自己的喜怒哀乐。笑得凄然绝美;哭得肝肠寸断。
54. 但生命中被你刻上痕迹的那些岁月无法抹去。
55. 往事悠然一笑间,不必空忧。我们一路走来,只是为了告别往事,走入下一段风景。倘若让忧伤填补了生命的空白,就真的是亵渎了生命。
56. 人生只有回不去的过去,没有过不去的当下。上帝只会给你过得去的坎,再不好过的生活,再难过的坎,咬咬牙,也就过去了。
57. 我一直以为山是水的故事,云是风的故事,你是我的故事。可是却不知道,我是不是你的故事。
58. 生命并不是一场竞赛,而是一段旅程。如果你在途中一直都试图给他人留下深刻印象,超过别人,那你就浪费了这段旅程。
59. 比如新的朋友新的感情新的思绪我想要知道的
60. 我以为我已经将爱情忘记,将你忘记。可是有一天,我听到一首歌,我的眼泪就出来了。因为这首歌,我们曾一起听过。
61. 忍花开花落,云卷云舒,品人生似棋。
62. 我离开你这一种信仰又会以怎样全新的姿势去面临更深沉的挑战
63. 人生路,路迢迢,谁道自古英雄多寂寥,若一朝,看透了,一身清风挣多少。
64. 只有夕阳站在那里。灵魂像无数的雪花飘过,光明闪烁,渐渐清醒。
65. 终于为那一身江南烟雨覆了天下,容华谢后,不过一场,山河永寂。
66. 荏苒岁月覆盖的过往,白驹过隙,匆匆的铸成一抹哀伤。
67. 忘川水不枯,记忆不散;奈何桥不断,思卿不弃;今夕,彼岸花又放,佳期约又到,我轮回践约而来,等你归来。红尘路上,伊人在否?
68. 十年生死两茫茫,不思量,自难忘,千里孤坟,无处话凄凉,纵使相逢应不识,尘满面,鬓如霜。
69. 天空飘过一朵云,有时是晴,有时是阴。但白昼终归还是白昼。
70. 我知道回不去,但还是会想念会回忆会心疼到无法自拔。
71. 天空不曾留下鸟的痕迹,但是我已飞过、在大地上画满窗子,让所有习惯黑暗的眼睛都习惯光明。
72. 人生首先要是望远镜,看远;再就是显微镜,看细;接下来是放大镜,看透;其次是太阳镜,看淡;最后是哈哈镜,笑看生活。
73. 我不是公主,也不会有等待救赎我的王子。
范文四:数据展示平台设计方案 班级展示平台设计方案
班级展示平台设计方案
目 录
摘
要 ............................................................................................................................................. 1
前
言 ............................................................................................................................................. 1
第一章 概
述 ............................................................................................................................... 3
1.1 Flash网站背
1
景 ................................................................................................................... 3
1.2 Flash网站所具备的优
势 ................................................................................................... 3
1.3 关于本课
题 ......................................................................................................................... 4
1.4 本论文所涉及内
容 ............................................................................................................. 4
第二章 开发平台与所用技
术 ..................................................................................................... 5
2.1 开发工
具 ............................................................................................................................... 5
2.1.1 Adobe Flash CS5.5
Professional ..................................................................................... 5
2.1.2 Adobe Photoshop CS4
Professional ................................................................................
2
5
2.2 所用技
术 ............................................................................................................................... 5
第三章 网站规
划 ......................................................................................................................... 6
3.1 网站结构
图 ......................................................................................................................... 6
3.2 网站内
容 ............................................................................................................................. 6
3.3 网站效果
图 ......................................................................................................................... 6
第四章 网站程序实
现 ............................................................................................................... 10
4.1 整体设
计 ........................................................................................................................... 10
3
4.2 网站设
计 ........................................................................................................................... 10
4.2.1 引导页设
计 ................................................................................................................ 10
4.2.2 导航的设
计 ................................................................................................................ 10
4.2.3 滚动条的设
计 ............................................................................................................ 11
4.2.4 XML外部载入实
现 .................................................................................................. 12
4.2.5 相册的翻页设
计 ........................................................................................................ 14
4.2.6 邮件发送的实
现 ........................................................................................................ 15
4.2.7 背景音乐的控
4
制 ........................................................................................................ 16
4.2.8 进度条的实
现 ............................................................................................................ 17
第五章 Flash 发
布 ................................................................................................................... 19
第六章 总
结 ............................................................................................................................... 20
6.1 个人总
结 ........................................................................................................................... 20
6.2 制作过程中遇到的问题和解决方
法 ............................................................................... 20
6.3 网站改进方
向 ................................................................................................................... 21
参考文
献 ....................................................................................................................................... 22
5
附 录 .................................................................................................
...................................... 23
摘 要
Flash是一种创作工具,可使用它来创建演示文稿、应用程序和其它允许用户交互的内容。Flash可以包含简单的动画、视频内容、复杂演示文稿和应用程序以及介于它们之间的任何内容。Flash特别适用于创建关于Internet的内容,因为它的文件非常小。Flash是通过广泛使用矢量图形做到这一点的。而全Flash网站具备普通网站所不具备的视觉冲击力和互动体验。所以全Flash网站比较生动,其互动性能是普通网站无法相比的。
本文完整的阐述了如何制作一个Flash网站,并且怎样利用XML实现txt,mp3和jpg文件在web页面的动态交互加载以及不同页面间的切换,信息的编辑与发送以及Action Script代码控制等。
关键词:Flash XML Action Script
前 言
6
数字媒体时代的到来,使人们不在满足于简单直接的信息传达,人们渴望在接受信息的同时能够带来一种视觉享受。Flash能让浏览者在轻松、有趣的视觉感受中,以最短的时间了解信息内容。Flash是目前在网络应用中最好的多媒体动画,强烈的视觉冲击力给浏览者带来全新的感受,更易留下深刻的印象,能够极好的达到理想的宣传效果。综合起来说,Flash网站是一种艺术与技术相结合产物。Flash网站是以艺术介入技术层面来达到视觉推广的目的,这样的好处是能够更好的针对目标人群,把信息以艺术效果的形式体现出来。
本课题是利用Flash的Adobe Flash CS5.5 Professional版本进行一个班级网站的制
作,由于本人知识的有限,时间的仓促,以及客观条件的限制,网站的规模不会很大。该Flash网站主要是一个以班级活动时候的照片,以及一些对于班级生活的文字的描述和
苏州大学自学考试“专接本”毕业设计
同学介绍的一个班级网站。每个人都有那么段属于自己的学生生涯,对于大学生涯,美好的回忆总是一幕幕出现在眼前。而一个小型的Flash网站,既能勾起我美好的大学回忆,也能在网站中找到一些大学班级生活中的点点滴滴,和同学们的深厚友谊。于是,我决定利用自己大学课余时间自己所学的知识,自己在指导老师的帮助下,和朋友合作制作这个
7
小型的Flash网站。
本次毕业设计制作完成的Flash网站共分为三个模块,分别为关于我们、照片和联系我们。本文共分为五章,第一章介绍了Flash软件开发背景以及课题的内容; 第二章介绍了本网站的开发平台及要使用的主要技术;第三章对网站进行了规划和简单的介绍;
第四章是网站的具体实现,并描述一些关键性技术;第五章主要介绍网站的发布;第六章是对整个过程的总结,讲述心得与感想。
第一章 概 述
1.1 Flash网站背景
早在上世纪八九十年代,凡是接触网页的人员,在他们的印象中所谓网站就是一些文字和图像的排版,文字和图片都可以做上相应的链接,并且可以点击。而如今,很大一部分人来说,这种现象仍然持续到现在,不过随着互联网网络带宽的不断增加以及如今Flash对互联网的影响力的不断增强,人们已经认可在HTML页面上加入一些Flash的元素。Flash元素的加入使得网络页面更加的生动形象,让人们更容易,更好的去接受。自从2000年以后,开始不断涌现纯Flash网站,但人们对他的认识并不是很深,大部分人会认
8
为纯Flash网站会影响访问的速度。所以在Flash发展初期和带宽有限的情况下确实存在这种现象,随着计算机网络的发展,传输速率加快,这一现状也将得到解决。而且,网站是人们了解一个企业的窗口,而现如今,更多的公司将自己的网站看作是在互联网上的销售平台,不仅让用户在这个平台上了解和感受公司的产品和文化,同时还能收集用户所反馈的信息,通过分析这些信息,企业才能及时调整策略以达到利润的最大化。而纯Flash网站恰好能满足这些企业的要求:它具有强有力的广告宣传、快速的传播速度、涉及的范围极广、丰富的媒体内容、体贴用户的流畅交互、以及跨平台和小巧客户端的支持。目前,纯Flash网站正在形成一种趋势。
1.2 Flash网站所具备的优势
Flash网站是以生动形象的动画和交互式操作,给每一位访问者带来一种切身体验的访问感受,使用者在浏览的过程中自然而然的融入到网站中。同时Flash已经具备了后端开发和数据显示的能力,可以完全胜任中小型网站的开发。
从视觉展现效果来看,纯Flash 网站可以完成HTML网站不能制造出的质感和动作效果,特别是一流的动态视觉特效,能给人以震撼的视听冲击,同时配合高品质的页面设计,
9
别具风格的配乐,纯Flash 网站会展现出无穷的魅力。现如今,计算机网络发展日新月异,互联网网络带宽不断提高,使得动画、音乐、电影的传输瓶颈正在逐渐消失。在线实时收看高品质画面将成为现实,而这作为静态网页的优势将不再构成优势。在未来虽然纯Flash网站不可能代替静态网站,但Flash网站的优势却依旧是静态网站无法匹及的。
1.3 关于本课题
学生时代是每一个人所共有的美好回忆,经常我们可以看到在毕业即将到来的时候,很多同学开始互相发同学录,给同学留言,合影留念,这些种种迹象表明,大家对自己的班级同学的感情不言而喻。而如今Flash网站的发展,使得人们对Flash网站的认知认可度越来越高。Flash网站相对于普通静态网站的优势特点越来越明显的显露出来。本课题即是用Flash来制作一个以班级回忆和介绍班级同学为主题的Flash网站。既要体现出对学生时代的回忆,感情,渲染出当年的青涩氛围,同时也要借助Flash的优势,体现出很好的人机交互性,Flash的视觉,听觉多方面的冲击力。整个Flash网站中的大部分图片,音乐数据将由外部载入,而文字部分则建立在XML的基础上,由外部进行导入。
10
1.4 本论文所涉及班级展示平台设计方案内容
本论文主要是将作者在制作本Flash网站中的一些技术层面上的问题一一写出来,介绍整个网站的结构布局,设计思路,最后写出作者自己的感触以及对帮助者的感谢。
百度搜索“就爱阅读”,专业资料,生活学习,尽在就爱阅读网92to.com,您的在线图书馆
11
范文五:互联网+大数据软件园中小微企业公共服务平台设计方案
软件园中小微企业公共服务平台设计方案
目 录
第 1章 项目概述 ............................................................... 4 1.1云平台建设的目的 .......................................................... 4 1.2云平台建设的意义 .......................................................... 4 1.2.1 云计算技术实现信息化投资的精确量化 .................................. 4 1.2.2 云计算系统实现资源的最大化利用 ...................................... 5 1.2.3 云计算平台更方便快捷地满足客户的需求 ................................ 5 1.3云平台技术支撑体系 ........................................................ 6第 2章 整体架构 ............................................................... 7 2.1云平台系统架构 ............................................................ 7 2.2云平台服务架构 ............................................................ 7第 3章 平台功能 ............................................................... 9 3.1软件开发云平台介绍 ........................................................ 9 3.1.1 开发云平台概述 ...................................................... 9 3.1.1.1 云开发的模块构成 ..................................................... 9 3.1.1.2 云开发的整体架构 ..................................................... 9 3.1.1.3 用户登录申请开发环境服务流程 ........................................ 10 3.1.1.4 用户开发环境提供选择模板 ............................................ 11 3.1.2 云开发平台建设内容 ................................................. 11 3.1.2.1 提供软件开发环境 .................................................... 12 3.1.2.2 提供软件开发资源 .................................................... 12 3.1.2.3 提供软件开发工具集 .................................................. 13 3.1.3 云开发平台的建设要求 ............................................... 13 3.1.3.1 硬件环境要求 ........................................................ 13 3.1.3.2 软件环境要求 ........................................................ 13 3.2软件测试云平台介绍 ....................................................... 14 3.2.1 云测试平台概述 ..................................................... 14 3.2.1.1 云测试的模块构成 .................................................... 14 3.2.1.2 云测试的业务流程 .................................................... 14
3.2.1.3 云测试平台部署实现架构 .............................................. 15 3.2.1.4 云测试的业务运营流程 ................................................ 15 3.2.2 云测试平台建设内容 ................................................. 16 3.2.2.1 提供软件测试环境 .................................................... 16 3.2.2.2 提供软件测试资源 .................................................... 16 3.2.2.3 提供软件测试工具集 .................................................. 17 3.2.3 云测试平台的建设要求 ............................................... 17 3.2.3.1 硬件环境要求 ........................................................ 17 3.2.3.2 软件环境要求 ........................................................ 17 3.2.4 云测试平台服务项目 ................................................. 18 3.2.4.1 功能自动化测试 ...................................................... 18 3.2.4.2 性能测试 ............................................................ 18 3.2.4.3 可靠性测试 .......................................................... 18 3.2.4.4 兼容性测试 .......................................................... 18 3.3软件验证云平台介绍 ....................................................... 18 3.3.1 验证云平台概述 ..................................................... 19 3.3.2 云验证平台建设内容 ................................................. 19 3.3.2.1 提供软件验证环境 .................................................... 19 3.3.2.2 提供软件验证资源 .................................................... 19 3.3.3 云验证平台的建设要求 ............................................... 20 3.3.3.1 硬件环境要求 ........................................................ 20 3.3.3.2 软件环境要求 ........................................................ 20 3.4人才服务云平台 ........................................................... 21 3.4.1 人才服务云平台概述 ................................................. 21 3.4.1.1 人才服务流程 ........................................................ 21 3.4.1.2 人才服务环境服务申请 ................................................ 22 3.4.1.3 人才培训运营拓扑 .................................................... 22 3.4.1.4 人才培训用户使用流程 ................................................ 23 3.4.1.5 人才培训流媒体教学架构 .............................................. 23 3.4.1.6 人才培训流媒体教学网络拓扑 .......................................... 24 3.4.1.7 人才培训开发实训 .................................................... 24
3.4.2 人才服务云平台建设内容 ............................................. 25 3.4.2.1 提供人才培训网络流媒体学习环境 ...................................... 25 3.4.2.2 提供软件开发实训环境 ................................................ 26 3.4.2.3 提供软件测试实训环境 ................................................ 26 3.4.2.4 提供软件开发资源 .................................................... 27 3.4.2.5 提供软件开发工具集 .................................................. 27 3.4.2.6 提供软件测试资源 .................................................... 28 3.4.2.7 提供软件测试工具集 .................................................. 28 3.4.3 人才服务云平台建设要求 ............................................. 28 3.4.3.1 硬件环境要求 ........................................................ 28 3.4.3.2 软件环境要求 ........................................................ 29 3.4.4 人才服务云平台服务项目 ............................................. 29 3.4.5 人才服务云平台实现建议 ............................................. 30 3.5提供应用商店服务 ......................................................... 30第 4章 云平台基础平台架构 ..................................................... 31 4.1云存储模块 ............................................................... 31 4.2服务器云 /操作系统云模块(服务器虚拟化层) ................................ 31 4.3云架构管理平台模块 ....................................................... 31 4.4云平台物理架构拓扑 ....................................................... 31 4.5云平台逻辑架构拓扑 ....................................................... 32第 5章 云计算平台的安全结构 ................................................... 33 5.1网络安全 ................................................................. 33 5.2W EB 负载均衡 .............................................................. 33第 6章 设备与服务清单及说明 ................................................... 34 6.1基础云平台清单及说明 ..................................................... 34 6.2操作系统与数据库清单及说明 ............................................... 40 6.3服务器清单及说明 ......................................................... 41 6.4终端及配套硬件清单及说明 ................................................. 42 6.5软件开发模块清单及说明 ................................................... 43 6.6系统集成清单及说明 ....................................................... 44
第 1章 项目概述
1.1云 平台建设的目的
目前, xx 软件园从事软件与信息服务外包的企业大部分为中小型企业, 对共 性技术公共服务的需求十分强烈。在现有公共服务体系的 6库 12平台上,建设可 持续的,满足中小软件企业在软件开发,软件测试、软件验证、系统演示、及其 人才培训服务等公共服务需求的云平台是服务外包基地公共服务平台建设的方 向,对促进 xx 和湖南软件产业的发展有积极的推动作用。
1.2云 平台建设的意义
建设面向园区中小企业共性需求的公共服务平台, 切实帮助广大中小企业加 强自主创新、降低经营成本、缩短研发周期、控制技术风险、提升员工素质、拓 宽推广渠道,是贯彻落实国务院、 省、 市政府关于扶持中小企业特别是小微型企 业发展的部署, 加大对中小企业扶持力度的重要举措。 该平台建设的成果直接有 益于广大中小企业, 能全方位整合软件园现有公共服务资源, 形成覆盖全区的中 小企业服务体系, 为软件园建设国家级孵化器和中小企业创新孵化平台提供重要 技术支撑;促进中小企业共性资源的整合、共享与应用,帮助企业做大做强,优 化和完善产业结构,提升区域核心竞争力。
云平台是一种按需提供计算资源的平台模式, 通过共享资源池来实现。 云平 台使用的云计算技术通过按需分配 IT 资源和对 IT 资源使用情况的精确监控和计 费, 这对于企业的资金节约和计划的有效性都具有重要的意义。 云平台中心建设 使得大量 IT 硬件设备, 机房资源及电力资源实现最大化的共享和再利用, 既保护 了已有的 IT 投资,同时根据信息化需求动态调整整个系统需要的电力及冷却系 统,是落实节能减排方针的典型。
1.2.1 云计算技术实现信息化投资的精确量化
因为信息化建设的特殊性, 传统的信息化建设由于无法给出精确 IT 资源使用 细节报告, 因而使企业对于 IT 系统建设的精确的投资回报率始终无法得到准确的 结果,因此常常在建设规划和预算方面与实际情况产生较大的偏差。
云计算技术通过按需分配 IT 资源和对 IT 资源使用情况的精确监控和计费, 使 得 IT 规划和 IT 资金预算得以产生精确的详细使用情况报表。 这对于企业的资金节 约和计划的有效性都具有重要的意义。 通过云计算技术使得企业的内部和外部 IT 系统都采用按需分配和按需申请的方式工作, 不但避免了大量的因投资预算偏差 产生的浪费, 而且由于按需申请和分配方式的采用, 使得 IT 系统的最终用户服务 得以专注,因而提高了服务质量。
1.2.2 云计算系统实现资源的最大化利用
云计算系统的建设和传统 IT 系统的建设有所不同, 云计算系统可以避免在系 统建设之初为了保证业务的持续增长而产生巨大投资, 云计算系统的规模可以根 据业务增长的需求而动态增加。 另一方面, 如果运行在云计算平台上的业务发生 调整或变化, 云计算系统中的 IT 资源也可以动态的实现减少和挪作他用, 而不是 象传统方式一样造成资源的控制和浪费。
1.2.3 云计算平台更方便快捷地满足客户的需求
传统的 IT 模式下,系统都是由用户出资建设并且自行维护和管理并使用的。 在这种模式下, 客户需要掌握大量与业务无关的 IT 技术细节, 以便能够有效的使 用耗费相当资金建成的 IT 系统。
在云计算模式下,客户往往只需要一方面提交业务需求给云计算运营中心, 另一方面从云计算运营中心得到相应的计算资源或者计算结果, 而不用关注云计 算系统本身的技术细节,实现按需服务。
另外,在用户愿意的情况下,用户可以自主定制计算环境和计算资源,实现 自动化。
1.3云 平台技术支撑体系
xx 软件园中小企业服务云平台的支撑体系包括桌面虚拟化层、应用虚拟化 层、云架构管理平台、云运营管理平台、服务器虚拟化层、基于 SAN/NAS的云存 储模块、网络模块等。应用层的各类公共服务功能均基于支撑体系实现。
第 2章 整体架构
2.1云 平台系统架构
围绕软件园中小企业核心需求,包括提供开发环境、评测环境、验证环境、 人才服务、园区应用商店等等, 跟随中小企业的成长的脚步, 逐步建设云服务平 台。如下图所示:
2.2云 平台服务架构
系统提供用户申请注册后, 通过云平台营运管理系统申请分配各类资源, 包 括开发环境、开发资源、开发工具集等,如 OS 、 CPU 、存储、 Database ,集成开 发环境 IDE ,第三方构件等。系统服整体服务流程如下图所示:
转载请注明出处范文大全网 » 数据交换平台设计方案