一、项目背景
2015年 9月, 国务院发 《促进数据发展行动纲要》 , 系统部署大数据发展和应工作,提出要加快政府数据放 共享,推动资源整合,提升治能力。 2015年 9月 28, 国家务总局印发《 “互联网 +税”行动》 ,出树立 互联思维,积极利用互联网技术,探索和创新税工的 新机制、新方法、新领域。坚持创新驱动发展,加快大数据 署,深化大数据应用,已成为推动我省国税部门税收治理 能力现代化的内
从我国税系统实际情况,经过十年的信息化建设, 省局已经拥有了海量涉数据,但由于缺乏全局的一规划 和顶层设计,普存在着系统垂直分割,数据储相互 立,内容重复采集、数据式不准,数据码不统一, 据间缺乏关联等问题, 使得数据难在统之间交流、 共享、 融合。 因此, 建立数仓库, 实现数据整合, 强化数据分析, 深化数据应用势在
二、建设目标
全面整合税务系内部数据、外部交换数据、互联网抓 数据等涉税据,建立数据仓库。数据仓库基础之上, 设一个强大的数据平,建立统一的、公共的指
分析模型,为业部门具体数据应用业务提供可扩充的、快 速响应需求接口, 实现对管状况的多视角、 维度分析, 为科决策、风险管理的提供有
总体目标可具体分解为以下三个方
1、在总局金三据标准体系前提框架下,按照统一规 划、分步实施的则,建设覆盖部税收务主题和标准化 分析度的涉税数据仓库,税务数据分析业务应用提供
2、在数据仓库之上,建设一个强大的数据分析基础平 台。通过对数据析业务的高度象,建立起一套统的数 分析构, 使其能够根据具业务规则体系的要求, 速、 准确的从海量数据中得到
3、在数据平台之,加载各部门的数据应用业务,如 营改增、得税管理、发代开、资源综利用、产品抵 扣、福利企业退税、增值税发票升级版等方的风险管理, 为领导决策
三、建设内容
(一)数据仓库
(二)数据平台
(三)数据应用
四、实现步骤
按照总体规划、分实施的总体策略逐步实施以下工
第一阶段:建设数据库和基础平台并满足急需支撑的 业务
建设目标:建数据仓库、 基础平台, 实在数据层、 指标模型体系层面满足支撑综查询、千户企业收管理应 用系统
建设周期:6个月
第二阶段:建重点应用,持续完善基础
建设目标:建设风险管、辅助决策等业务系统。 建
第三阶段完成其他业务
建设目标:建设绩效管理、企业服务与管理、其他税 收数据分业务系统
建设周期:6个月
大数据整合平台建设方案
大数据整合平台建设
目录:
?
?
?
? 什么是大数据 大据平台介绍 大数据平台架构 平台建
大数据
“就像望远镜让我们能够感宇宙,显微镜让我们能够观测微生一样,大
在改变我们的生
随着互联网、移动互网和物联网的发展,谁也无法否认,我们已经切实地迎来一个海量数据的代,数据调查公司IDC 预2014年的数据总量将达到3.7万亿GB ,对这些海量据的分析已经成为一个非常重要且紧
作为一家互联网数资源整合公司,我们在海量数据的整合分析领域被“逼上梁山”。十年来在严苛业务需和数压力下,我们几乎尝了所有可能的大数据整合分析方法,最终落地于大数据
大数据平台可伸缩性、健壮性、计算性能成本上具有无可替代的优势,事实上已成当前互联网企主流的大数据分析
大数据平台介绍
大数据系统主要源于广州启飞信息技术有限公司(http://www.qflying.com/oa)与佛山华的短信平台十年的个信息与企业资源沉积的系
由于过去在不同平台、投资力及计算能力等因素的限制, 这些系形成了今天大数据息系统横向多条块业务以沟,纵向多层次系难以集成的复杂局面。因此,们觉到,部各系统信息需要有效共享、相互协作、数据需要能够被多业务所复用、形成统一的局数据视图,对现有的数据能够进一步分析加工,
信息源整合平台,就是对这一需的解决方案,我们构思利用IBM 数据管领域的产品IBM Information Integrator建立一个信息束访接口,建立一个逻辑上集中、物理分布各平的统一信息源整合,用来透明地管理当今两大平台系统中庞杂的数据。通过信息资源整合平台,营销部(悦商圈、微信e 、物业管理平台、精准短信群发系统)可
关键业务信息的集中管
跨异构平台的统一的信息查询访
避免不同平台、指标、务等的信息在不同职能部门要重复录
基础数据(如基础代码数据等)、共信息(如企业资源等)的在应用系统之间的同步,保持数据的一
在信息整合的基础上,开展业务部门、跨应用系统的综合信息析和报表
信息整合平台的基础架构如下图所
在省、市、区县各企业、个人信息合的过程中,根据信息整合后的不同属性特点,可以分为四个
第一阶段的主要任务构建信息整合平台,实现数据的逻辑集中、本级微二次开发平台的用推广的数据共,而从物上看,数据集结存储在各原的数据库中提取,本级大数平台的数据逻辑集中成为一个统
第二阶,结合数据整合层的项功能,进数据标准的规范化,提高共享的质量和数据复用,并为据交换做准备。这两个阶段是息整合所不可或缺的必要环节。范一旦设完成,其推广可分“转换”和“统”两个阶段,渐进式的实施。“转”,则系统和史数据都不改,将各地、各级数据的“方”解释为“普通”,再享或交换。统一数据标准,则意味业务系统的更改或更替,需对历史数据清洗、转换和存储。可以按照上述转换方法,同时结合数据复制技
第三阶段,将部分频繁用、访问、且实时性要求有限的数据物理集中,提高数据查询的质,便决策分析等业应用。这一阶段的任务于化查询问的效,关键技术在于数据复制,持准实时的秒级数据同步,可以根据务数据对实时性的要求和系统负载情况配
第四段,在第二阶段数据准规范化基础上,旨在利用数据映射层,实现本系统各平台间,上下级权限之间的数交换。这些交换以本级数据库中心形成形或树状的结构。整个据共享交换的底层实现和存储机制对应用点是透明。该结构属于耦合,如同星形网络一样,很容易进行次的构扩展。数据交换采用的关键技术是复制。以WebSphere II为基础平台,实施数据交换的主要工作可集中在与个人手
标准定义、交换方的映射关系定义和交换流程规划上。数据交换中交换流程可分为单和双向两种模式。这个阶段可根据实际业需求取舍,也可更换先
各类数据通过快速、效、低成本地搭建统一信息资源平台,将内部各系的信息资源实有效共享、相互协,使关数据够被多业务系统平台所用。同时,满足各业务模之间、各部门与大数据平台进行
大数据平台统一息资源,整合平台的技术特点
跨越各业务系统平台的实时数据
建立大数据系统全局、统一的客户
实现异构数据源之间的数据
广域网环境中基于消息队列的数据
实现系统间高效的批量数据
提供企业级的信息
事件数据的获取和
非关系型数据的集成(包
此外,信息资整合平台可以,通过对现有的数进一步加和整合,在提升全面的信息服务能力同时,大数据系的发展构建长远的信
大数据平台架构
大数据平台对业的针对性较强,为了明确它是否符合们的业务,粗略地从几个角度将数据分析的业务需求类,针对不同的具需求,采用不同的数据分
图
1 用于实时分析的MongoDB
数据分析的算法复
根据同的业务需求,数分析的算法差异巨大,而数据分析的算法复杂度和架构是密关联的。举个例子,Redis 是一个性能非常高的存Key-Value NoSQL ,支持List 和Set 、SortedSet 等简单集,如果你的数据分析需求简单地通过排序,链就可以解决,同时总的数据量不大于内存(准确地说是存加上虚拟内存再除以2),那么无疑使用Redis 会达到非常
还有很多易并行问题(Embarrassingly Parallel),计算可以分解成全独立的部分,或很单就能改出分布式算法,比如大模脸部识别、图形渲染等,样的问题自然是使用并行处理集群
而大多数统计分析,机器习问题可以用MapReduce 算法
MapReduce 目前最擅长的计算领有流量统计、推荐引擎、趋势分析、用户行分析、数据挖分类器、分布式索
图
2 RCFile
的行列混合存
大数据的4V 特征-
大数据平台的“大数
随着公司业务的增长,大量和程、规则相关的非结构化数据也爆发增长。 体
核心设计
大数据的技术领域
大数据平台与业务平台的
公司大数据平台架
应用一数据分析
应用二视频存储
应用三离线日志分析
应用五在线数据分析
平台UI 风格(附
微商荟数据综合台集束开发建设成本明细(附
美的集团整合数据交换平台-IBM
美的集团整合数据交换
发布 2010.10.01
验证 04 Oct 2010
客户 :
美的集团
行业 :
Retail, Wholesale Distribution & Services
部署国家 :
China
概览
美的集团从 ERP 实施、整合到三大系统的建立使得企业消除“信息孤岛”, 可以享关信息; 进行团层面的系统整合,整各异构遗留应,提 供消息交互的通道,为业未来智能化地向 SOA 架集成应用提供基础,最大 化 IT
业务需求 :
美的集团信息化基本是以满各部门、 各单位内部需求的定制化开发为主, 商 化软件很少; 电脑程部绕营销系统、 理系统开发软件, 这些系之相 互立, 企的关键信息散落在各个“信息”上无法共享; 各产业集团依据 业务工分别下设众多事业部或分公司,形成了多重复杂
解决方案 :
基于 SOA 计思路 ESB 产品搭建数据交换平台, 有机集成种企业应用, 简 化当 IT 环境,还能响应未来业务提供灵性、可扩性、安全和交互性。 IBM SmartSOA 帮助客户松绑 IT,
收益 :
不仅能整合各种异构的留应用, 提供消息交互的通道, 更重要的是它能为业 未来智能化地向 SOA 架构集成应用提基础,大化 IT 资的价值。以业务 为导向, 按照合企管理思制定 IT 发展规划, 无需采用太多的概念, 要 合作伙伴能解决实际问题就好。 美的的营业
成功案例
在集团管控系统的诸多统中, 复杂的是资金系统, 它涉及资金收付、 包括收款的国际国内间 结算等一系列复杂的业务题,年资金流量上千亿,对及性、安全性有很高的要求。 此 在专公司的检查发现存在代码、 用户、 管理、 成潜在风险。 选择资金系统和制冷 ERP 统做试点,用 SOA 的语言来说,就是为未来的安
成功案例
美的集成立于 1968,从一家 20多人的乡镇企业发展到以家电业为主,涉足房产、物流等 领域的大型综合性代化企业集团,员工总数约 8人,旗拥有三家上市公司,制冷电、 用家电、 机电装配、 美的地四大业团, 有中国最具规的白色家电生产基地和出口基 地, 集务展的目标是在 2010年成为销售额突破 1200亿元国际化家电制造企业, 跻身 全球白色家电制造商前五名,成为中国最
作为白色家电制造行业跑品牌和早推进信息化的制造企业之一, 1995美的集团在营业额 接 20亿元的时候就开始信息化,并陆续建成了 ERP 系、资金系统、预算系统、销系 和 HR 系统,不推进 IT 对业务发展和经营管理支;通过走符合集团、行业特色的 “ 标 准化、成化、扩展化 ” 信息化之路,推动企业高速发展创国际
从 ERP 实施、整合到三大系统的
1996年, 美通过对 SAP 、 Oracle 、 SSA 等国际领的 ERP 厂商进调研选型, 当年 10月正式启动了 ERP 项目。为满软件实施需求,企业对内部各方面的强管理,信息化 取得了较大的飞跃。可说,选择国外商品化的套装软件是美的信息化的
1997年,美的实事业部组织管理模式。普遍认为,这是美的最 10年来迅速发的重要 原因。当年年,美按业务集团推进 ERP 项目,到 2005为止,业务集所有事业都完 成了信息化的部署。期间 IT 基础比较好的美的制冷家电集团于 2004年对外进行重组、并购, 陆续收购了荣事达、华
这些投入使用的信息系统当时是分散发或陆续引入的。 1995年加入美的集团、证了信 息化起步的张金锋忆说, 那时候信息化基本上以满足各门、 各单位内部需求定制化发 为主, 商业化软件很少; 电脑程部围绕销系统、 管系统开发软件, 这些系统之间相互独, 企的关键信息散落在各个 “ 信息孤岛 ” 上无法共享; 各产业集团依据业务分工分别下设众多事业 部或分公司,形成了多
为此, 2005年美开始对团内所有下属单位的 ERP 进行升、改造、集中和整合工, 规范、统一业务流并在业排程、供应链等面进行深层次的开发, 与此时, 总部先建 成了团完全统一的资金管理系统、 集绩管理系统和对外财务合并系统, 力图利用信
集团层面的系统整合
在 ERP 系统现整合,预算、财务、资金系统基本建立,集管控系统基本备的情况下, 信息化遇到了新的问题。由于整个团的资金系统要为下属
销系统提供接口,业务规范,代码、程序开发也不统一,靠人工进行维护和管理非常难;分层 次组织管理式虽便于灵活应对市场, 如何制风险、 统一标准就成为关键问题。 在这种情况 下,企业应用集(EAI )摆在了美的集团的信息化
EAI 要解决的是 IT 基础架构系复杂、业务接口多、耦合度大、 连接方式呈网状构、部分系 统较封闭等难点,为未来灵活智能的 IT 架搭好基础,远比实施 OA 、门网站那样 IT 项 目复杂。 这个及企业趋势的题需要企业 IT 决策者和项目管理人员对未来业务有刻 握。除了技术层面的因素,如何说服领导也是一个很关键的题。在大多数企业, 听了太多负 面消息的管理层对各种 IT 名词
已经担任 IT 理部总监的张金锋介绍说, IT 管理部把最初定下带有时髦词汇的项名称 改为 “ 美资金与营销系统集成项目 ” ,并在心准备报告中阐述当前的 IT 状、实施项目的 理由、投资与回报、远的意义等。经过反复的汇报沟通,最后终于
在选型面,通过交流、学习以多分析和比较后,美的决定基于面向服务的架构(SOA ) 设计思路构建集团数交换平台,最终 IBM 公司企业务总线(ESB )产品 WebSphere Message Broker 入。 IBM WebSphere Message Broker 一款完、 成熟、 稳定高级 ESB 产品, 在中粮可可乐、 中国电信山移动大型企业有很的成功应用, 不仅能整合各种异 构的遗应用,提供消息互的通道,重要的是它能为企业未来智能化地向 SOA 架构集成 用提供基础,最大
在具体实施方面,于美的 ERP 和资金管理系统采用不同的供应商和决方案,资金系统 由团的 IT 负建设、维护和管理,业部负责各 ERP 系统的实施维护, EAI 涉及到 两个 IT 、两个业务、家供应商。为此,集团决定选择制冷集团作
在集团管控系统的诸多统中, 最复杂的是资金系统, 它涉及资金收、 包括收款的国际国间 结算等一系列复杂业务问,每年资金流量上亿元,对及时性、安全性有很的要。 此 在专业公的检查中发现存在代码、用户、管、成等潜在风险。选择资金系统和制冷 ERP 系统做试点,用 SOA 的语言来说,就是为未来的安
张金锋负责集团资金系、预算系统以及 ERP 管理,对他来说这项试点工作是在内少数 而且较为熟的系统之间开展,相对说, 情要简单些,试点成功概率要高一些、 效果会更 明显一些。这也是综了财务应用与 IT 规划两方面的因素
为了使这个涉及多单位部门的项目能够健康、稳健运行,美的召集了各方人员就如何利用 IBM 的 ESB 技术花了整整三天时进探讨,讨论的结是不仅解决了问题,而且拉了双 方的距离,大家决定按照统的项目团队进行管理,采用同一个标准规
以 ESB 方式构建的美的数据交平项目 2008 7月正式启动。由于前期基础工作扎实, 项目过程中的控制、风险、计划等作到位,原先分散的系统从直连变成了基于 IBM 企业服务 总线的连接方式, 再把业抽取出来, 集成一些便于拆分服务化的、 系统的程以及定义业务 对象(BO ),最终分析总结出收款、款、交单、用等大类业务固定流程下来,按预定 计划于今年 1月中旬成功上线。试运一个多月以基本稳定,达了美的预期目标。美的 有一支责任心强、经验丰富的 IT 团队,他们熟企业的发展和业务求。在 IBM 工作了几 后重又回到美的集团的张金锋无疑是既懂 IT 又业务的人, 他尤其
解和分解、 抽取、 装等一成熟的方法论。 他表示, 此次资金与销系统集成项目取得功后, IT 团队将凭在试过程中所积累的经和掌的方法,在后期整个集团部推预算、算 以及其系统、实现内部系统有效的集成起更的作用。 “ 未来工作更多的要靠我们自己
众多厂大力提倡的 SOA 实际上是把业应用服务以模块的形式进行组装,而 ESB 则是 这些服务组装起来的重要环。 如果没有 ESB , 企的应用只分散的, 商业智能或电商务、 渠道整合策略等都无从谈起。 IBM 把 ESB 象地比喻为企应用的 “ 龙骨 ” ,见它对企业应 要性。 “ ESB 是 IBM 软件体系架构非常重要的理念, IBM SOA 的核心环节和战略发展 重点,更是企业 IT 架构规
的基础。 ” IBM 软件集团销售代表张蓉介说:“ 因, ESB 对中小企业和具有复杂 IT 应用 的大型业都有非常重要的意
(实施巧与亮点:对比 “ 的金与营销系统成项目 ” 和与采用基于 ESB 或 SAO 等技术名 词提交 IT 计划,虽然具体工作内完全一样,但操作起来前者似乎更高明些。 张金解释 说,他们的出发点都是以务为导向, 按照符合企业管理思路制定 IT 发规划,无采太多 概念,只要合作伙能解决实际问题就好。 IBM 软件集团销售代表张认,目改名并获 批准的故事说明美的 IT 人的操作技巧, 他们充分意识了存在的困并且下决心要做好这件 事情,同时也考虑到所在行业的特,所以非常投入并
基于 SOA 设计思路的 ESB 产搭建数据交换平台,不仅能有机集成各种企业应,简化当 前 IT 环境,还能为响应未来业务提供灵活、可扩展、安全性和交互性。正全球经放缓 之际,家电制造业竞争趋激烈, IBM SmartSOA 帮助客户松绑 IT ,为家电制企做最智 能化决策提供灵活的 IT 基础,灵活、敏锐、复力强的企业不仅可以生存下来,还能够抓住难 得的机会,在充满不
虽然各对项目的投资情况闭口谈, 但总大致在数百万元, 与金融、 电信等大型企业上亿元 的况形成了对比。 “ 这体现了的少花钱多办事的务实原则。制造每花一分都非常谨慎。 ” IBM 件集团售代表张蓉说:“ IBM 最近一很火的告 ?SmartSOA ? 较好地体现这个原 则和项的规模。 SmartSOA 是承上启下的环节,对旧有系统做好整合,改善务合作模式, 为随后包括上层的数据仓库、商务智能的建设甚至是更灵活模块的整合等都提供
张金锋表示,这个项并非刻迎合或推行 IBM SOA 概念,而是为了解决目前团管控系统 与产业集运营统之间的网状集、 快速复制等具体的管理难问题; 条成熟后再做 IBM 的 SOA 理念近项目,例如在全集团范围内的业务集成,那础就非常好。如果第一步没 有想到目标,实施效
实施效果与未来 IT
美的据交换平台项目的用效果首体现在各流程都得到了优化。 IT 管部资金应用经理黄 汝国信用证的处理为例介绍说, 以前了要多次录入, 还在各门多次跑动, 需要八天甚 一月才能决一个问题; 在集成原有系统并改进了业务流程之, 数据只需一次录入即可几乎 实时解决问题, 加到凌晨两三点的现象也不存在了。 这不仅提高了工作效率,
了录入的错误。 另外, 系统底层虽然进行了重大改进, 但对于业务人员来说操习惯上没有 何变化,保证了项顺推进。另外,视化平台来监控系统之间数据交换, 随时报告可能出 现的问题,这对 IT 管理是有很
美的营业额从 1995的 20元上升到 2008年 900亿元的过程中,虽不好说 IT 发挥了 大的贡献,但美的所有的采购、计划、务是靠 ERP 完成;作为内实施 ERP 较早的 企,员工信息化认很高。由于 ERP 理念在美的内部深入人心,项目非顺利、周 期非常短;每并购一家公司,美的首先要做的是拓展 ERP 应用。对于一家民企而言,能把 信息化用到这种程
“ 在美的现有模式如何 IT 发挥作用,我们还是比较清楚的。 ” 张金锋表示:“ 我们把 ERP 统 为集团内部的标,向上支持总部管控系统,向面支业务营系统。因 ERP 包含企业 内部的营心, 所以具体的设置和标准由集团来决定, 最终通过集团核算系统、 运算系统来实 现管
据了,美的 2008的 IT 投资额接近一个亿。在当前金融危机的形势下, IT 投资与进程多 少受到一些影响。由于看重前规划工, 在业务部门还没明确新求的情况下, IT 部门 已经在断、 析和考虑潜在需求。 例如, IT 管理部已经开讨内控信息系统包括流程、 整理、风险、评估等,并鉴中国移动、中石油、中海油等规范性企业的经验,拟于 2010
正在建设中的美的总大楼将于今年 10月完工。这座现代化、智能化的办公年底前入驻;紧 挨着办公大楼, 集为 IT 独立设了一个新的数据中心, 目前正在邀请全球顶级的工师来参 与整个数据中心的建设、规
可以想象,未来美集团的 IT 将更上新的台
使用的产品和服务
本案例分析中用的 IBM 产品和
软件 :
WebSphere Message Broker
面向服务的多源异构数据整合平台的设计
面向服务的多源异构数据整合平台的设
计算机工程与设ComputerEngineeringandDesign2011,Vo1.32,No.1141 面向服的多源异构数据整合平台
李立博
(华南理工大学计算机
摘要:为了使中小企业租的各种在线应用系统间的数据能够行有效地
共享,并且使企业员工和客户有统一
登陆点来访问企业租赁的各信息化系统,研究了面向服务的体架构,在
上设计了面向服务架构的数据整合
台.该平台使中小企业能够站式对多个软件提供商提供的软件行租赁,
作为使用这些应用系统的统一入口,
小企业可以在该平台中建立业门户,自助整合企业所租赁的应系统,有
现企业应用系统的整合.通过实例结
表明了该平台对不
关键词:向服务的架构;软件即务;Web服务;sharepoint服;企业门户;
录
中图法分类:TP311.52文献
Designofservice—orientedmulti—sourceheterogeneousdataintegrationplatform LILi—bo
(SchoolofComputerScienceandEngineering,SouthChinaUniversityofTechnology,Guan
gzhou510006,China)
Abstract:Tointegrateandsharesmallandmedium—
sizedenterprises'onlinesoftwaredata,andenableemployeesandcustomers throughsinglesign—
ontoaccessvariouskindsofinformationsystemsthatareprovidedbydifferentvendors,servi
ce—orientedarchitecture
(SOA)isstudied.BasedonSOA,aservice—
orientedenterprisedataintegrationplatformisdesigned.Thisplatformisusedtoenable
enterprisesleasesoftwareinone-step—shop,andthisplatformcai1becomeanentryforuseal1thesesoftware.Throughthisplatform,
enterprisecarlbuildportalsandintegrateonlineapplicationsthatareleased.Finally,acasestu
dyofdataintegratingispresentedtoverify theefficiencyofthisplatform. Keywords:SOA;SaaS;webservices;sharepointserver;enterpriseportal;singlesign—on 0引言1SOA
软件即服务(SaaS)新型商业模式的出现,为中小企业实
ERP等企业信息系提供了一个相对廉价且实用的解决
案.SaaS具有投入,收益高,易于实施和管理等点…,
企业可以通过租赁来线使用这些软件.然而随着企业信
化的发展,中小企业租赁多个服务商的在线软件,每个软
都有具体的任务职责,这些软件以一个个"信息孤岛"的形
存在着.以上情况使中小企业迫切需要一个平台来有效
整合各种软件服务以共享数据资源.传统的数据整合平
大多是基于点对点集的,没有一个统一的架构对所有的
成点进行管理,而且对点的集成开发量大,需要各个软件
供商对原有系统进行造.本文提出了面向服务的企业数
整合平台,使企业通统一的门户,访问所租赁的信息化
源,并对用户进行统,授权的管理,有效地实现企业各种应
系统问异构数据的整.平台充分利用了SOA架构松散
合的特点,对各个系进行数据整合时无需对原有系统进
改造,只需增加服务,开放适当的服务接口,很好地弥补
点对点集成的缺陷.
SOA的目标是保持IT与业务的一致性.根据Oracle
司提出的SOA参考构,可以使规划基于SOA的项目能
最大限度地进行互操和重用.它提供了在特定背景下开
和部署的最佳实践,IT架构与业务目标相一致,从而在
SOA时可帮助驱动决策,包括基本需求和投的优次序. SOA参考架构现有的服务消费者和供应者作为基础, 架构其余部分的目标是通过聚合现有的服务提供者,或者加 速署新的服务提供者,以给服务消费者所需要的能力..该 SOA参考架构由连通性和数据服务组成,提供了灵活多样的 方访问不同的应用程和数据源.面向业务的服务在连通 性和据服务面构建了一个逻辑,增加业务规则和协调 业务流程执行.发布的服务封装这些业能力和数据并在 个递通道进行重.SOA参考架构如图1所示. SOA参考架构的核心包括共享服务和基础设施,促业 务灵性和易于重用.被设成工作得积木一样,提 供基础施用于支撑松散耦合.每一块是个可用的运行 时服务,企业能够它们组合在一起,抽掉面的某些层,或 收日期:2010.03—29;修订日期:2010—05—3O. 作者简介:李立博(1986一),男,西运城人,硕生,研
云计算.E—mail:lilibo@live.it 1422011,Vo1.32,No.1计算机工程与设计ComputerEngineeringandDesign
雾(道](,,)篓l浏览器ll手机IJIj合作伙伴lJ
琴r复合型应用,
匝耍圃口亚困困
}
r展示服务,.
【l二塑用户交ll共享的Web部件l厂
r业务流程服务,【r
SoA
享f业务要垫服务,+_-管理,
罂L匝因[垂困安全,
,数据服务,监控
匿亟囹区面习区回广
/连接服务,
I磊丽r'L-二L
{}
1日口
团圆匾圜)着
图1SOA参考架
者插入新的层而无需重构整个结构.
根据该参架构,我们可以根据台的需要,去除掉一些 组件,并选择合适技术实现该架
2平台系统架构设
根据SOA参考架构的指导意义,在平台中可以生出3 种门户:运营商门户,中小企业门户,合作伙伴门户.运营商 负责运营该平台,监管个平台的畅通运行,为服务提供者和 服务消费者针引线.合作伙伴是服务提者,他们平台 里发布自己已有的信息化产品,并通过简的术手段现 信息化产品本平台的集成.中小企业是服消费者,也是 本台务主体对象,他们在平台罩租赁所需的信息化产 品进行用,并自助建起自己的门户,整合企的各种数 据.据此,可将平台的系统逻辑架设计成如图2所
IIASP.NETlI
MOSSff!:i通行安信管全丁—
IILayer1l
差L
图2系统逻辑架构
企业门户,运营商门,合作伙伴门户从逻辑上分为展示 层,业务逻辑层,据库访问层和据库4层. 展示:示层Web方式展现,采用ASP.NET技术实 现.包括企
业务逻辑层(BusinessLogicLayer):围绕业务流程和业 组件的概念构业务逻辑层,通过量件,体,理等来 处理业务逻辑.业务逻辑层实施权限控制,数校验,业务逻 辑处理,日志记录
数据访问层(DamAccessLayer)所有的数据库作均在 数据问层实现,包建立据库连接,拼装SQL语,执行 SQL语句或储过程,关闭/释放数据库
数据:数据层主要负责据的存储检索,以关系数据 库为核心实现,数据库产采用sQLServer2005. 外部系统整合主通过WlebServices技术提外部系统 的交互接口,实系统的无缝连.WebServices完全基于 xML(可扩展语言),xsD(xMLSchema)等独立于平台,独 立于软件供应商的标准,是创建可互操作的,分布式应用程
企业门户网站(Porta1)实现的工具为M0SS(MicrosoftOf-
riceSharePointServer2007),统一的视图管理使用可以设定 各自的个化输.Web部件够将来自多种资源的互补 息合在起,这就可以在门户中同时查看各种在系统 之间的信息.Portal系统部署架构如图3所示. 图3Portal系
借助MOSS的单点录功能,为企业门户,运营商门户, 合作伙门户的用户提供统的访问入口,实现集中的信 息管理和用户身验证.将各门户站点紧密结合起,中 企业在浏览,管理各站点的资源更加顺畅.时MOSS提 供一套独立的自助建站系统.为平台中已经通过申请门户 审核的中小企业提供自
本平台系统架构优点可归纳为:基于.NET的Web框架 提供了更加的Web展现力;MOSS提供了完整的企业信 息门户;基于模版的助站点创建帮助用户快速建
户站点;基于WebPart的页面展现组件技术提供了快速组织 页面功能和内容的能力;MasterPage,访问群体,主题等功能 创建性化的户:单点登录服务和众多内置WebPart 帮助用户迅速创门户内容或集成其它应用系统. 3平台
3.1单点登录接
企业用户使信息化产品时,通过平台的单登录接口 直接登录到信息化产品进行使用.用户单点登录序列图如 图4所
李立博:向服务的多源异构数
图4单点登录序列
单点登录序列图描述如下:
(1)使用产品:业用户录本平台并请求使用信息化服务. (2)产生SessionToken:平台检查该用户否已经登录, 如果该用已录,跳过此步;如果该用户未在本平台登 录,则跳转到平台登录页面,登录后本平台
(3)请使用接口:本平台生产品使用URL,并附有用 户会话令牌,全验证等信
(4)获取用户账号口:服务提供商平台根据用户的会话 令牌调用本台的WebServices,获用户账信息. (5)校验SessionToken:本平台据会话令牌检查该用户 是否合
(6)SessionToken效性:本平台将合法登录用户的相关 信息发送服务提供商平
(7)单点登录功:服务提供商平台将HTTPRedirect的 户信息与WebServices获取到用户信息进行对比验,验证 成功后用户登录
(8)使用产品:户已经完成了服务提供商平台的登
作,以使用服务提供商供的产品所有操作. 单点登录使用该流程可以确保用是在已登录本平台的 情下进行信息化产品的使用,免用户接保存产品使用 的URL,在有登录的情况下使用信息化品.于公司信 息和用户信是通过本平台进行统一管理和授权,保证各 服务提供商之间信息的一致性和流通性,服务提供商去了 维护相关信息的操作,只需要通过本平台提供的接口即可获
3.2接口开发实
服务提供要将信息化产品在本平台发布必开发台 规定的Web服接口.开发Web服务时有两种实现方法,一 种是自底向上(先代码),另一种是自顶向下(先契约).使用自 底向上开发方法时,开发人员先好业务逻辑,完成代码,然 后再部署成Web服务.使自顶向下开发方时,开发人员 先写好Web服务描(WSDL),然后再开Web服务. 在本平台与其它平台进行服务整合的过程,采用自项 下的发方法,先义了服务契约(即WSDL口),确保 NET系统和J2EE系统或者它遗留系能够互共享并理 WSDL文档.由于其它平台接口都是采用同一WSDL进 行开发的,本平台在调用各个台接口时都采用同一代类, 所不同的只接口的地址(endpoint),实现了服务请求与服务响 应的一对多关系.架构间进行息交互图如5示.
如图所示,交互双方约定WSDL文档是生成SOAP消 息的依据,据此生的SOAP消息是双方能理解的,双方通 过交换SOAP消息交互操作.当用订购产A时,平台从 Database中取出品A的enapoint,放入代理类中并与产品A 的台进行信息交互;当用户订购产品B时,相应的取产品 B的endpoint,并放入同,代理类中即可与
消息交互,实现了一对多的关系.
在.NET平台,可以使用wsd1.exe工具根据WSDL生成 务器端代码或客户端用代码.如需创建服务端代 码,在.NETSDK命令提示中输入以下
wsdl/serverlnterface*.wsdl 命令中,/serverlnterface明为ASENetw曲服务的服务器 端实生接口..wsdl即为WSDL文件名.通过该令将 会生成服务器端类的接口,通过现该类并部署在IIS中即完 成了接口服务
在J2EE平台中,推采用AXIS2进行开发.ApacheAXIS2 是非常行广泛使用的发Web服务的引擎.用AXIS2 工具wsdl2java可方便地完成服务端代码的开发工,调 用wsdl2java并加上如
wsdl2java—uri.wsdl—ss—sd—dxmlbeans—oserver-p com.1ilibo
其中各参数的含义下:一SS:生成服务端代码;一sd:生成 services.xml;.dxmlbeans:使XMLbeans验证和析databin— ding;.oserver:指定生成代码的目录名为server;一Pcom.1ilibo:指 定生成的代
然后在生成的Skeletons中添加业务逻辑,添加完成运 行ant即可创建好.aararchive,部署务时只需要将生成好
.
aar文件拖servletcontainer中"/webapps/axis2/WEB-INF"下 面的"services"文件中
3.3接口安全性
Web服务除了基于SOA的应用带来了许多崭新的优 以外,也带了许多新的安隐患.在本平台中,用于防 安全隐患的机制有两种:一是对参数值进行加密,
据的完整性与机密性;二是过检查相应的票据与令牌信息, 进认证与授
为保证数据的完性,本平台和其它平台进行信息交互 时,对于请和应答中传递的信进行Hash运算(MD5),用于 确认求和应答信息没有被篡
计算HashCode时,本平台预先将一个共享Key发布给
务提供商台,HashCode计算时包会中所有参数的内容 以共享Key.本平台在发起会话时计算好HashCode并附带 发送给服务提供商,服提供商根据会话参数以及该产品预 先被分配的共Key计算出HashCode,并与本平台的Hash— Code进对比验证,从而保证了参数信息的有性及完性. 在用户认证与授权方面,采取如下措施防范安全隐患: 当用户录本平台时,平台为该用户产一个会话令牌 (token),该Token记录在服务器端的内存数库中,维用户 的登录状,并用户信及用户权限相对应.Web服务请 求者通过调用login接口,使用用户名和码信息获得token, 然后进行其它作时将token放入SOAP报头中来提供认证 消息,从而保证了登录的有.以下是客端进行接口访
<soap:Header>
<sessionHeaderxmlns="http://openuri.org/''>
<sessionld>string</sessionld>
</sessionHeader> </soap:Header>
服务提供对每次接口访问都要检查sessionId的有效性, 对服务请求端进身份认证和授
3.4建立企业门
通过MOSS在界层整合应用系统,让用户在统一
面上访问和操作多应用统,让每个企业都建立起企业门 户,极大地方便了企业内部员工及企自己的客户. MoSs中有一个用于行用整
可识别的标准数据口,然后可通过此接口对数据进行浏览或 编辑,且还可以将此据列入搜索源在SearchCenter中进行 快速索.BDC的数据集成解
图6BDC的数据集成解决方案框
根据此解决方案框架,在开发程中服务提供商只需将 行业数据以WebServices或者数据库的形式暴露来,企 业门户中,根BDC的WebServices理或者ADO.NET创 建出元数据描述并定义关方法,使用自带的WebPart即 可对端系统的数据进行展现,搜索,或者与用户概要文件
比如,对小区管理的门户网站,当小区的户登到该 网站时,有一个WebPart会根据用户信息调用物业管理系统 中的相关API,获取用户水电费,煤气费,业管费等信息,并 可以进行下个月相关费用的预算置,当下月水电费超过设 置的预算值时,会进行相应的报操作.在BDC,我们可 以将费用信息定义成一一实体(Entity),于Entity,我们再定 义它的属性,方法,动作,这些元数据(Metadata)定好了之 后,BDC就能通访问物管系统的WebServices或者数库以 完相的操作.BDC从管系统将定义好的数据抽取 来之后,MOSS中有自带WebPart能够直接显示这数据, 而且可以对这数据进行过滤查等等,另外,MOSS的搜索 引擎可以将BDC数据作为内容源进行检索,这样,Portal无 中就实现了业系统的
4企业数据整合实验与结果
本平台经接入的在线信息化统包括在线会系统, 在线进销存系统,在线工程量清单计价系统,线办公系统, 在线物业管理统,在线招聘系统,在线费用报销统,在线 客户关系管理系统等.通企业门户建立可以快速实现以 上多种系统的数据享.如在线销存系统中关商品的 描述和价格信息会动进入在线工程清计系统,快速 生成报价单.在线费用报销系统中的报销数据也会进在线 会计系统.企业进行在线信息化系统申购的界面如图7示. 图7企业
企业通过购买相的在线信息化产品,建立企业门户, 企业门户加WebPart,最终可快速完成企业户站点.一个 快速建好的企业门户如图8
??
?墨露
图8企业门户首页
通过该实验可以看到,相比于统的SaaS只关注于企业 某方面信息化,本平台提了一种强大的数据整能力,由 不同厂商提供各种孤立系统实现了数据的享和步. 且本平提供了可视化信息分类聚合服务,对业的各种信 息进行聚合,提供给注册用,用户也可以以各种方式随心所 欲地定制自己所
(下转第308页)
摹
?鍪
?鍪
誊
3082011,Vo1.32,No.1计算机工程与设计ComputerEngineeringandDesign
的效果;图3(b)为选取草地和田地两种然纹理进行仿真实 验处理后的效果;图4(b)为选取地和沙漠两种自然
行仿真实验处理后的果;图5(a)为在根据矢量地图获取顶点 位置属性信息生成三维地景,图5(b)为地模型点应 用本文算法处理的效果,证明本算法有效实现异种地表 纹理间的平滑过
(a)图像拼接算
图2纹理过渡效果
(a)图像拼接算
图3纹理过渡效果
(a)图像拼接算法(b)本文算
图4纹理过渡效果
(a)图像拼接算法(b)本文算
图5三维地景生成效
5结束语
本文对传统图像拼接算处理无重区域图像时,接 缝明显且严重影响视觉效果问题,研究引入纹理特征颜 色特征的相似度纹理过算法.法对无重叠区域的地纹 理像,通过颜色及纹理特征相度的比,计算融合过渡 区的宽度,实现不同地表纹理图像问的平过效果,解决 了三维地景异种纹理图像拼接时接缝明
[1】李娟.图像拼接技术研
[2]卢.战斗机飞行模拟器
[3]Jeongs,onCs,GrayRM.Imageretrievalusingcolorhistograms
generatedbygaussmixturevectorquantization[J].ComputerVi— sionandImageUnderstanding,2006,9(1—3):44—66. [4]HowarthP,RugerS.Robusttexturefeaturesforstill—imageretrie-
va1fJ].IEEEProcVisImageSignalProcess,2005,152(6):
868—874.
[5]HadjideEmetriou,GrossbergMD,NayarK.Multiresolution
histogramsandtheiruseforrecognition[J].IEEETransPattern
AnalysisandMachineIntelligence,2006,26(7):831-847.
【6]韩玲,张佐刚.一种基于颜色特征图像检索方法[J】_计算机与 数字工
[7]安勇,曾智勇.基于纹理特
[8]李志,苏志勋.图像拼接技术若干问题的研究【D].大连:大
(上接第144页)
5结束语
本平台造性地提出一种新的商模,软件服务提 商将原有应用系统的功能封装起来,将其整合并发布在统一 运营台上.中小企业通过统,'的平台,理购置所需的应 用系统服务,整合各个务提供商的务资源,并最终建立企 业信息户,各种孤系统实现了数据的同步与交互.虽然 SeA作为种好企业级合方案已经出现了很,但是 对于数量众多的中小企一直被排除在SOA门之外.通 过本平台以有效地将SeA应用在中小业信息化建设 中,相信随着间的推移,小企业以这种方式建立企业信息 化的情况将会非常普遍,企,数据整合平台必定
参考文献:
[1]袁志俊,夏霞.于SaaS模式在线软件系统不发方案的软件 【JJ.计算机工与设
com/technology/tech/soa,2008. 张晓雯,黄永忠,周蓓,等.基于BPEL和SeA的事务
究与实现[J].信息工
张卓然.基于Sharepoint的Webpart开发[J1.怀化学
2008,27(11):48—49.
EricNewcomer,GregLomow.UnderstandingSOAwithwebset- vices[M].北
MicrosoftCorporation.Microsoftdevelopernetwork[EB/OL]. http://msdn.microsoft.com/zh—on,2009.
ApacheSoftwareFoundation.ApacheAxis2user'sguide【EB/
OL].http://ws.apache.orgjaxis2/1_
4/userguide.htrnl,2009.
张尚昂,王亚利,张来,等.XML上的安全敏感息控制研
[J].计算机工程与
MicrosoftTechEd.存0ffieeSharePointServer2007中
BusinessDataCatalog进行企业数据集成[EB/OL】.http://
www.microsoft.com/china/technet/teched/webcast.aspx.2007.
数据交换共享整合系统平台建设方案
数据交换共享整合协同平台
整合协平台的主要功能是从其它系统中提取共数据,并对多来源渠道的、相互不一致的数据进行数据融合处;基于数据字典对实时数据和历史据进行组织,以保证数据间关系的正确、可理解并避免数据冗余;以各种形式供数据服务,采用分层次的方法对各类用户设置权,使不同户能获得自所需要的数据,能确保数据传输过程的安全性共享数据的互操作和用性;维护基础信息、动态业务数据以及系统管理配置参数;撑系统的网络构、信息安、网络管理、流程管理、数据库维护和备份等运维能力。合协同平台根据功
第一部分,基础据和共享数据的交换服务和路由流程理,该部分交换平台的基础,包:静态交换数据、动交换数据、图形数及表格、统计资料等属性
第二部分,各子系之间的接口实现,根据事先制订好的规范、标,实现各子系之间的数据共和传输作。在接入中心平台时,应系统集成要求设计系统构,各类数据接口遵循系统
第一章 中心平台设
1.1平台功能结
整合协同平台服务器公共础平台的核心部分,XMA整合协同平台提供一整套规的、高效的、安全的据交机制。XMA整协同平台由部署在数据中心各务部门数据交服务器、数据接口系统共同组,决数据采集、更新、汇总、分发、一致等数据交换问题,解决按需查询、公共数据存取控
各业务子系统都要统使用XMA整合协同平台进行数据交换。数据中心统一管和制定数据交标准。各业务部门通数级合或者用级整合通过XMA整协同平台向数据中心提供数据,也通过XMA整合协同平台访问共
XMA整合协同平台的基本功能如下:
共享数据库的数据采集、更新、维护。
业务资料库、
提供安全可靠的共享数据服务。
业务部门之间的业务数据交换。
结合工作流的协调数据服
管理、控制、配置、
管理、安全接口
运部服数系数会会会数行署务据统据话话话据管管管日解转控路策模模理理志析换制板
传输传输
数据需方数据供方
共享交换共享交换共享交换共享
数据库数据库应用
功能流程说明:
数据供需方的口数据系统:为了满足应用层交换和据层交换,换代理必须有应用和数据层的连接和接适配功能,数据代必须有数据格式的转换
数据传输:为了证数据的正确传输和传输性能,必须有输管理功能,包括了传输协议管理控制,传输过程控、据传输加密、压缩、络故障检测和连接共享等
数据整合协同平台:
会话管理:为了提供数据的交换方式如主动(推)、被(拉);支定时和实时策略,支超时控制管理等功能,数据交换平台必须有话策略、会话控制和管理
数据管理:了数据能按标准进行交换,能按部署的由规则进行交换,必须有数据路由、据模板管理、据解析、数据转换
系统管理功:同时数据交换平台还应提供服务管理功能,包括运行管理,署管理,服务理,系统日志等
为了和安全平台结合,还必有与安全平台的接口设计功能。 1.2设计
1.2.1 安全高效的数据交
XMA整合协同平台底层用消息中件技术,实现可靠的数据传输。在应用层基于务,实现数据交换,必须持数据采集、数据汇总、数分发、据更新通知、数据转、数据换。支持实时、定时、按需数据交方式。持多种数据源,提供身份验证、用户授权、传输加密、据整性、数据可信性、数据有效性的支持。支持数据分传输、数据压缩/解压缩、数据缓存等。 1.2.1.1 规范
共享数据是一个公的资源,可以供多个业务系统同时使用。对公数据的访问必经过用户的验授权访。此外,还需要从数据中心作的流程、规程制度等面确保共享数据不被用于非
1.2.1.1.1 安全可靠
由于各个业务部门间换的数文件含许多敏感信息,所以对数据换过程中的安全要求十分严格。XMA整协同台必须提供安全制保证数据交换信息的完整性、数交换信的机密性。XMA整合协同平台必须能有的安全认证平台结合。通过安全认证平台和XMA整合协同平台,能够保护交换信息内容免遭拦
1.2.1.1.2 高可用
随着项目工程的推,需要数据交换的部门会越来越多,XMA整协同平台需要负载平衡的支,在分式的体系结构上可以添加主的方式提高整体计算能,进行面向服务的适应性负
1.2.1.1.3 可维护
XMA整合协同平具有志监控功能,通过数据服务日志可以记录、跟踪数据交换的细节。志可用于对系统的行状态进行监控,亦可用对系统运行情进行审计、故障处理、系统发调试、交易跟踪。对数据服务进行控管理,用户权限管理,运行日志查看,
1.3信息共享功
1.3.1.1.1 数据汇
支持各个分支数据源汇数据到数据中心。采集公共数据的过程可以看成是一个数汇的过程,通XMA整合协同平台各务门的公数据采集回来,汇集到数中心的缓存数据库。经过数据理系统的比对、校验、转换得到一致
1.3.1.1.2 数据分
数据分发是从数中心的角度,主动向各数据使用方提供数据的程。通过公数据服务,依数据使权限的规则,从数据中心数据分发到各个数据使部门,实现数据共享、信息
1.3.1.1.3 数据存取访
XMA整合协同台提供实时按需的数据存取访问服务,通过统一标的数据接口,以XML作为标准数据格式,通过标准的Web服对各种技术平台提供访
1.3.1.1.4 数据转
数据交换服务以把某个数据库的数据转换成标准XML数据集。过数据转换模块,实对各种异构数据转换统一标准规范、具一致性和完整性的公共
1.3.1.1.5 任务定
数据接口系应该允许用户自己配置和管理关的服务,如:数据提取服务、数据发送务、数据接收务、数据存储服务
1.3.1.1.6 支持用户自定义接
数据接口系应该是一个开放的系统,要提一些可扩充的接口以及二次开发接口,支持户基于这些接口定义自己的特色服
1.3.1.1.7 支持监控管
对数据服务进行监管理,用户权限管理,运行日志查看,性能计。通过数服务日志可以记、跟踪据交换的细节。对数据交节点进行管理,提供全策略指南、服务器安全管理
1.3.1.2 信息交换方
XMA整协同平台可以支持同方式的机构和系统间的数据交换与协
基于Web Services服务的方式用于外部机构与中心平台的实时交
基于数据库接口的方
基于文件交换的方式于外部或内部系统间非实时批量交
1.4基于Web Services服务的方
基于WebServices服务的数据换方式主要用于外部机构部门与数据中间实时的数据换和业务协同应
基于WebServices技术的应用集成通过主流的WebServices协议如SOAP、XMLRPC等议的无缝集成,支持这些用统的口,提基于WebServices应用系统整合适配器,并提供快速合WebServices应用的工具和接
数据提供方定义公开据服务,以服务的形式封装数据交换的内容和议。数据使用方调数据提供方的公开数据务以取所需的数据,且按照一定的数据转换和数据新规,把据更新到本数据源。通过本地数据服务和开据服务的交互实现数据提供方和数据使用方间的数据交换。 1.4.1.1.1 基于数据
基于数据库接口交换的方式要用于内部系统间的实时或非实时据交换方
交换的双方通过定发送和接收任务来进行数据库接口的交换。根交换的数据式的不同,这种据交换式又可以细分为两种类型:一种是数据落地的数据享,一种是数据不落地的数据
基于标准XML元据和据字典的数据交换由XMA整合协同平台自动从前机交换数据库中取数,并按照定义的模板打包生成标准的XML据包,由定制的发送路由发送给接收方。接方接收到XML数据包后自动进行解处理,并将数据存储到接收方的前置机交换
1.4.1.1.2 基于文件交换的方
基于文件交换的方式主用于外部或内部的非实时批量数交换方
交换的双方通过定发送和接收任务来进行数据文件的交换。根据交换数据文件的不,这种数据交换式又可细分两种类型:一种是基标准XML文件的数据交,一种是基于其他文件格式的
基于准XML文件的数交换由XMA整合协同平台自动从前置机交换数据库中提数据,并按照定义好的模打包生成标准的XML文件,由定制的发送任务发送给接收。接收接收到XML文件后自动进解包理,并将据存储到接方的前置机交换数据库中。基于其他文件式数据交换由业务系统将需要交换的数据文件放置到前机上的规定路径下,通过XMA整合协同平台发送到目的地交由接
第二章 平台接口设
制定的接口规内容为整合协同平台和各接入部门之间,系统互联涉及的数据交换接口。系统之间的信息传输交换通过计算机系互联网络来完成。 数
“信息平台”与入部门息系统之间通信的通用接口模型如图所示。运输层以下层次的通协议用合适的标协议,运输层和网络层议用统的TCP/IP协议,便于各节点之间网传输,数据链路层和物理层可
“中心平台”与入部门之间通信的通用接口模
在整合协同平台,照对信的各种需求,维护一个用于数据共享的标准数据注册心,采用标准化数的方向各接入系统及应用系统提供共享的信息;各接系统整合协同台处对应维护一张数据字典,用完成非标数据和标准数据的翻译,从向共享的标准数据库提供标准化的数据信息;对
域的特殊数据信息,系提供在各子系统之间直接进行交换的途径,满足特定功能的用求;系统需有一个专门的维护和理构,分别对统的数据字典、标准共享据库进行增添、更新等维护管,以满足新的接入系统接入和系统发展
2.1.1.1.1 数据传
在数据传输中,由于系统数据的异构特性,在数据发接口和接接口需要对数据格按照数据字典的要求行转换,统一于标的数据格式满足应用的
2.1.1.1.2 接口扩
数据接口的层次、模块化、规范化计,将有利于系统的扩展性,对扩展设计主要体
应用层协议的分层设,各层功能明确,层之间可通过规范化的接口进行调用传递信息。各层能可独立实现,灵性,如可通购置商品化软件来实现信子层;某一层协议的功能展或变化时,将不影响另一层协议
采用数据登记标的、基于XML格式的数据接口方案设计,活性比较好,系统扩展方便,适合入系统的增加或接入信息容的扩展,有利于满新的系统接入和系统发展的
数据传输协议基于一些主流、成熟的数据传输协议,能很好适应系扩展的需
2.1.1.2 资源目录管
数据中心通过XMA整合协平台以数据服务的方式从各业务部门采集数据,保存公共数据缓存库,然使用共数据管理维系统进行数据比对、冲突检、据审、数据转。当数据达到一致性、完整性时,数据被发布到公共数据发布库,通XMA整合协同平台以数据服务的形式提供数据
该系统不仅要能满足基于现状条件下对信息资源的整合利用和范管理,还适应未来对信资源的度开发和多媒体信息资源扩展的要求。 2.1.1.2.1 资源目录管理
数据管理系统以题的方式组织数据资源,提供元数据理、数据供关系管理、数据标准范管理,与XMA整协同平台结合,提数据转换、整理、发布等
采集库工作库发布库
数据定位
数映射属性映属性据映射属性元数据模
心
主题
采集的主题整理的主题发布的
数据共享交换平台/数据集 更新 维护 使用机制/数
数据提供者数据使
业
务
部
门
数据机构
2.1.1.2.2 资源目录管理的功
2.1.1.2.2.1 元数据管
元数据目集中管理数据元数据的布与维护,系统授权给分系统管理员完成对本部元数据的维护
2.1.1.2.2.2 服务注册与接口发
前置机注册
数据源注册
适配器注册
服务注册
服务删除
服务订阅
服务审核
服务启动
2.1.1.2.2.3 数据转
建立业务部门数于标准规范数据的转换映射关系和转换规则,业务部门的据转换为符合准规范数据。数据转换重用数据合协同平台的功能。 2.1.1.2.2.4 数
数据中心通过XMA整协同平台从区级数据中心及各业务部门采集数据并放入数据中的存数据库中,然后通过数据管理系对据进比对、洗,检查数据冲突,对数进行审核校验。确保数据一致性、完整性。 2.1.1.2.2.5
数据中心以主题单位实现数据采集、数据交换、数据共享、数比对以及数发布。因此必提供主管理功能。主题管理重用据整合协同平台的功能。 2.1.1.3 运行监
为方便对数据中心的管和维护,要一套功能完整的运行管理与监控维护系,保障整个数据中心系和信息资源的高可靠、高控和效。运行管理系统要提供数据中心的系统管理人员用,于保证据中心的安可靠和高效运行。其功能主要包括面安性的用户管理、权限管理和密码管理;面向可用的节点管理和状态监控;面向可靠性的数据备份和恢复;面
能监控;面运行管理机制的信息管理。提供满足监测统计要求的功能,提供检测日志内容简单统计分析表
运行管理与监控系的管理对象包括:XMA整合协同平台、数库服务器、机服务器、网络备、备和存储设备、数据交换节设备和系统等。 2.1.1.3.1 运行监控管
运行控管理要涉及不同域的多种议和接口 - 比如 SNMP 用于网络理,桌面管理接口 (DMI) 用于桌面系统管理。基于 Web 的企业管理 (WBEM) 是这个行业的一个倡议,能够集、管理合并多种来的管理数据,从而更全面、更精确地了系环境。WBEM 有两个关键的组成部分(但有可
公共信息模型 (CIM) 规范,它定义了 WBEM 实施的
CIM 架构,它描述了数据存储库的内
运行监控管理平
管理应用程序管理控
管理单元
CIM对象管理器CIM对
管理对象提供者
WDM内核对象SNMP对象DMI对象其他
2.1.1.3.2 运行监控管理结
运行管理与监控系统通过数整合协同平台的资源管理体系和智能代共同来完
运行管理与监控系统的系统结构如图:
CIM信息模型
管监控理服务层CIM对象
JMX管理器
代
理
层
JMX MBean
WBEMSNMPTMN装提供者提供者提供
层
资源管理体系智能代理的实现符合WBEM标准和JMX规范,JMX定义了开发可理应用或网络管理系的一个体系结构、干设计模式、API和
JMX规范包含若现有标准管理协议的Java API,JMX通过广泛应的两个管理协:SNMP管理者API和CIM/WBEM管理者与提供API与WBEM达成无缝的
JMX规范向业界领域的户提供了装配代码、创建智能代理、实现分布式管中间件和管理者的式,且可使这些解方案平滑的集成到现有管系中。外JMX范也提供了若干现有标准管理术的Java API。JMX侧重理软件架构和数据接口系统(部署到各个部门
而WBEM则侧重管网络设备,他们各有分工又互相合
第三章 安全认证管
数据中心系统结
数据中心应用单点登陆认
数据共享交换安全认
在项目中,根据需求把安全认证平台用到每个功能和模块。 3.1.1.1.1 份认证和单点
安全认证技术上采用了大量进成熟的安全技术,支持的功能和相应技术特性如
访问权限控制:对业务流程的操作、对数据和资源的访问,都能行权限控
用户身份验证:提
数字认证体系:提基于PKI标准的数字认证体系,通过CA认证心的证书进行字认证、数字签等保障施,认证用户、实体的身,保证消息的完整性和易的不可否认性,确保交易合
安全通信通道:通过SSL等标准的安全通道协议,供通信层的全,保障通信双方身份正确性,通道和话的私密性,消息完整性和交易的不可否
安全总线技术特性 身
强身份认证
单点登录 (Single Sign-on)
授权访问控制 (Authorization)
可定制的访问控制列表 (ACL)
权限管理 (Group, User, Action, Permission)
数据加密
插件式的数据加密模块的
数字认证
基于PKI的CA认证、数字证书、数字签
支持安全通信协议,如 SSL, HTTPS ...
集成其他安全服务
兼容 LDAP, NT Domain 等安全服
3.1.1.1.2 数据交换加密认
下图表示数据在用层交换的请求/响应流程
过程描述如下:
通过接口API之间的数据流通道接请求方发送的XML请求数据; 对请求方进行份认证和权限控
写请求日志,存储请求XML数据文件;
解析请求XML数据;
验证数字签名;
对XML数据中的加密数据进行解密;
根据解析后的明请求数据进行对应的业务处
对处理后的响应数据按需要进行加密;
进行数字签名;
将数据封装成XML 数据文件;
通过数据流通道发送XML数据;
写响应日志,存储响应XML数据文件。
涉及到安全系的步骤包括:第2、第5、6、第8、第9步。除了和登陆认证的登陆证之外,还包了数据的加解密过
3.1.1.2 系统技术实现的优势特
3.1.1.2.1 高效可靠的可扩展平
平台提供数据、应用层等多层次的数据交换,提供于文件、数库、应用层的多种换方式。系统的稳定和性能已经在多个府、银行、电信中得到
Web浏览器HTTPHTTP服务
应用层
数据库SQL数据SQL文件FILEFILE
消息数交换数据需数据层供方方数据中心
3.1.1.2.2 即插即用的柔性架
数据共享交换平设计了统一的管理总线和安全总线接口、采用了“插即用”的管理模型,具备了即插即用的特性,对于新拓展的适配能够快速、动态的部署和
Workflow
即插即用的柔性架构
J动态适配器动态适配器SQL
CORBA
HTTP
统一总线接口Web Services统一总线接口DCOM
2EE
“即插即用”式管理“插即用”式管理统一消息交统一消息
消息交换
3.1.1.2.3 高扩展低维护的特
使系统有足好的可扩展能力,各部分之间须是松散耦合的,每个部分的实现方法的化不应该对系的其他部分造成影
系统中的新的模块只需要在一处配置,可以被多个子系统共享的能力。 3.1.1.2.4 安全可靠的
保证系统必保证在广域网环境下的具有足的安全性,符合信息化建设中的安全要求,与认证中心CA/PKI系统无缝
HTTP/SOAP
3.1.1.2.5 灵活可靠的数据传
即插即用协议栈:可靠
存储转发
队列协议存储转发…
群组消息协议发布/订阅,P2P…
其他协议故障检测…
可靠传递协议丢包重
数据传输协议TCP,UDP…
3.1.1.2.6 支撑扩展的综合应
通过对应用支撑系的实现,不仅可以支持数据中心的数据整、共享交换,还可为其他部或综合用提供支撑,如公共服务统、决策支持系统等,真正做到成为企业信息系统
第四章 系统能力及性能指
XMA整合协同平服务器是任务关键系统,纵向联接多级系统,横向联接多个务部门,系统构复杂、业务量大、吞吐量高,需具备良好的安全性、稳性、可用性、可伸缩性和可扩
XMA合协同平台的技术路线采SOA、EAI、ETL、XML等大量成熟的先进技术,架构在J2EE的分布式体系结构上,数据交换采用XML,支持WEB服和SOAP协议,在软件架构管理上采用JMX与WBEM集成的技术,使之成为管理模块技的核心,结CA认证机制的提供安全保障。同时提供中层集成框用来足无需太费用而又需要高可性、高可靠性以及可扩展性的应用需。通过提供一的集平降低资源整合和应用成本和复杂性,同时提供对现有应用程序集成强力支持。XMA合协同平台各个部门建设业务系统的一个标准架构,作为数据中心的平台建,必须能满足及支持域
系统遵循国际主的SOA架构体系,采用先进、主流、靠、安全、放、实用、性价比好系统架构,具有优秀的术能力和性能指标。 4.1.1.1.1 系
项目 技术指标
采用面向服务架构(SOA)设计和企业服务总线(ESB)技
遵循标准规范 术,遵J2EE标准体系结构,具有灵的扩展
好的移植性。
数据交换接口主要包含:
Web服务方式,支
等Web服务协议标准 多种交换方
数据库接口方式,持主流关系型数据库的接口,
了ORACLE、SQL SERVER、SYBASE、DB2等
基于文件交换方式,支持基于自定义格式的文件交
以XML格式为主,可支持各种类型的数据源的交换,包
多种数据格式 括关系型、结构化、XML、消息、文本数、WEB
矢量地图、影像、视频、音频等。
数据交换能力 支持服、消息、数据库、文件等多种
有良好的负载均衡能力;
支持大数据包的交,进行分块传输,数据量大小
受限制,在保证一数据传输速度的同时,可避免
全部网络带宽。
支持多种传输协议
支持多种传输格式
数据交换传输
支持数据的加/密,基于PKI的安全认
支持传输层的动态扩展
数据交换管理主要包含:
交换安全管理,提基于ACL的访问控制等安全管
术
交换路由管理,提基于动态路由的交换,可配置
数据交换管理 路
交换协议管理
交换性能管理
交换日志管理
交换格式管理
批量数据交换由数
据清洗、数据比对、数据校验、数据转换等处理,
异构数据源或数据访问接口:
批量数据交换
, Oracle
, Sybase
, SQL Server
, IBM Informix
, IBM DB2
, JDBC
, ODBC
, XML
, 文本文件等
数据同步支持异数据源之间的数据复制,应支
实时数据同步
时、定时、订阅/发布、手工等数据复制模式。
对共享数据进行问权限设置、访问标准或者分
准。
基于安全基础服务,过对敏感信息进行加密等手段,安全
提供消息的加密/密、数字证书认证等功能,实
息内容的保密和操的不可抵赖性;基于日志,实
数据交换任务进行追踪和事后审计。
系统提供7×24时的连续运行,软件版本升级或
应在不影响业务的情下进行,保证系统可以稳定、平可靠
滑过渡;支持数据点续传、可靠传输,系统运行稳
具有高可靠性,可靠性达到99.99%。
整合协同平台系统供集中的可视化的管理服务,
中方便地配置、监视、控制、管理整个系统,并且能够易维护
监视本系统中各类用情况,及时消除隐患、降低
成本、提高效率。
数据访问遵循JPA、JDBC、ODBC等标准;数据格遵循技术
XML标准。
4.1.1.1.2 性能指
项目 技术指标
交换响应时限 操作过的响应时间平均不超过3秒,大不超
秒(不包含外系统对于平台的响应时间)。 交换据量 支大数据包的交换,论数据量大小不应受制 共享数据容量 各类数据总量支持TB
数据访问速 多种数据源的复杂操作响时间不超30秒 并发用户数 共享数中心支持10000个以上的并发
转载请注明出处范文大全网 » 数据采集整合平台建设框架