首页 新闻 企业 产品 商务 文库 学院 人才 视频 展会 组织 论坛 专题 搜索 帮助
logo

技术文库中心

频道首页
当前位置物联网世界 >> 技术文库 >> 应用案例 >> 正文

华傲大数据环境安装与数据集成在深圳市建筑科学研究院的应用


作者:物联网世界网采编 来源:深圳市华傲数据技术有限公司 2014-09-17 17:54:13
摘要:利用数据集成技术,集成建科院多年来积累的案例文档(包括规划设计报告、设计图等)、建材产品检测数据(建科院具有检测资质,开展建材产品的检测业务)、大型公建的能耗数据(建科院目前开展深圳市大型建筑能耗的实时监测业务,实时收集大型建筑的能耗数据)等数据,这些数据将存入大数据平台。

  背景介绍

  深圳市建筑科学研究院有限公司(以下简称“深圳建科院”)为国有独资企业,是集科研咨询、建筑设计、城市规划、质量检测等于一体的综合型服务企业,是国家级高新技术企业、全国建筑节能技术创新企业。

  长期以来,深圳建科院在业务开展过程中,积累了大量的数据,这些数据包括众多的城市规划、绿色检测、建筑设计项目生成的设计报告、设计图、过程控制文档、大型公共建筑能耗监测数据、绿色建材检测数据等。这些数据是深圳建科院的重要的数据资产,具有不可估量的价值。但由于这些数据是由不同的信息系统创建和管理,数据被锁在各个系统中,格式和存储方式各不相同,难以在业务过程中使用。

  互联网上包含大量建筑、建材、水处理、气候、地址、水文、经济、人文等信息,这些信息是建科院进行城市、区域规划,绿色建筑设计等业务必需的。当前设计师都是在接到任务后,由甲方提供这些信息或者自己进行调研,不仅成本很高,而且不能保证准确性和权威性,还经常发生重复工作的情况,造成成本居高不下。如果能在日常在互联网收集这些专题信息,提供给设计师参考,无论是时间成本还是人力资源成本都会大大减少。

  深圳建科院希望通过建立数据中心,完成内外部的数据集成,建立高效的检索和查询系统,为设计人员提供高效的、权威的参考。因为这些数据具有种类多、数量大、积累速度快的特点,数据中心必须采用大数据平台来建设。

  深圳建科院从需求出发,选择ADA作为建设数据中心的基础软件。

  业务目标

  利用大数据Hadoop技术搭建一个大数据平台,平台能够存储和检索结构化数据、非结构化数据和地理信息数据;

  利用数据集成技术,集成建科院多年来积累的案例文档(包括规划设计报告、设计图等)、建材产品检测数据(建科院具有检测资质,开展建材产品的检测业务)、大型公建的能耗数据(建科院目前开展深圳市大型建筑能耗的实时监测业务,实时收集大型建筑的能耗数据)等数据,这些数据将存入大数据平台;

  利用网络爬虫和数据集成技术,集成行业网站大量的产品、建筑方案等信息以及统计网站的权威国民经济统计报告,系统周期性从各个网站抽取增量信息,这些数据将存入大数据平台;

  在集成内外部数据的基础上,提供快速检索和统计分析等功能,为建科院工作人员日常工作提供支持;

  建设一个建筑行业的基于互联网的、建筑行业的运营平台,整合行业资源,拓展业务范围,拓展客户。实现以下业务目标:

  建设全公司共享的数据中心,实现整个公司的数据集中,为设计师提供知识管理和设计参考,为公司高管提供决策支持。

  建设一个建筑行业的电子商务平台,整合行业的上下游资源,帮助拓展公司业务范围和客户范围。

  技术目标

  建科院在本项目中的技术目标是引入大数据技术,把公司的各个应用系统逐渐迁移到共享数据中心,并为利用大数据技术开展数据分析,提高实施和服务水平打下基础。

  应用架构

华傲大数据环境安装与数据集成在深圳市建筑科学研究院的应用 物联网世界网

  建科院数据中心应用架构图

  深圳建科院建筑行业大数据平台项目以基于大数据Hadoop的数据中心为基础,通过内外部数据集成、数据清理,形成深圳建科院整个公司的数据集中的共享数据中心,在数据中心基础上提供下述业务:

  提供内部工作平台,提供给各个业务线,提升交付能力和服务水平;

  提供网上工作平台,外部的合作伙伴、个体工作者、客户通过这个平台开展建筑相关的工作和交易;

  提供给建科院客户,通过互联网为用户服务,对客户范围的扩展和客户个性化需求都能很好满足;

  提供决策支持平台,公司管理层通过对数据中心的数据进行统计和分析挖掘,提高决策的科学性和决策速度,更好地面对市场竞争,提升公司业务能力和品牌知名度。

  技术架构

  逻辑架构

华傲大数据环境安装与数据集成在深圳市建筑科学研究院的应用 物联网世界网

  外部运营平台是基于数据中心的建筑行业电子商务平台,其参考数据都来自于内部数据中心;内部数据中心是全公司数据集中的大数据平台,汇聚了公司内部各个业务线产生的数据和互联网上的行业相关数据;在内部数据中心的基础上,数据中心支持的应用为内部工作人员提供各种业务支持应用。外部运营平台与内部数据中心之间用防火墙隔开,防止互联网攻击和有害信息进入公司内部。

  数据架构

华傲大数据环境安装与数据集成在深圳市建筑科学研究院的应用 物联网世界网

  源数据包括各种监控数据、项目文档、设计图和外部数据,这些数据经过ETL抽取、转换和加载后进入以hadoop 为基础的数据中心,在数据中心之上,提供搜索引擎(提供所有数据的查询和检索)、推荐算法(根据客户的个性化需求,主动推荐数据给客户)、可视化应用(以图形化方式展示数据中心数据)、接口API(提供外部应用程序访问和引用数据的接口);用户的应用系统基于这些功能运行。

  数据中心的管理包括数据质量管理、主数据管理、元数据管理和数据安全管理等。

  ETL架构

华傲大数据环境安装与数据集成在深圳市建筑科学研究院的应用 物联网世界网

  内部数据集成的ETL架构

华傲大数据环境安装与数据集成在深圳市建筑科学研究院的应用 物联网世界网

  外部数据集成的ETL架构

华傲大数据环境安装与数据集成在深圳市建筑科学研究院的应用 物联网世界网

  物理架构

相关文章

    最新评论