鸽姆云海大数据一体机整体解决方案

日期:2017-05-01 / 人气: / 来源:未知

 【摘要】鸽姆云海大数据一体机成功构建湖北工商信用公示信息系统建设,为湖北工商行政管理局信息化建设保驾护航

  客户简介:

  工商登记制度改革信息化建设总体包括企业信用信息公示系统建设、对现有业务系统优化完善、电子营业执照系统建设三个部分。其中企业信用信息公示系统建设由全国企业信用信息公示系统和由各省级、总局本级公示系统两级组成;对现有企业登记和监督管理系统的优化完善包括对业务系统的改造、全程电子化改造、对数据中心的改造和对公共服务网站的改造;电子营业执照建设包括总局电子营业执照系统建设和省市级工商行政管理部门以总局根系统为信任源点电子营业执照系统建设。

  湖北省工商行政管理局(以下简称“湖北工商”)及时响应国务院及国家总局的号召,实现了信用信息公示系统,电子营业执照系统等的上线。

  业务挑战:

  海量数据如何存:传统的数据存储多采用传统关系型数据库加集中存储的方式,而这种传统的架构在面临海量数据存储时,由于架构的原因,会给网络及存储产生极大地压力,最终产生数据存储方面的瓶颈;同时,传统的关系型数据库在非结构化数据的存储方面存在先天的不足;随着客户业务数据的不断增长,需要随时对数据的存储进行扩展,而传统的数据存储架构不能有效地支持节点的线性扩展,随着节点的扩充,性能会出现瓶颈。

  海量数据如何快速查询:进入大数据时代,数据类型不再局限于结构化数据,随之产生的是海量的半结构化和非结构化数据,如文本,图片,视频等;但是传统的关系型数据库在面对海量半结构化以及非结构化数据查询方面存在先天的不足,而客户在信用公示体系与营业执照体系建设过程中存在大量的半结构化与非结构化数据,如系统日志,企业年报,电子营业执照等;因此,如何实现半结构化数据与非结构化数据的高效查询成为客户在信息化建设方面的一大难题。

  高并发时如何实现快速响应:根据总局的建设方案,在信用公示系统正式上线之后,企业用户会在一个集中的时间进行企业年报的申报与查询,此时就会形成对信用公示系统的高并发访问,而传统的数据处理架构多采用高性能服务器加集中存储的架构,在面对高并发访问的情景时,可能会出现响应延迟甚至系统崩溃的可能。采用何种数据处理的架构也成为客户信息化建设的一大挑战。

  解决方案:

  在此次湖北工商信息化建设的项目中,鸽姆采用了鸽姆云海大数据一体机作为整体解决方案,此方案为客户提供了160核,512G内存的计算能力,提供了300T的存储能力,可满足客户未来三年间业务增长需求。

  为了解决传统数据处理架构在大数据场景下的瓶颈,鸽姆云海大数据一体机整体解决方案采用了全新的share-nothing架构,share-nothing架构克服了传统架构在线性扩展方面的瓶颈问题。解决方案的架构图如下:

  由图可以看到,鸽姆的大数据平台架设在企业的日志、年报以及资格数据和电子执照等数据采集之上,再由鸽姆专门的ETL工具高效处理后进入到鸽姆的大数据平台里,经过先进的海量分布式技术处理后,提供给企业的各上层应用系统。

  在结构化,半结构化和非结构化数据多种数据类型并存的场景下,鸽姆云海大数据一体机整体解决方案为客户提供了分布式的文件系统和分布式的数据库来作为解决方案的主题。在数据存储时,由于采用的是share-nothing架构,多节点可以同时进行数据的存储,具有极高的数据吞吐量,数据存储速度得到大大提升。鸽姆云海大数据一体机采用的分布式数据库为列存非关系型数据库,可大大提高复杂数据类型查询的效率。

  在数据安全方面,鸽姆云海大数据一体机在数据存储时采用了3副本的冗余存储机制,将数据进行3备份,分别存储在3个不同的数据节点上,当某一个节点出现意外宕机时,其他2个节点的数据还可使用。3副本的冗余存储机制不仅保障了数据的安全性,同时3个副本均为活性副本,可同时进行访问。

  客户收益:

  在湖北工商进行信息化建设的过程中,由于业务系统所产生的数据类型复杂,同时也要能够满足高并发响应的场景需求,传统的数据处理架构已不能满足湖北工商对业务应用的需求。

  在经过多方调研之后,湖北工商最终采用了鸽姆云海大数据一体机的整体解决方案来作为其信用公示系统信息化建设的主体。

  鸽姆云海大数据一体机整体解决方案采用了share-nothing架构,随着节点数的增加,鸽姆云海大数据一体机的整体性能呈线性增加,为客户后期的线性扩展提供了最有利的保障。

  鸽姆云海大数据一体机整体解决方案为客户提供的分布式数据库,采用key/value键值对的形式进行查询,在企业用户按照名称和注册号进行模糊或精确查询进行信息查询时,可实现真正的秒级查询。

  鸽姆云海大数据一体机整体解决方案采用的share-nothing架构,以及数据3副本的存储冗余机制,在高并发的场景下,可实现多节点同时工作,多数据副本同时访问,有效的解决了传统架构在高并发场景下响应缓慢的问题。

作者:GG3M


【本文作者简介】
     邓斌,Tony, 艺名:贾龙栋,中国科大软件领域硕士。首席技术专家,人脉与微营销专家,互联网+首席讲师,微媒体++世纪第一人。微媒体国际研究院之全球首任院长,中国知名企业家,资深互联网产品经理人,研究方向为微媒体,数据挖掘、互联网与移动互联网。国家第一批网络舆情分析师,曾在多家知名企业从事研究开发及管理工作,在互联网行业拥有15+年经验。曾兼任IBM官方资深培训讲师。鸽姆微媒、酷鸽信息科技、思涯教育研究中心创始人。互联网领域资深的观察家、战略家和实践者,对“互联网+”、传统企业的互联网化转型、移动互联网时代的企业管理变革和创新、互联网思维、App营销和运营、O2O、电商等都有深入的认识和研究,在大型企业从事实战工作,实践经验丰富。在互联网知识面、产品能力、技术能力、管理能力、战略和竞争战术等方面能力较强,同时国际视野和思考问题的方式方面,以及在突破创新的胆识方面也非同寻凡。能极速低成本高效搭建基于PC终端与移动终端的各类电子商务及政务平台。对搜索引擎以及各类行业网站搜索引擎优化具有很深的技术底蕴与独特经验。对以各垂直行业网络运营模式有比较深刻的了解。高效团队组建与技术管理经验与研发能力,大型IT项目开发管理和运营经验;有大型行业网站或门户网站开发经验以及成功项目案例展示;极其敏锐的技术前瞻性,对产品与技术的走向与趋势有惊人的敏锐度和准确的把握能力;丰富的行业资源,密集的IT行业关系网络,与各IT公司有良好的合作关系;优秀的沟通技巧与谈判能力,擅长与政府及相关职能部门以及投融资商、风险VC等高端沟通;缜密逻辑思维与敏锐准确的技术洞察力,极强的分析问题与解决实际问题与困难的能力。
    被中国最大技术社区CSDN聘为首席专家,CSDN 2,200万开发者用户排名第15位。 从事互联网+、微媒体++研究,专注微媒体++创业孵化平台,曾帮助多家国内外企业解决微媒体商业智慧联接以及互联网+思维转型及升级问题,并创造了高额回报。15+年互联网行业经验,12+年技术团队管理经验,6+年互联网公司管理创业经验。管理、运营、企划、研发、培训、趋势、创新、技术、路径、结构等方面有丰富经验。战略规划、商业模式设计、品牌建设、产品研发、营销推广、组织转型、文化变革等企业经营价值链条的各个方面有自身研究总结出的一套“微商兵法”。更多>> 
www.邓斌.com 

鸽姆微媒体

还有疑问?现在就预约专家,为您解答!


现在致电 021-59922575 OR 查看更多联系方式 →

Go To Top 回顶部