数据存储的巨兽:探索互联网数据中心如何塑造我们的数字未来 (数据存储的巨大特点)

数据存储的巨兽探索互联网数据中心如何塑造我们的数字未来引言互联网数据中心 (IDC) 是我们数字世界的后台引擎,为我们提供日常使用的各种在线服务。从流媒体和社交媒体到电子商务和云计算,IDC 都是处理和存储海量数据所必需的基础设施。随着数据爆炸式增长,了解 IDC 的运作方式及其对我们数字未来的影响至关重要。IDC 的巨大特点规模庞大: IDC 通常分布在几英亩宽的建筑群中,容纳成千上万台服务器和存储设备。单个 IDC 可能处理和存储数百拍字节 (PB) 的数据,相当于数万亿张 DVD 中的数据量。能源消耗: IDC 是世界上最大的能源消费者之一,占全球电力消耗的 2% 以上。为了给其庞大基础设施供电,IDC 需要全天候运行、高效的冷却系统和备用电源。物理安全: IDC 需要强大的物理安全措施来保护其敏感数据免受入侵、盗窃或自然灾害的影响。这些措施包括生物识别扫描、持卡出入、传感器监控和武装警卫。数据中心互连: IDC 通过高速光纤连接到彼此和互联网提供商。这些互连允许数据在大洲和海洋之间快速移动,确保顺畅的信息流和全球访问。IDC 的作用数字服务的提供: IDC 使我们能够访问各种数字服务,例如流媒体、社交网络、云存储和电子商务平台。这些服务依靠 IDC 来存储、处理和分发数据,从而为用户提供无缝的体验。数据分析和见解: IDC 是企业深入了解其客户、优化运营和进行数据驱动的决策的宝贵资源。通过分析存储在 IDC 中的海量数据,企业可以获得有价值的见解,从而提高竞争力。物联网和边缘计算: IDC 为物联网 (IoT) 设备和边缘计算提供了基础设施。这些设备和应用程序生成大量数据,需要快速处理和存储在靠近数据源的位置。IDC 支持这些用例,使实时的见解和决策成为可能。IDC 的影响数字化转型: IDC 是数字化转型的关键推动因素,使企业和政府能够采用新的技术并优化
数据存储的巨大特点


“东数西算”全面启动:数据大迁徙背后,看见存储产业的未来轮廓

近日,国家发展改革委等部门联合印发文件,同意在京津冀、长三角、粤港澳大湾区、成渝、内蒙古、贵州、甘肃、宁夏启动建设国家算力枢纽节点,并规划了10个国家数据中心集群。

至此,全国一体化大数据中心体系完成总体布局设计,“东数西算”已成为国家级战略工程,浩浩荡荡地站上了 历史 舞台。

“东数西算”被认为是继“南水北调”“西电东送”“西气东输”之后的又一重大基础设施工程,将成为“新基建”的新抓手。

具体而言,“东数西算”就是将东部产生的数据和需求,放到西部数据中心去计算和处理。

这有利于为数据中心提供源源不断的可再生能源,大幅降低其运行维护成本,同时能够推动中国数字经济和西部地区发展。

乘着“东数西算”的政策东风,存储、计算产业也将迎来巨大的发展机遇。

其中,基于分布式存储架构的SDS(软件定义存储)作为先锋力量、“热门选手”,天生具有可扩展性以及灵活性,必然会为新基建时代带来革命性的数据储存手段。

然而,机遇往往与挑战并存,一个不能忽略的问题是,随着东数西算工程纵深推进,存储需求激增,同时5G、AI、云等技术加速更迭的背景下,与之相伴而生的SDS由于还在沿用十年前的技术,也必然需要同频进化。

被行业拥簇的SDS(软件定义存储)

2013年,“软件定义一切”被首次提出时,还是个令人怀疑的技术畅想。

尤其是当它与存储绑定在一起,在一些传统储存厂商眼里是不着边际的。

但事实证明,SDS(软件定义存储)的诞生,不仅优化了传统存储的弊端,并在日后的十年里逐渐繁荣。

根据IDC公布的2021年三季度中国软件定义存储(SDS)市场报告显示,前三季度中国SDS市场获得高速增长,市场规模同比增长54%,成为中国存储市场的增长引擎。

早就发布过软件定义是趋势的Gartner预测,到2024年,全球50%的存储容量将以软件定义存储的形式部署,包括本地部署或在公有云上。

SDS在市场上的狂飙突进,一方面是基于创新技术。

近几年,由于数据爆炸式增长,存储系统的软硬件紧耦合设计严重地限制了存储技术的发展,而软件定义存储则可以实现软硬解耦,让硬件成本尽可能的降低,使得软件发挥更大价值。

通过软件的设计,来决定存储的性能和边界,不用再受硬件设备、服务器的限制。

其方向在于帮助用户在传统数据中心或云内实现存储资源的池化和服务化,以及在多云之间实现数据的统一管理和自由流动。

另一方面,是源于 历史 的进程,被时代选择。

随着云计算、大数据和人工智的发展,非结构数据爆发式增长——文本、图像、影视、超媒体等,面对这些数据,传统存储方式难以招架,而SDS存储正是包含针对文件的存储、对象的存储,自然就成了相关行业的首选。

此外,企业云化在近几年成为了主流。

在上云浪潮下,不同种类业务在池化的资源池中拿到相匹配的资源。

这种业务场景天然适合软件定义存储的分布式架构、软件定义、水平扩展、基于统一存储引擎向上提供多种接口等特性。

SDS已站在新十年的转弯处

带着这样的优势,伴随着行业的拥簇,SDS转眼已来到新十年的转弯处。

周遭环境飞速变化,数字浪潮奔腾汹涌,一些厂商、企业赫然发现,这个阶段的SDS竟然依然处于1.0时代,还在沿用十年前的开源技术,基于旧的硬件架构设计,似乎已无法更好的应对未来的新兴需求。

例如,与10多年前相比,现在的存储硬件、网络以及相关的技术方案已经发生了很多的变化,如果在软件层面不做出新的变革,数据存储系统就无法发挥出最大的价值。

还有介质方面,存储已经实现了大规模的从机械硬盘向SSD固态硬盘的过渡,由此带来了超高的IOPS、超低的时延;网络的提升更是惊人,100G已经司空见惯,400G也已经渐行渐近。

当然,也面临着“云”的追赶。

我们都知道,目前,企业云化已经成为必答题,云的发展日新月异,从私有云到多公有云、边缘云、分布式云,企业选择上云的部署方式越来越多元,数据可能存放在任意的地理位置,存储平台需要构建全局统一的存储资源池,让数据在多数据中心、混合多云和边缘中按需流动,这都是目前SDS1.0需要突破的挑战。

触摸存储未来的轮廓,ExponTech抢先迈向SDS2.0

作为数据基础设施整体解决方案提供商—ExponTech华瑞指数云率先提出SDS2.0概念。

在ExponTech看来,SDS从1.0需要迈向2.0时代,进化为2.0后,会为行业带来眼前一新的改变。

比如,SDS 2.0将支持可组合式架构,整合私有云、多个公有云,边缘云中的存储资源,提供不同IO模型,不同性能和可靠性要求以及许多种协议接口(iSCSI、S3、POSIX、NFS、CIFS、CSI、HDFS等)的自由组合及灵活部署使用。

还有,SDS2.0将与云原生高度协同。

无论在计算、网络、数据亦或业务的层面,都可以按照云原生的架构模式、部署模式和运营模式,实现与时俱进的进化。

SDS 2.0需要按照云原生的方式,支持和适配企业云原生应用的发展。

最后,具备向上服务能力。

SDS2.0在做好基础存储的服务、流动的同时,还会向上管理数据库,分发数据,帮助企业解决数据孤岛问题。

不仅如此,ExponTech认为,SDS2.0未来近乎要实现一个飞跃式的革新,是需要在引擎和架构方面做出全新的设计。

由此,ExponTech前瞻性地发布自主研发的新一代分布式数据存储引擎WiDE。

和其他存储相比, WiDE既可以提供多池架构下的IO调度和数据流动,企业可以存储海量非结构数据,也能存储要求高性能高可靠的结构化数据,还可以做高性能的数据分析,真正实现数据原生于一个数据平台上,只保留一份数据却可以被各类应用以各种接口访问,避免各种数据孤岛和数据复制拷贝带来的问题。

此外,WiDE还全面覆盖数据新基建创新型应用场景。

在覆盖现有分布式存储产品SDS1.0的主流业务场景之外, WiDE能在高性能数据分析HPDA、高性能云主机、高性能数据库底座、混合多云数据平台等业务场景发挥作用,弥补之前高端应用场景下吞吐和时延的缺陷。

引擎WiDE的问世,将会在SDS2.0时代更好地帮助企业应对数字化时代面临的业务快速迭代升级的需求,推动企业智能化。

未来,ExponTech也将会打造更多前沿存储产品,助力国内数据存储和国产系统软件的发展。

伴随着对SDS2.0的展望和引擎WiDE的无限可能性,未来之窗的纱帘正在缓缓拉开,我们对于数字世界广阔前景的想象,变得更为具体可感了。

华为突破分布式数据库和存储技术,打通数字化转型“雄关漫道”

2019年,我们将进入数字化转型的攻关期。

所谓“攻关期”即数字化转型2.0阶段,需要攻坚企业关键业务上云和数字化转型改造的课题。

在一份市场调查公司IDC的报告中指出:IDC自2014年提出数字化转型以来,看到企业在数字化转型层面已经投入了大量人力物力,但是效果并不理想,有一些企业已经成功屹立在潮头,有一些企业在向上游进发,还有一些企业只能在浪潮的挟裹中被动前行。

对于企业来说,数字化转型是“雄关漫道”。

IDC认为,目前阶段来看,企业亟待解决的是数字化能力提升,包括:与业务的深入结合能力;数据处理和挖掘能力;以及IT技术运营和管理能力。

特别是数据处理和挖掘能力,因为数字化转型推进企业从以流程为核心向以数据为核心转型,对海量、异构、多类型的数据处理和挖掘能力是释放数据价值的前提,对数据全生命周期的管控治理是释放数据价值的保障。

而随着数字化转型引入大量新技术而导致IT复杂度变高,企业IT技术运营和管理能力是提升企业“IT生产力”的关键。

攻关数字化转型的“雄关漫道”,需要一个具备融合、智能、可传承三大特性的数字平台。

这是2019年3月华为与IDC联合推出的《拥抱变化,智胜未来—数字平台破局企业数字化转型》白皮书所提出的观点。

融合主要指把传统技术和创新技术相结合;智能主要指平台智能化和智能化能力输出;可传承主要指解耦、功能复用、可配置等理念打造的架构。

而承载这三大观点的,就是新一代分布式企业级技术。

2019年5月15日,华为发布了业界首款支持ARM架构的新一代智能分布式数据库GaussDB以及分布式存储FusionStorage 8.0,作为新一代数据基础设施,诠释了具备融合、智能、可传承三大特性的数字平台。

华为常务董事、ICT战略与Marketing总裁汪涛在发布会上表示,千行百业正在加速智能化进程,越来越多的企业已经意识到数据基础设施是智能化成功的关键。

华为围绕计算、存储和数据处理三个领域重定义数据基础设施,加速迈向智能时代。

今天所讨论云和工业互联网等概念的背后是一个新时代的到来,这就是体系架构大迁徙。

传统企业级技术是在单体应用和单机环境中,保证数据存储、调用等操作的高可靠、高可用、高稳定,特别是满足金融级事物处理的ACID(原子性、一致性、隔离性和耐久性)要求,为企业关键业务提供数据管理支撑。

随着企业技术向云架构迁移,数据库技术也面临转型。

2018年,基于云计算技术的分布式数据库成为了业界的热点。

简单理解,云计算技术就是把“单机”环境替换为由X86服务器机群所组成的分布式计算环境。

原先由几台小型机完成的计算任务,要分散到上百甚至上千台X86服务器上,而且还可能跨数据中心操作,挑战可想而之。

特别是在线支付等金融级业务,不能在断网或网络连接有问题时出错,也不能因响应速度慢而影响用户体验。

2018年8月,中国支付清算协会与中国信息通信研究院联合举办了“金融分布式事务数据库研讨会”,与业界厂商和用户共商核心数据库分布式转型之路,同时发布了《金融分布式事务数据库》白皮书。

金融分布式事务数据库的工作推进,为分布式数据库进入企业关键业务系统,提供了产业化支撑。

而华为作为企业ICT解决方案供应商,早在2012年就开始研发面向大数据分析的数据仓库,在基于传统关系型数据库SQL引擎和事务强一致性等基础上,进行了分布式、并行计算的改造,历时6年打造了面向PB级海量数据分析的分布式数据库。

在OLAP数据仓库之外,华为与行业用户合作了面向OLTP的分布式事务型数据库研发。

2017年,华为与招商银行合作成立了分布式数据库联合创新实验室,研发具有高性能企业级内核、完整支持分布式事物、满足金融行业对数据强一致要求、单机事物处理能力要达到每分钟百万级别等的OLTP分布式数据库。

本次发布的GaussDB数据库新品包括:联机事务处理OLTP数据库、联机分析处理OLAP数据库、事务和分析混合处理HTAP数据库。

而华为GaussDB数据库将AI技术融入数据库设计、开发、验证、调优、运维等环节,可实现基于AI的自调优、自诊断自愈、自运维,让数据库更高效、更智能,引领数据库架构的发展。

更进一步,本次发布的GaussDB系列数据库是业界首款支持ARM芯片的分布式数据库。

华为推动计算架构从以X86+GPU为主的单一计算架构到以X86+GPU+ARM64+NPU为主的异构计算架构快速发展。

基于X86架构,华为引入AI管理和智能加速能力,率先推出了智能服务器FusionServer Pro;基于ARM64打造了业界性能最强的TaiShan服务器;基于Ascend芯片的Atlas智能计算,实现了业界首个端边云协同的人工智能平台。

而GaussDB可充分利用并融合ARM、X86、GPU、NPU等多种异构算力组合,大幅提升数据库性能。

汪涛强调,作为全球首款AI-Native数据库,GaussDB有两大革命性突破:第一,首次将人工智能技术引入数据库的全生命周期流程,实现自运维、自管理、自调优和故障自诊断。

在交易、分析和混合负载场景下,基于最优化理论,首创深度强化学习自调优算法,把业界平均性能提升60%。

第二,支持异构计算,充分发挥X86/ARM/GPU/NPU多样性算力优势,最大化数据库性能,在权威标准测试集TPC-DS上,华为GaussDB排名第一。

GaussDB还支持本地部署、私有云、公有云等多种场景。

在以云计算为代表的分布式计算环境中,数据管理解决方案除了需要分布式数据库外,为了更好的扩缩容以及满足多样化数据存储需求,计算与存储分离已经成为分布式数据库设计的主要架构。

分布式云化架构,就是要支持计算、存储分离和多租户等架构设计要求。

GaussDB已经从数据库层面实现了高可用、高可靠、高稳定的分布式数据库,本次发布的FusionStorage 8.0则是分布式存储架构,创新地实现一套系统同时支持块、文件、对象、HDFS协议,1套存储支持4类存储能力,适用于全业务场景混合负载,最终让“一个数据中心一套存储”成为可能。

IDC发布的《中国软件定义存储(SDS)及超融合存储(HCI)系统市场季度跟踪报告,2018年第四季度》显示,2018年,软件定义存储市场达到了54.9%的同比增长。

软件定义存储在中国整体存储市场的占有率稳步上升,分别达到了22.1%的市场占有率。

华为凭借文件解决方案在政府、广电和电信等行业得到认可,在2018年中国软件定义存储市场排名第一。

FusionStorage 8.0采用华为ARM-based处理器鲲鹏920加速,使IOPS提升 20%,结合华为AI Fabric无损网络,时延进一步降低15%。

基于华为在计算、网络和存储领域多年的芯片和算法积累,FusionStorage 8.0在SPC-1的性能测试中,单节点性能达到了16.8万IOPS以及1ms以内时延,成为承载企业关键应用的新选择。

此外,通过华为云的云上训练及本地AI芯片,FusionStorage 8.0将智能管理贯穿业务使用的全生命周期,如业务上线前对存储资源的规划,使用过程中的风险预判及故障定位,大幅提升存储效率,帮助行业客户应对智能时代的数据新挑战。

汪涛在发布会上强调,新一代智能分布式存储FusionStorage 8.0通过重定义存储架构,从“Storage for AI”和“AI in Storage”两个维度实现效率大幅提升,引领存储智能化。

首先,“Storage for AI”通过融合共享,让AI分析更高效。

其次,“AI in Storage”率先将AI融入存储全生命周期管理,从资源规划、业务发放、系统调优、风险预测、故障定位等方面实现智能运维。

辽宁移动就采用了华为FusionStorage。

作为辽宁省内最大的移动通信运营商,辽宁移动一直在 探索 先进的存储方案在自身IT系统的应用。

由于5G的快速发展,辽宁移动关键数据库的应用也向云化方向发展,分布式存储也要满足其可靠性和高性能要求。

华为在深入分析辽宁移动需求后,首先在边缘开发测试业务小规模试点分布式存储,进行了大量的实验和测试后性能和可靠性都达到了预期,最终决定将全部业务迁移至FusionStorage。

该方案通过采用双活、可写快照、端到端DIF等特性,顺利完成Billing、经营分析、B2B等系统从老旧存储至FusionStorage的搬迁工作,助力辽宁移动的存储架构迈入新的 历史 阶段。

值得一提的是,华为分布式数据库与华为分布式存储深度结合,把数据库的操作下沉到存储节点,极大提升了分布式数据库的性能。

利用新的网络技术和人工智能技术,华为帮助用户提升数据中心的吞吐量,提升网络应用的可伸缩性,并且能自动调优。

除了推出新一代突破性的分布式数据库和存储技术外,华为也积极与客户、伙伴在数据库与存储领域,从行业应用、平台工具、标准组织和社区等多个层面共建开放、合作、共赢的产业生态。

在行业应用层面,华为与软通智慧、神州信息、东华软件、易华录、用友政务、亚信国际等独立软件开发商长期合作;在平台和工具层面,华为与Tableau、帆软、ARM、Veritas等合作伙伴联合创新;在标准组织和社区层面,华为深度参与OpenSDS、中国人工智能产业联盟、OCP、OpenStack、CNCF基金会等组织和社区的建设。

总结来说,华为全线分布式数据库和分布式存储产品的发布,是华为具备融合、智能、可传承三大特性数字平台的最新成果。

华为分布式数据库与分布式存储结合,能消除企业各业务系统数据孤岛,构建面向行业场景的数据建模、分析和价值挖掘能力,对多源异构的数据进行汇聚、整合和分析,形成统一的全量数据和数据底座,实现数据价值挖掘和共享。

而基于AI的智能化,可对基础设施进行高效的管理,为行业应用开发和迭代赋能,全面帮助企业突破关键应用上云的“雄关漫道”。

(文/宁川)

什么是大数据?

中国发展门户网讯 随着新一代信息技术的迅猛发展和深入应用,数据的数量、规模不断扩大,数据已日益成为土地、资本之后的又一种重要的生产要素,和各个国家和地区争夺的重要资源,谁掌握数据的主动权和主导权,谁就能赢得未来。

奥巴马政府将数据定义为“未来的新石油”,认为一个国家拥有数据的规模、活性及解释运用的能力将成为综合国力的重要组成部分,对数据的占有和控制将成为继陆权、海权、空权之外的另一个国家核心权力。

此后,一个全新的概念——大数据开始风靡全球。

大数据的概念与内涵“大数据”的概念早已有之,1980年著名未来学家阿尔文•托夫勒便在《第三次浪潮》一书中,将大数据热情地赞颂为“第三次浪潮的华彩乐章”。

但是直到近几年,“大数据”才与“云计算”、“物联网”一道,成为互联网信息技术行业的流行词汇。

2008年,在谷歌成立10周年之际, 著名的《自然》杂志出版了一期专刊,专门讨论未来的大数据处理相关的一系列技术问题和挑战,其中就提出了“Big Data”的概念。

2011年5 月,在“云计算相遇大数据” 为主题的EMC World 2011 会议中,EMC 也抛出了Big Data概念。

所以,很多人认为,2011年是大数据元年。

此后,诸多专家、机构从不同角度提出了对大数据理解。

当然,由于大数据本身具有较强的抽象性,目前国际上尚没有一个统一公认的定义。

维基百科认为大数据是超过当前现有的数据库系统或数据库管理工具处理能力,处理时间超过客户能容忍时间的大规模复杂数据集。

全球排名第一的企业数据集成软件商Informatica认为大数据包括海量数据和复杂数据类型,其规模超过传统数据库系统进行管理和处理的能力。

亚马逊网络服务(AWS)、大数据科学家JohnRauser提到一个简单的定义:大数据就是任何超过了一台计算机处理能力的庞大数据量。

网络搜索的定义为:大数据是一个体量特别大,数据类别特别大的数据集,并且这样的数据集无法用传统数据库工具对其内容进行抓取、管理和处理。

互联网周刊的定义为:大数据的概念远不止大量的数据(TB)和处理大量数据的技术,或者所谓的4个V之类的简单概念,而是涵盖了人们在大规模数据的基础上可以做的事情,而这些事情在小规模数据的基础上是无法实现的。

换句话说,大数据让我们以一种前所未有的方式,通过对海量数据进行分析,获得有巨大价值的产品和服务,或深刻的洞见,最终形成变革之力。

综合上述不同的定义,我们认为,大数据至少应包括以下两个方面:一是数量巨大,二是无法使用传统工具处理。

因此,大数据不是关于如何定义,最重要的是如何使用。

它强调的不仅是数据的规模,更强调从海量数据中快速获得有价值信息和知识的能力。

大数据4V特征一般认为,大数据主要具有以下四个方面的典型特征:规模性(Volume)、多样性(Varity)、高速性(Velocity)和价值性(Value),即所谓的“4V”。

1.规模性。

大数据的特征首先就体现为“数量大”,存储单位从过去的GB到TB,直至PB、EB。

随着信息技术的高速发展,数据开始爆发性增长。

社交网络(微博、推特、脸书)、移动网络、各种智能终端等,都成为数据的来源。

淘宝网近4亿的会员每天产生的商品交易数据约20TB;脸书约10亿的用户每天产生的日志数据超过300TB。

迫切需要智能的算法、强大的数据处理平台和新的数据处理技术,来统计、分析、预测和实时处理如此大规模的数据。

2.多样性。

广泛的数据来源,决定了大数据形式的多样性。

大数据大体可分为三类:一是结构化数据,如财务系统数据、信息管理系统数据、医疗系统数据等,其特点是数据间因果关系强;二是非结构化的数据,如视频、图片、音频等,其特点是数据间没有因果关系;三是半结构化数据,如HTML文档、邮件、网页等,其特点是数据问的因果关系弱。

3.高速性。

与以往的档案、广播、报纸等传统数据载体不同,大数据的交换和传播是通过互联网、云计算等方式实现的,远比传统媒介的信息交换和传播速度快捷。

大数据与海量数据的重要区别,除了大数据的数据规模更大以外,大数据对处理数据的响应速度有更严格的要求。

实时分析而非批量分析,数据输入、处理与丢弃立刻见效,几乎无延迟。

数据的增长速度和处理速度是大数据高速性的重要体现。

4.价值性。

这也是大数据的核心特征。

现实世界所产生的数据中,有价值的数据所占比例很小。

相比于传统的小数据,大数据最大的价值在于通过从大量不相关的各种类型的数据中,挖掘出对未来趋势与模式预测分析有价值的数据,并通过机器学习方法、人工智能方法或数据挖掘方法深度分析,发现新规律和新知识,并运用于农业、金融、医疗等各个领域,从而最终达到改善社会治理、提高生产效率、推进科学研究的效果。

大数据六大发展趋势虽然大数据目前仍处在发展的起步阶段,尚存在着诸多的困难与挑战,但我们相信,随着时间的推移,大数据未来的发展前景非常可观。

1.数据将呈现指数级增长近年来,随着社交网络、移动互联、电子商务、互联网和云计算的兴起,音频、视频、图像、日志等各类数据正在以指数级增长。

据有关资料显示,2011年,全球数据规模为1.8ZB,可以填满575亿个32GB的iPad,这些iPad可以在中国修建两座长城。

到2020年,全球数据将达到40ZB,如果把它们全部存入蓝光光盘,这些光盘和424艘尼米兹号航母重量相当。

美国互联网数据中心则指出,互联网上的数据每年将增长50%,每两年便将翻一番,目前世界上90%以上的数据是最近几年才产生的。

2.数据将成为最有价值的资源在大数据时代,数据成为继土地、劳动、资本之后的新要素,构成企业未来发展的核心竞争力。

《华尔街日报》在一份题为《大数据,大影响》的报告宣传,数据已经成为一种新的资产类别,就像货币或黄金一样。

IBM执行总裁罗睿兰认为指出,“数据将成为一切行业当中决定胜负的根本因素,最终数据将成为人类至关重要的自然资源。

”随着大数据应用的不断发展,我们有理由相信大数据将成为机构和企业的重要资产和争夺的焦点谷歌、苹果、亚马逊、阿里巴巴、腾讯等互联网巨头正在运用大数据力量获得商业上更大的成功,并且将会继续通过大数据来提升自己的竞争力。

3.大数据和传统行业智能融合通过对大数据收集、整理、分析、挖掘, 我们不仅可以发现城市治理难题,掌握经济运行趋势,还能够驱动精确设计和精确生产模式,引领服务业的精确化和增值化,创造互动的创意产业新形态。

麦当劳、肯德基以及苹果公司等旗舰专卖店的位置都是建立在数据分析基础之上的精准选址。

网络、阿里、腾讯等通过对海量数据的掌握和分析,为用户提供更加专业化和个性化的服务。

在智慧城市建设不断深入的情况下,大数据必将在智慧城市中发挥越来越重要的作用。

由城市数字化到智慧城市,关键是要实现对数字信息的智慧处理,其核心是引入了大数据处理技术,大数据将成为智慧城市的核心智慧引擎。

智慧金融、智慧安防、智慧医疗、智慧教育、智慧交通、智慧城管等,无不是大数据和传统产业融合的重要领域。

4.数据将越来越开放大数据是人类的共同资源、共同财富,数据开放共享是不可逆转的历史潮流。

随着各国政府和企业对开放数据带来的社会效益和商业价值认识的不断提升,全球必将很快掀起一股数据开放的热潮。

事实上,大数据的发展需要全世界、全人类的共同协作,变私有大数据为公共大数据,最终实现私有、企业自有、行业自有的全球性大数据整合,才不至形成一个个毫无价值的“数据孤岛”。

大数据越关联越有价值,越开放越有价值。

尤其是公共事业和互联网企业的数据开放数据将越来越多。

目前,美欧等发达国家和地区的政府都在政府和公共事业上的数据做出了表率。

中国政府也将一方面带头力促数据公开共享,另一方面,还通过推动建设各类大数据服务交易平台,为数据使用者提供丰富的数据来源和数据的应用。

5.大数据安全将日受重视大数据在经济社会中应用日益广泛的同时,大数据的安全也必将受到更多的重视。

大数据时代,在我们用数据挖掘和数据分析等大数据技术获取有价值信息的同时,“黑客”也可以利用这些大数据技术最大限度地收集更多有用信息,对其感兴趣的目标发起更加“精准的”攻击。

近年来,个人隐私、企业商业信息甚至是国家机密泄露事件时有发生。

对此,美欧等发达国家纷纷制定完善了保护信息安全、防止隐私泄露等相关法律法规。

可以预见,在不久的将来,其他国家也会迅速跟进,以更好地保障本国政府、企业乃至居民的数据安全。

6.大数据人才将备受欢迎随着大数据的不断发展及其应用的日益广泛,包括大数据分析师、数据管理专家、大数据算法工程师、数据产品经理等在内的具有丰富经验的数据分析人员将成为全社会稀缺的资源和各机构争夺的人才。

据著名国际咨询公司Gartner预测,2015年全球大数据人才需求将达到440万人,而人才市场仅能够满足需求的三分之一。

麦肯锡公司则预测美国到2018年需要深度数据分析人才44万—49万,缺口为14万—19万人。

有鉴于此,美国通过国家科学基金会,鼓励研究性大学设立跨学科的学位项目,为培养下一代数据科学家和工程师做准备,并设立培训基金支持对大学生进行相关技术培训,召集各个学科的研究人员共同探讨大数据如何改变教育和学习等。

英国、澳大利亚、法国等国家也类似地对大数据人才的培养做出专项部署。

IBM 等企业也开始全面推进与高校在大数据领域的合作,力图培养企业发展需要的既懂业务知识又具分析技能的复合型数据人才。

(武锋:国家信息中心)

阅读全文
未经允许不得转载:亿动网 » 数据存储的巨兽:探索互联网数据中心如何塑造我们的数字未来 (数据存储的巨大特点)
分享到: 生成海报

相关推荐

  • 暂无文章
切换注册

登录

忘记密码 ?

您也可以使用第三方帐号快捷登录

切换登录

注册

我们将发送一封验证邮件至你的邮箱, 请正确填写以完成账号注册和激活