且构网

分享程序员开发的那些事...
且构网 - 分享程序员编程开发的那些事

漫步云端 我国掀起大数据革新浪潮

更新时间:2022-09-16 23:02:15

随着便捷、按需且管理成本低廉的云计算模式不断升级,全球云产业已进入高速发展期。

苹果公司通过云平台的构建实现了移动端从硬件向软件的完美转身,谷歌公司用云计算成就了***的搜索引擎,云用户以几何级数增长,参与形式日趋多样化和深入化。

聚焦国内,我国的云数据产业近几年来也呈现出蓬勃发展的趋势,如阿里巴巴、中国电信、万国数据(GDS)等纷纷布局云数据业务。

云数据受互联网追捧

随着海量数据信息的不断涌现,例如气象信息、网络检索信息、股票信息等,这些庞大的数据信息是普通的管理方式无法承载的。

云数据管理技术的出现和发展极大地提升了数据信息管理的能力,促使数据信息得到有效的整合与分类。不仅如此,还简化了数据的调动与获取,极大地提升了数据的存储和应用能力,提高数据信息的利用率。

“互联网企业需要云数据中心的基础设备更加规模化和标准化。”易观智库大数据研究总监任伟巍向《中国产经新闻》记者表示。

记者了解到,淘宝网日均4亿次网页访问量、日均交易额达到7亿元、全年交易额达2000亿元,成为互联网巨头,其业务背后是遍布全国的8个数据中心、上万台服务器、几千台交换机、海量存储等,如此大容量的设备基于统一的IP标准协同集中工作,这是传统数据中心不能比拟的。

据了解,淘宝的各种新业务划分很细,比如秒杀、竞价等业务,仅目前的业务种类就有几百个之多。并且每天还在不断推出新的业务,而每上一个新业务,不可能新增太多的服务器等系统资源。

对此,任伟巍认为,采取在原有的资源池中增加业务,这就对虚拟化管理提出了新挑战,而云数据中心的各种虚拟化技术能够帮助解决这一问题。

另外,任伟巍介绍,在云数据中心,当业务需要迁移,设备需要统一配置,故障需要及时检查和排除,流程需要跟踪时,需要通过自动化的手段来高效管理海量的设备和应用。

以腾讯网为例,一次上架就要配置上千台交换机,在人力资源有限时,为保证在短时间内完成工作,确保配置错误能恢复到原有状态,并实时地进行跟踪和审计,这些都需要通过自动化的管理技术来实现。

伴随着经济社会的不断发展,人们对于计算机和网络的要求逐步提升,进一步推动了数据信息技术的发展与进步。“物联网”、“三网融合”、“智能电网”等应用成为了现代计算机发展的前沿产物,同时,这些应用的出现对于数据管理以及系统都提出了更高的要求。

Redis保证系统数据稳定运行

用户需要用云计算处理、分析大量分布的数据,这就要求云数据管理技术能够及时、高效地对海量数据进行管理和分析。云计算处理数据的不确定性、海量性使得有效数据管理技术开发刻不容缓。

但是,传统的关系数据库SQL在超大规模和高并发的社会性软件类型的动态网站暴露了很多难以克服的问题,如对数据库高并发的读写需求;对海量数据的该效率存储和访问的需求;对数据库的高可扩展性和高可用性需求。

在此背景之下,可以说市场需求打破了云数据技术壁垒。Redis作为一个高性能的key-value数据库,以其高效的读写速度,丰富的数据类型,缓存的安全性,在提高网络数据库的冗余、保证系统数据的稳定运行、提高信息快速采集和缩短系统响应时间具有重要意义。

据了解,为应对海量数据的读写与存储,国内一些主流云服务数据库正纷纷涉足开发Redis云服务数据库。

例如,新浪微博用户频繁发海量信息,每天以百万级、千万级的数据量增加。如果以增加服务器来解决新增数据,意味着昂贵的运营和维护费用。而采用Redis技术来存储用户关系和计数,便可以解决新增数据而无需付出昂贵代价。

阿里云自2015年7月份就已经正式开放Redis商用,并主要采用了较为稳定的Redis2.8.19版本,同时进行了内核优化和命令阉割来保证业务系统的安全性。整个系统采用了Master-Slave主从结构,支持AOF持久化,支持弹性扩容,自动切换,可视化资源管理,集群和Sharding等功能。

助力管理模式创新

然而,还需关注的是,在互联网+的浪潮以及“国家大数据战略”趋势下,传统的金融产业与制造业都在转型中面临挑战,云端数据技术在改进升级的同时,还需迎合企业自身发展特性,助力传统企业,加速落地大数据技术。

金融与制造业的一个特点是数据体量庞大,且基础设施建设比较庞杂。一方面,电力和冷却等方面的高投入无法满足新一代高密度服务器和存储设备的需要;另一方面,IT基础设施的容量增长受到场地、空间的严重制约。

对于企业而言,任伟巍认为:“如何让数据中心变得更加灵活,同时降低能耗与运营成本,已经变成了发展过程中面临的重大难题。”

阿里云数据库NoSQL产品总负责人王义成向《中国产经新闻》记者表示,根据各个行业的特性,贴合每个行业对于数据库的需求,是定制数据库功能的依据。

本文转自d1net(转载)