更新时间:2022-05-04 02:40:52
掌握和处理大量数据对于IT部门来说是一个挑战。以下是人工智能(AI)和机器学习如何帮助人们分类、组织和汇总大量信息的方法。
根据三星公司的调查,2016年全球互联网流量超过了1ZB,即10亿兆字节。这个数字是巨大的,但这个数据量与全球各企业正在存储的全部数据相比还相差甚远。
更重要的是,在大多数公司中,数据处在“管理之下”的这个用词有些不当。
数据管理挑战的关键领域是:
IT部门在这些领域进行艰苦努力的原因如下:
现在的问题是:机器学习、人工智能(AI)和分析学是否能在数据管理方面提供帮助,特别是对于大量非结构化数据?
以下是机器学习,人工智能和分析可以在以下几个方面提供帮助:
(1) 暗数据排序
每个企业系统和每个业务部门都有一些积累的数据,但是人们对此一无所知。通过使用机器学习并结合其功能与算法,可以解决如何排序和处理存储在服务器上的不同类型的电子邮件,文档,图像等文件,机器学习,人工智能(AI)和分析可以对这个未发布的数据进行处理,而经验丰富,知识渊博的工作人员可以查看和回顾自动化推荐的数据分类方案,调整并执行方案。该过程的一部分还可以解决数据保留问题,其分析将产生一组可能从文件中清除数据的建议。
(2) 决定丢弃哪些数据
机器学习,分析和人工智能(AI)可以客观地识别那些很少使用或从未使用过的数据,并建议工作人员将其丢弃,但它并不具备与工作人员相同的识别能力。例如,这些进程可以选择未访问五年以上的数据或记录,表明数据可能已过时。这样可以节省员工的时间来查找这个潜在的过时数据,因为现在他们需要做的只是确定是否有任何理由保留它。
(3) 汇总数据
当分析开发人员确定需要聚合查询的数据类型时,他们常常为应用程序生成一个存储库,然后从不同的源中提取各种类型的数据,以形成一个分析数据池。要做到这一点,他们必须开发集成方法来访问不同的数据源。机器学习可以通过自动开发数据源和应用程序的数据存储库之间的“映射”,使这种人工过程更加高效。这减少了集成和聚合时间。
(4) 组织数据存储以获得***访问
在过去的五年中,由于低成本固态存储的发展,数据存储供应商已经在自动化存储管理方面取得了重大进展。这些技术进步使IT部门能够使用“智能”存储引擎,使用机器学习来查看最常使用哪些类型的数据,哪些数据很少使用或从不使用。根据插入到机器算法中的业务规则,自动化能够以快速存储或慢速存储来自动存储数据。自动化可以让存储管理员不必人工解决存储优化问题。
数据管理是一个主要的IT挑战,在大多数组织中并没有很好的解决方案,这是因为随着数据的不断流入,数据管理将会变得更糟。
首席信息官,数据架构师,以及存储管理者需要向企业高管强调这个问题,但数据管理项目并不容易通过花费费用来解决。
然而,IT经理通过指出数据管理的分析时间,以及可以降低人力和存储成本的价值,至少在与企业管理者讨论如何提高战略敏捷性并降低运营成本的同时,这将成为一个至关重要的切入点。
本文作者:佚名
来源:51CTO