揭穿四个常见的AI/ML数据存储迷思

如今,消费者和商业用户在不知不觉中与人工智能和机器学习互动。从消费者的角度来看,这涉及从流媒体上观看喜爱的节目到随时叫车的车辆服务。从商业的角度来看,组织利用人工智能和机器学习来获得更好的洞察,支持其业务目标。

AI /ML是关于模式识别的。具体来说,它是指识别和理解实时模式以改进业务流程、经营业绩和人们的生活。根据2022年市场研究洞察报告,人工智能市场预计从2022年的3874.5亿美元增长到2029年的13943亿美元。

随着越来越多的组织采用这些深度学习技术,IT团队正在探索如何最好地理解如何以具有成本效益的方式构建和管理基础设施,以支持人工智能和机器学习为组织带来的机会,并支持其能够为未来的业务增长进行扩展。一个不容小觑的要素,而应该成为重点关注的焦点,是支持这些新兴应用所需的数据存储基础设施。

以下是需要揭穿的四个常见的AI/ML存储迷思。

AI/ML应用必须由高IOPS全闪存存储支持

为了“满足需求”,加速器需要在需要时随时提供数据。因此,这强调了AI/ML存储不仅仅关乎纯速度。全闪存存储系统具有令人印象深刻的高IOPS,但也可能耗尽您的IT预算。

与大多数AI/ML应用一样,加速器也有不同级别的性能。例如,目标识别应用中每个图像的计算时间足够长,以至于混合(HDD和SSD)系统可以作为全NVMe解决方案的可比解决方案,而价格要低得多。IT团队必须注意并平衡计算加速器、AI/ML工作负载和存储方案,以找到最佳解决方案。独立的基准报告,如MLPerf,可以在这方面提供帮助。

AI/ML完全依赖于GPU

在具有极高计算能力的现代GPU出现之前,今天使用的AI/ML应用和神经网络仅仅是一个有趣的概念而已。毫无疑问,加速器芯片对于AI/ML应用至关重要,但如果没有足够的存储和网络支持,它就毫无价值。

存储和网络被认为是“满足需求”的手段,它们确保在加速器完成当前数据集之前,下一组数据始终可用。因此,组织必须像仔细考虑GPU一样慎重选择存储和网络基础设施。每个元素必须平衡,以实现最佳结果:过多的存储性能或容量将被浪费,而过少则会导致昂贵的计算芯片闲置。

AI/ML可以有效利用专用的单一用途存储系统

当将AI/ML应用于其核心数据源时,组织能够从中获得最大价值。已经有银行采用这些技术进行欺诈检测,药品制造商可以更好地分析实验或生产的数据以加快药物开发。多家领先的零售商也正在将人工智能技术应用于其技术和业务基础设施的核心,以最好地满足客户的需求。许多企业不再将AI/ML视为试验性的边缘项目,而是作为业务的一部分和未来增长的催化剂。因此,这些应用最适合在公司核心的IT基础设施中使用专用存储系统。

分层降低AI/ML存储成本

分层存储是一种常见的策略,用于最大化存储资源并降低成本。将“热门”的关键任务和频繁访问的数据存储在昂贵且快速的存储介质上(例如SSD),而将很少访问或更新的“冷藏”归档数据存储在最便宜的存储设备上(例如磁带)。

由于不存在所谓的“冷藏”AI/ML数据,这种模型无法应用于这些类型的应用程序。

由于在每次训练运行中都会使用所有的AI/ML训练数据,将部分数据分层存储到不同的存储层将导致严重的性能问题。AI/ML存储解决方案必须将所有数据视为“热数据”,确保所有数据始终可用。

值得注意的是,AI/ML工作负载的准确性与可用的训练数据量成正比。这意味着存储基础设施必须能够在训练数据量扩大时无缝扩展。与存储分层相比,规模化的线性增长是这些环境的关键存储要求。

AI/ML的创新正在推动企业进行大规模的数字转型,从而实现更好的业务成果。如果使用和管理不当,它将影响组织的几乎所有方面,并不是以积极的方式。根据2022 Gartner Hype Cycle,许多技术预计在未来两到五年内实现主流应用,例如边缘人工智能、决策智能和深度学习。在组织踏上自己的数字化之旅时,不要将基础存储基础设施作为一个次要考虑因素,因为它在实现组织最大化AI/ML应用潜力的成功中扮演着关键角色。