近日,在日本东京举行的interop展会上,经过行业专家和顶尖学者多轮严格评审,华为新一代oceanstor存储dorado系列,凭借“具有压倒性的性能和稳定的极低时延,支持通过ai芯片对i/o处理进行自我优化。”一举夺得interop tokyo 2020 best of show award 金奖。这也是继2017年上一代oceanstor存储dorado系列获奖后,再次获此殊荣。
“这是业界首款将ai模块应用在存储里的产品”评审团的一位专家说道,“凭借这款内置在存储里的ai插件,oceanstor存储dorado系列能够实时智能地分析工作负载,不断优化缓存预取算法,提高读取命中率,并且随着时间的推移,系统性能提高20%。”
华为率先将ai能力内置于存储系统,这项创新获得了interop 专家评审团的一致认可。这背后是华为研发团队坚持不懈的努力。接下来,我们就让华为oceanstor存储dorado系列产品首席架构师张鹏,来为大家揭秘首款内置ai模块的存储背后的故事。
高端存储产品由于追求极致的可靠性,所以看似固执守旧,其实却蕴含新生机。人工智能技术的崛起,赋予了高端存储新的生机。
“要让一个存在几十年历史的产品焕发活力,必须思考加入一些创新性的技术。”张鹏如是说。为此,华为在oceanstor 存储dorado系列中加入了大量的智能技术,“华为在ai算法方面投入很大。”比如,采用 ai模块基于机器学习框架,主动分析并掌握多个应用模型的io规律,让读缓存命中率持续提升。
“oceanstor存储dorado系列这种全互联、全共享的架构,非常适合采用机器学习这些人工智能技术,对io进行全局的学习和分析,实现存储操作更加智能化,从而提升系统的性能和效率。”张鹏补充道。
内置智能ai模块,学习io规律,优化预取算法,提升系统性能
我们都知道读cache是存储系统常用的加速手段,就是把数据预先从硬盘中取出来,放在一个比硬盘更快的地方,通常用的介质是ram。针对读数据的任务,cpu会先去读cache里面查找,找到了就反馈给前端接口卡,由前端接口卡传送给用户,如在cache中未找到才会去硬盘里面找。很明显,最理想的情况就是所有的读数据请求都能在读cache里面找到数据,这样是性能最高的。但是数据是杂乱的,任务是随机的,怎么知道应该提前取哪些数据放在读cache里面呢?
为了解决这个难题,华为oceanstor存储dorado系列首创引入人工智能模块作为存储系统插件,提升预测准确率。
图一:ai模块 智能算法
那么内置的ai模块是怎么帮助提升预测准确率的呢?我们知道,存储系统收到的数据是一份一份的,每一份我们叫做一个i/o。不同的业务,发送过来的i/o是千差万别的。但是i/o不仅存在时空关联,而且也存在语义关联。时间关联就像是8点后面是9点,空间关联就像是中国的北面是俄罗斯和蒙古。语义关联就像我们说“北极熊是世界上…”,后面大概率是想说“体型最大的熊”。i/o也是这样,只不过我们需要把这些关联挖掘出来。知道了这些关联,自然就能提高预取的准确率了。
oceanstor存储dorado系列中的ai模块集成了自调优的深度学习算法,可以对上层业务的全量i/o数据从时空关联和语义关联上进行快速分析和深度挖掘。当i/o过来后,它会立刻判断出即将访问的数据,并告诉cpu赶快取到读cache中。同时,它还在后台不断对已有数据进行二次学习,进一步提升准确率。最后是通过对预取命中率、浪费率、时延等关键性能指标进行评估,然后自主调整。
经过华为性能实测,oceanstor存储dorado系列在同样带宽的前端卡(16g fc),同样的测试模型(随机读,64k以内i/o数据块大小),读cache命中率从19%提升到69%。
总结一下:
oceanstor存储dorado系列中内置的ai模块,就像汽车的智能变速箱,它通过持续的自我学习,逐步提升,让存储系统加速,越用越好用。
回顾过去两年多的种种,张鹏感慨道:“oceanstor存储dorado系列实现了很多开创性的东西,这在业界非常难得,也是我倍感欣慰的地方。”
ai智能赋予了高端存储新的生机,这正是interop 评委团专家看到华为率先将ai模块植入存储系统中兴奋的原因:oceanstor存储dorado系列,为业界树立了智能创新的标杆!