英特尔资深技术专家陈小波:探讨内存技术发展与傲腾的应用场景

2024-08-25
来源:网络整理

内存技术在不断发展,应用追求更大的容量和带宽,数据在增长,内存也要跟上增长的步伐。近日,英特尔高级技术专家陈晓波在2019中国数据与存储峰会上,就“英特尔傲腾数据中心持久内存”主题展开专题讨论。内存技术目前有哪些扩展趋势?内存随着数据的激增而快速增长。傲腾如何突破内存瓶颈?傲腾技术的应用场景有哪些?

陈小波:2012年我去,是我第一次来这个论坛。那时候大部分厂商都是传统存储厂商。现在往外面看,大部分厂商都变成分布式存储厂商了。最让我震惊的两件事是2010年左右,那时候我还在EMC。2010年软件定义存储和分布式存储最早出来,2012年微软出来,2015年VSAN超融合也出来了。所有这些软件形态都依赖一个基本的硬件形态,就是SSD闪存。传统介质存储设计、软硬件搭配,基本上已经到了相对的极限或者极致,很难有人在这方面超越。为什么现在有这么多分布式存储、软件定义存储?就是因为闪存,给了软件更多的想象空间。相比传统机械硬盘,闪存提供的是性能,特别是几百、几千倍的性能。应用对存储的需求,第一个瓶颈点一般就是IOPS。解决这个问题可以谈谈CPU,内存等新的瓶颈点。

内存技术的扩展趋势

闪存以及以闪存为基础发展起来的各种新硬件技术,就好比是内功,软件只是一门技术,技术再好,没有内功,也不过是三岁小孩打太极拳而已。内功好了,剩下的问题就是如何用好的软件把内功发挥出来,提供给上面的应用。

今天讲一下的持久内存。大家可以看到,刚才讲了传统机械硬盘和磁带的大容量,现在机械硬盘的最小容量是10TB,磁带的容量更大,但是速度更慢。一块NVME盘可以提供,比如的55万次4KB读、55万次写的性能,内存肯定比NVME盘快3个数量级,延迟更低,吞吐量更高。这两者之间,传统内存DD24,主屏越来越高,去年我们还在用2666的内存,今年2999不够用了,要用3200级别的内存。主屏越高,吞吐量性能越快,这个是在不断提升的。这两者之间有没有一个可以实现更多的持久性,让更多的数据可以加载到内存中?传统内存的增长速度也非常快,但是一切物理的东西在传统架构下的增长都有一定的极限,无论是性能的极限,还是容量的极限。

大概是1993年左右,我买了第一台386的时候,第一次配了4兆内存,当时觉得好多了。快毕业的时候,1997年把主板换成了486,内存也变成了16兆,当时觉得太大了,硬盘都快2GB了,觉得不需要大一点的,能存很多东西了,现在只能当古董放在书柜里了。内存和硬盘容量,人们对美好生活的追求总是无止境的,我们需要存很多东西,包括视频、音频,很多过去不存的东西,现在也会存了。比如工厂里的一条生产线,以前是靠工人或者比较有经验的工程师来判断这批产品有没有问题,现在直接装上高清摄像头,就可以拍照、录像了。根据拍到的视频文件或者图片,可以用AI计算出这批生产可能存在什么问题,能给制造业或者工厂的业主带来很大的好处,提高交期。问题是拍的照片、视频,以前从来没有存储过,但是在新计算的引领下,计算取得了突破,带动存储、网络也纷纷跟进。这些以前没有存储的数据,需要存储,存储的时候还是海量的数据,不是我们以前讲的GB、TB,而是EB级的。比如国内某汽车厂商计划发展自动驾驶,首先讲的是50PB,如果放在10KB的SATA盘上存储,当时按机械硬盘来算,是海量的,增长非常快,这是它的黄金时代,几年翻一番。大概两年前最常用的内存大概是8G左右,现在都是16G了,而今年开始会逐渐进入32G,内存容量越来越大既是好事也是麻烦事。

第二,从性能角度来说,之前很多应用都认为需要更多的内存,但为了充分发挥一个CPU,或者取得高分,大家可能认为内存只是很小一块内存而已。内存技术在不断发展,应用追求更大的容量和带宽,未来随着16G、32G的不断发展,要充分发挥一个CPU,保证容量已经很难了。需要更新的技术来解决这些问题,保证内存能跟上数据的增长。

突破内存瓶颈

过去倍增速度没有这么快,但数据增长很快,内存必须增长,很多时候这就是核心瓶颈,怎么办?英特尔的技术提供了

这个概念从前年开始就挺火的,为了满足更大容量的需求,顺势推出了持久内存。第一个容量就更大了,内存条大概16G、32G,并不是32G比16G大一倍,稍微低一点,就是贵一点,64G也是一样。跟它的生产工艺有关系,在生产工艺还没有出来的时候,最合适的,或者说市场上最主流的,肯定是在它的生产线上,它的工艺决定了这是性价比最好的一款产品。如果要追求更大容量,那没办法,只能多花钱,而不是按照容量来算。但是它和传统技术不同,和传统的3D NAND不同,它的容量大,从配置上来说,容量不再是问题,而且它的性能高,可靠性高,可以插在内存条上,可以当内存,也可以当磁盘,或者磁盘型的内存。

所谓内存模式,插在内存插槽上就可以当内存用,而且性能还不错。首先还是要插在传统的DD24上,不是原装的就不会插。插上之后,DD24在操作系统层面是看不到内存容量的。大家把这个东西当内存用,插到服务器里,系统看到了,直接访问使用,没有任何问题。

第二,直接应用访问模式才是业界追求的真正的发展方向和目标。在很多应用中,如果应用持久化在内存中,可以做到一些新数据的安全级别和保障,保证数据还在,断电也不怕,下次开机的时候数据还在,加载速度非常快。如果内存到了1.5TB这个级别,数据传输是一个非常繁忙的过程,追求一定的性能,它插在内存中,操作系统可以把它看成是一个磁盘,但是它无法访问它,应用可以非常精准的定位。这时候你看到两块内存,一块是DD24内存,比如说有192G,是比较快的内存。另一块是1.5T的数据中心持久内存,就是4块内存,这时候你就可以决定哪些数据放在DD24,哪些数据放在。它可以通过PMDK等API由应用程序进行控制和定义。

陈小波抖音_陈小波青瓷价格_陈小波摄影讲座视频

的模块体系完整:理论上控制器、芯片、信号校验都存在,最重要的是直接插在内存条上。的盘是同一种介质,同一种介质放在不同的数据总线上,CPU访问时间不一样。接口类型有时候也是控制性能的因素之一。NVME的协议和接口打破了SATA的限制,接口和协议基于内存通道,不需要通过PCIe通道传输,这使得它的性能非常出色。

只要记住两点:它是内存,可以当做内存使用。同时,它能做的事情比内存更多。它可以当做磁盘使用,操作系统可以把它看做磁盘,但应用程序部分把它当做内存。

持久性对硬件的影响

CPU起缓冲的作用。内存本质上是磁盘上的海量数据和CPU计算之间的一个中介和桥梁,它是一个缓存,是数据的临时存储空间,内存不够了怎么办?直接刷回硬盘就行了。有了持久内存,CPU可以通过PMDK API识别很多数据,判断是易失性DD24还是非易失性DD24。过去20年磁盘的发展,容量越来越大,磁密度越来越高,单位时间旋转的磁密度越来越大,磁盘顺序读取的性能会提高,但是性能永远提高不了。大概是2005年左右,它转了之后就到了物理极限,它的角速度一样,但是线速度不一样,转的时候一个磁盘最外层延伸的线速度已经接近物理极限了,转不了了。所以转出来之后大概10年就没了,未来还会继续发展。我相信以后还会有16TB、20TB、40TB等等,这时候磁盘顺序读的性能就提升了,7200转就决定了它的性能一直在左右,因为前面加了一个64MB的缓存,存储厂商把这个缓存给屏蔽了。加了持久​​化内存之后,需要对传统的文件系统进行改造,工作量也非常大。改造过程中,跳出传统的限制,用持久化来保证数据访问更快更方便,这是持久化对硬件的影响。对软件也有影响,如何更好地调动数据持久化、怕丢失的理念。

内存级别的媒体寿命

大家最关心的就是SSD有个可插拔存储寿命的概念,这个不用管,这个特别好,做成持久内存就更好了。我讲了它和传统SSD技术的一个小区别,传统SSD是采用配置来存储数据的,改一个字节就得重新插上去,要改A就改A,要改B就改B,不会大范围影响它的寿命。有些盘很贵,为什么贵呢?除了它的性能之外,寿命也是贵的。首先大家舍不得换盘,必须承认商用硬件是一定会坏的,硬件厂商想尽办法保证不坏,或者告诉用户我有不同档次的产品,你愿意花多少钱买哪个档次的。软件厂商采用各种分布式、各种技术来保证当盘坏了的时候,不会影响系统,能够尽快恢复。对于SSD这样的介质,也有类似的指标。拿个硬盘,插上,插上就满功率写入,多久会坏?这就是我们所谓的指标,24小时不间断写入,365天不间断写入。 保证五年质保,技术上讲,上面的预留空间可以保证你连续写入不损坏,如果损坏了, 会负责。

说完硬件有多好,红花需要绿叶来搭配,就是绿叶,绿叶需要搭配大红花。这么快的硬件光说快是没有用的,用户看在我的应用里,在我的使用里,在其他情况下,它比以前快多少,你的性价比符合我的需求吗?因为快,所以大家想到的都是围绕数据库领域,每个人的追求不一样,我们在做很多国内外软件的适配和应用,性能已经有很大提升。

其他厂商,国内的厂商生态,从基础设施的操作系统层面,各大数据库、大数据应用软件,国内的CSP,基本上各种互联网供应商,包括公有云、手机或者电脑的软件、还有OEM厂商,确保从硬件到基础件,到软件,再到主流的CSP都能提供这种接入服务。

性能的提升是巨大的。过去五六年,短视频互联网行业发展非常迅速,快手、抖音就是优秀的代表,快手用过,很多企业级用户也用过。短视频的挑战是数据量太大,数据量到一定程度,量变会引起质变,传统的架构是针对企业级设计的,无法承受海量数据的快速爆发。快手通过性能的提升,整体TCO降低了30%,因为不再需要那么多机器了。以前满足其业务,假设需要10台机器,现在用更少的机器,虽然更贵。机器的内存加了,虽然单台机器贵了,但是整体的服务器数量可以减少。腾讯云的云数据库也加了,性能提升了30%以上。

(以上内容根据演讲实录整理,如有疏漏,敬请指正。)

- - - - 结尾 - - - -

分享