大型企业SDS对象存储能否替代集中式NAS存储?探讨非结构化数据存储的未来趋势

2024-12-27
来源:网络整理

在大型企业中,SDS对象存储可以替代集中式NAS存储吗?

在传统大型企业中,集中式NAS存储设备被广泛使用。传统集中式NAS存储设备成本低廉、操作方便,被大多数企业认可为FC-SAN存储设备的补充。

SDS 对象存储在存储大量非结构化数据方面与 NAS 存储有重叠。那么从企业非结构化数据的发展来看,长远来看是否有必要转型使用SDS对象存储呢?如果转型为SDS对象存储,会对企业信息化发展带来什么好处?

(@cucu黑龙江省电力系统工程师)

@某保险系统工程师:

传统NAS存储在传统企业中仍然占有很大的地位。然而,由于互联网大数据的兴起,非结构化数据越来越占据主导地位。因此,传统NAS在扩展性和运维便利性方面越来越受欢迎。就用户的易用性而言,它无法与对象存储相比。

云对象存储的实施给企业现有的集中式SAN和NAS存储带来了更多活力。它是对传统存储架构的有效补充,增强了企业存储系统的灵活性,以应对日益变化的前端业务需求。

由于云对象存储产品普遍采用商用x86硬件的分布式架构,与传统的集中式存储解决方案相比,这种新平台可以拥有更灵活的水平在线扩展能力,从而可以轻松应对业务规模、后端存储压力数据量突然增加造成的。

此外,云对象存储平台在解决企业海量非结构化数据存储需求的同时,通过其分布式架构天然的容灾特性,可以轻松构建跨多站点的容灾解决方案。

此外,凭借云对象存储对多版本文件的支持以及比传统存储更高的可用性、可靠性和可维护性指标,云对象存储平台也成为免备份的数据保护平台,可以进一步降低成本。企业 IT 系统的 TCO。

@中国金融电子公司技术总监张鹏:

基于云原生应用涉及到的持久化存储,对象存储比NAS更方便。

我个人认为没有必要更换传统架构,也没有必要让传统应用去适配使用对象存储。

NAS生态系统已经比较完善。随着当前云原生架构的兴起,传统NAS厂商可能需要考虑适应新技术。

数据湖是一种在系统或存储库中以自然格式存储数据的方法。它有助于以各种模式和结构化形式配置数据,通常作为对象块或文件。随着企业对数据湖需求的增加,数据湖的重要性也日益增强。数据湖中的数据是多元化的,不仅是大数据,还包括在管理原始数据的同时重组的数据。数据湖中的数据量日益增长,已达到PB级别。对象存储具有成本相对较低、方便云或云间移动、支持广泛的数据类型、弹性伸缩使用空间等优点,非常适合数据湖应用。

现代企业应用的转型必须更多地利用新技术,把握未来技术的发展脉络,并建议及时调整策略。对象存储的发展势头非常强劲,业务转型需要技术转型作为支撑。我个人认为对象存储会不断增长,应用范围会越来越广。

@信息技术经理:

我认为在目前大型企业的应用场景中,SDS还不能完全取代NAS。

组网大型方案企业有哪些_大型企业网络组网方案_大型企业组网方案

1、运行维护成本低。 NAS存储本身由机头和扩展柜组成。集成度高,管理员无需高级存储知识即可操作并进行一般运维;

2、非核心场景应用,如文档归档、数据非及时存储等;

3、NAS易于与现有应用集成,适合小型应用环境快速部署;

NAS本身与SDS有一些功能重叠,但在各种企业应用场景中仍然具有较高的渗透率。

@某证券技术经理:

NAS 和对象存储

我在网上找到了一张图片,相当形象地解释了NAS和对象存储的区别。

NAS维护着庞大的目录树,查询起来非常麻烦,尤其是在云计算和大数据快速发展的今天,动不动就会产生数百万、数千万甚至上亿的文件/对象。在这种情况下,目录树会给存储带来很大的开销和扩展问题,从而成为瓶颈。

对象存储采用扁平化的数据结构,取代了传统NAS的目录树结构,其次是简单的数据读写接口,提高用户访问和数据读写的效率。简单来说,类似于查字典。如果你知道拼音,你就可以知道它在哪一页。数据的查询层级只有非常简单的两级(目录、页面)关系。 NAS 目录树不同。 NAS是多级关系,很简单。换句话说就是主干、分支、子树分支、叶子等层次关系,查询一条数据是非常麻烦的。因此,扁平化的数据结构能够更好地满足数据管理的需求。

对象存储未来会成为主流不仅是因为它本身的设计,还有另一个原因。根据《对象存储的关键能力》报告,“非结构化数据呈爆炸式增长,因此需要低成本、可扩展、自愈、多租户的平台来存储PB级数据。”可以看到几个关键词:低成本、可扩展、自我修复、多租户。正是这些原因推动了对象存储在企业中的推广。应用程序在.

那么NAS文件存储就没用了吗?

答案是:适合自己的就是最好的,最适合自己场景的存储就是好存储。如果你从事互联网应用、流媒体、CDN、海量数据,那么对象存储最适合;如果你想提供文件共享服务,那么NAS就适合。尤其是现在使用NAS的门槛越来越低。许多家用NAS也正在占领家庭存储市场,用于日常文件存储需求(视频、照片、文档等)。光盘、移动硬盘等正在逐渐减少市场。未来,家庭内部网络,很可能单个NAS就能处理所有存储需求。

因此,本文并不是说文件存储没有用处,而是说对象存储替代了一些原本不适合文件存储的业务场景。

但我们也可以看到,互联网时代的对象存储充斥着非结构化数据。随着“互联网+”的政策号召,互联网技术正在渗透到各行各业,数据量也不断增长。未来存储将日益成为一种趋势,并占据越来越大的市场份额。

@系统工程师:

IT的发展历来以最适应市场需求的为主,NAS在特定的环境下得到了快速的发展。低廉的价格和简单的操作使其占据了很大的市场。但现在不仅硬件、存储、网络的成本在下降,人们对存储容量、速度、管理也提出了更高的要求。在这样的环境下,对于大多数企业来说,SDS更有优势来迎合市场。或许你更愿意用金钱来换取高效稳定的业务运营。

因此,它最终能否取代NAS,取决于市场上的用户是否根本没有NAS的需求。一方面,在未来的发展中,将会有更快、更大、更便宜的技术供人们选择。

大型企业组网方案_大型企业网络组网方案_组网大型方案企业有哪些

目前来看。我认为NAS会逐渐边缘化,成为中小企业、边缘企业的选择。并且主营业务随着业务重要性的增加而增加。人们对于存储的要求也会越来越高。

@李京XS​​KY软件架构设计师:

如今,传统企业的IT部门正面临着互联网企业所遇到的NAS无法解决的存储问题,主要体现在以下几个方面:NAS存储采用古老的文件系统技术,单个文件系统的容量有限。 。当超出容量时,IT运维就会变得困难。将带来巨大的挑战; NAS存储的目录文件系统采用B+树进行文件索引。当文件数量过多时,访问性能会受到严重影响; NAS设备维护后,由于非结构化数据规模较大,更换时会遇到困难。需要花费大量时间,数据迁移有风险等等。

对象存储一般采用基于通用x86服务器+分布式对象存储软件的技术架构。对象存储软件通过以太网连接多台服务器,构建统一的存储资源池,可以动态添加或删除服务器,实现容量扩展。调整,数据可以自动平衡,并采用副本和擦除机制(类似/6)来实现数据的高可靠性和高可用性。

传统NAS过保后,过保设备上的数据需要手动迁移到新购买的NAS上。对于文件数量较多的用户来说,需要1到2个月的时间,而且运维人力非常昂贵。采用如下图所示的分布式架构,旧设备可以动态移除,无需人工干预,业务不会受到影响。

海量小文件的存储是工业界和学术界公认的问题。解决该问题的关键技术点是优化元数据管理。由于传统NAS采用B+树进行文件检索,当文件数量比较少时,B+树基本可以被缓存,性能还是不错的。但随着文件数量的增加,B+树占用空间过多,无法缓存,就会涉及到机械磁盘操作,导致性能明显下降。如果层次深的话,光靠索引访问就会产生多次磁盘随机访问操作,情况严重。影响文件访问性能。

对象存储一般采用分布式哈希搜索算法(DHT)。技术原理:在建立集群时,对象存储将整个存储空间划分为一个哈希环,每个磁盘负责哈希环中的部分哈希分区。贮存。当需要访问文件时,系统会计算“目录/桶名+文件名”的哈希值,并查询DHT表来定位文件访问的具体磁盘。由于哈希环的数量不会随着文件数量的增加而增加,因此搜索性能不会受到文件数量的影响。

传统NAS存储采用文件系统技术,单个文件系统的容量一般在数十TB级别。由于IT管理人员在业务上线前无法对标准化容量和目录需求进行准确评估,因此对于一些产生大量数据的业务系统,需要挂载多个文件系统目录,这会带来很多无价值的影响。增加了运维工作。对象存储使用平面文件名独特的定位方法。单个目录或存储空间可达数十甚至数百PB级别,无需挂载目录或调整业务系统,即可满足业务系统整个生命周期的存储容量需求。让IT人员更加关注业务价值本身。

高效的业务系统容灾解决方案是企业IT部门最关注的焦点之一。对象存储接口的技术改进,使其在支持多数据中心容灾方面更加完善。大多数对象存储供应商都支持两个或多个多数据中心灾难恢复。传统NAS往往是主备模式的容灾模式,而对象存储一般支持-模式容灾,可以实现本地数据中心应用的就近访问。这对于采用负载均衡模式数据中心的企业来说非常有价值,可以提高数据中心各业务系统的访问性能。

随着企业互联网业务的发展,越来越多的应用运行在智能终端和公有云平台上。但考虑到安全性和保密性,数据仍然存储在企业内部。传统NAS的CIFS/NFS协议只能由企业内网访问,无法直接提供给外部网络。对象存储最早应用于互联网和公有云场景,因此对象存储的访问协议(S3、)基于HTTP标准协议,可以支持内网和外网应用系统对存储的自由访问。安全方面,数据采用AES加密传输,保证传输链路的安全。 S3协议还定义了完整的多租户访问、文件粒度的授权访问等多种安全技术,保证了对外网络访问开放的数据的安全性。

这些都是对象的好处,但是文件的存储量非常大,涉及的应用类型也很多。从NAS向对象过渡是大势所趋,但应用接口改造支持对象协议还有一个过渡期。

@杨文云GBS数据库管理员:

软件定义存储(SDS)的特点与传统使用的网络附加存储(NAS)和存储区域网络(SAN)完全不同。

与以硬件为中心的NAS和SAN相反,SDS利用存储虚拟化,通过从物理存储设备抽象出来的软件层来控制存储。

这种方法支持使用存储池和自动化存储管理。 SDS 软件可以管理重复数据删除、复制、精简配置、快照和备份的策略。为什么选择软件定义存储? SDS 通常比传统 NAS 和 SAN 存储方法更加灵活且更具成本效益。当然,情况并非总是如此,但一般来说,SDS 比基于专有硬件的存储阵列能够更快且更具成本效益地实现存储扩展。 SDS 能够使用基于 X86 的标准存储硬件。此外,更改 SDS 配置通常比在专用硬件上运行的存储更简单、更快。

NAS(网络附加存储)方式全面改进了之前低效的DAS存储方式。它采用独立于服务器、专为网络数据存储而开发的文件服务器,将存储的设备连接起来,形成网络。这样,数据存储不再依附于服务器,而是作为独立的网络节点存在于网络中,并可供所有网络用户共享。同时,NAS存储真正做到了即插即用,部署也相对灵活。再加上管理成本低,是目前企业最青睐的选择。但它也存在存储性能低、可靠性低等缺点。

DAS的存储方式和我们普通PC的存储架构是一样的。外部存储设备直接连接到服务器的内部总线。数据存储设备是整个服务器结构的一部分。 DAS存储方式主要适用于小型网络和地理位置。位置分布在网络和特殊服务器上。 DAS 已经存在很长时间了,在许多情况下仍然是一个不错的存储选择。由于这种存储方式在磁盘系统和服务器之间具有快速的传输速率,尽管一些新的SAN设备已经开始在某些部门取代DAS,但在需要快速磁盘访问的云计算环境中,DAS是一个理想的选择。

分享