文件系统和OpenStack对象存储有何不同
发布网友
发布时间:2022-04-23 14:36
我来回答
共2个回答
热心网友
时间:2022-04-13 22:19
虽然HDFS与Openstack对象存储(Swift)之间有着一些相似之处,但是这两种系统的总体设计却大不一样。
1. HDFS使用了*系统来维护文件元数据(Namenode,名称节点),而在Swift中,元数据呈分布式,跨集群复制。使用一种*元数据系统对HDFS来说无异于单一故障点,因而扩展到规模非常大的环境显得更困难。
2. Swift在设计时考虑到了多租户架构,而HDFS没有多租户架构这个概念。
3. HDFS针对更庞大的文件作了优化(这是处理数据时通常会出现的情况),Swift被设计成了可以存储任何大小的文件。
4. 在HDFS中,文件写入一次,而且每次只能有一个文件写入;而在Swift中,文件可以写入多次;在并发操作环境下,以最近一次操作为准。
5. HDFS用Java来编写,而Swift用Python来编写。
另外,HDFS被设计成了可以存储数量中等的大文件,以支持数据处理,而Swift被设计成了一种比较通用的存储解决方案,能够可靠地存储数量非常多的大小不一的文件。
排名第二的答案来自Joshua McKenty,他是美国宇航局Nebula云计算项目的首席架构师,是OpenStack Nova软件的早期开发者之一,目前是OpenStack项目监管委员会的成员,还是Piston.cc这家基于OpenStack的公司的创始人。
Chuck刚才详细介绍了两者的技术差异,但是没有讨论两者可想而知的融合,OpenStack设计峰会上抛出了融合这个话题。简而言之,HDFS被设计成可以使用Hadoop,跨存储环境里面的对象实现MapRece处理。对于许多OpenStack公司(包括我自己的公司)来说,支持Swift里面的处理是路线图上面的一个目标,不过不是每个人都认为MapRece是解决之道。
我们已讨论过为HDFS编写包装器,这将支持OpenStack内部存储应用编程接口(API),并且让用户可以针对该数据来执行Hadoop查询。还有一个办法就是在Swift里面使用HDFS。但是这些方法似乎没有一个是理想的。
OpenStack社区方面也在开展研究开发方面的一些工作,认真研究其他替代性的MapRece框架(Riak和CouchDB等)。
最后,现在有别的一些存储项目,目前“隶属于”OpenStack社区(SheepDog和HC2)。充分利用数据局部性,并且让对象存储变得“更智能”,这是预计会取得进步的一个领域。
热心网友
时间:2022-04-13 23:37
集群NAS用硬盘都Serial Attached SCSI SAS,SATASATA廉价数据非结构用NAS,结构化数据用象存储吧看看块访问、象访问文件访问吧
文件系统和OpenStack对象存储有何不同
虽然HDFS与Openstack对象存储(Swift)之间有着一些相似之处,但是这两种系统的总体设计却大不一样。1. HDFS使用了中央系统来维护文件元数据(Namenode,名称节点),而在Swift中,元数据呈分布式,跨集群复制。使用一种中央元数据系统对HDFS来说无异于单一故障点,因而扩展到规模非常大的环境显得更困难。...
Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同
1.HDFS使用集中式单一节点架构(NameNode)来维护文件系统元数据,而在Swift中,元数据分布在整个集群中并拥有多个副本。注意:集中式元数据存储使HDFS存在性能、单点故障和扩展性问题,因此规模越大就性能越低,就越容易不可用,就越难扩展甚至不能扩展,所幸的是HDFS2使用NameNode HA和HDFS Federation解决...
对象存储、文件存储和块存储有什么区别?
1.对象存储(Object Storage):对象存储将数据存储在对象中,每个对象包含数据和元数据。对象存储具有很高的可扩展性和可用性,因为数据被复制到多个节点上并存储在不同的地理位置以实现容错和负载均衡。常见的对象存储系统有Amazon S3、Google Cloud Storage和OpenStack Swift等。
块存储、文件存储、对象存储这三者的本质差别是什么?
)接着块存储会采用映射的方式将这几个逻辑盘映射给主机,主机上面的操作系统会识别到有5块硬盘,但是操作系统是区分不出到底是逻辑还是物理的,它一概就认为只是5块裸的物理硬盘而已,跟直接拿一块物理硬盘挂载到操作系统没有区别的,至少操作系统感知上没有区别。此种方式下,操作系统还需要对挂载的裸...
块存储、文件存储、对象存储这三者的本质差别是什么?
特点不同:对象存储的特点是具备块存储的高速以及文件存储的共享等特性,文件存储的特点是一个大文件夹,大家都可以获取文件。块存储的特点是分区、格式化后,可以使用,与平常主机内置硬盘的方式完全无异。块存储注意事项 要运行任何新的RAID+功能,阵列控制器都需要一个元数据基础,看起来很像文件系统那样...
openstack中swift和cinder中的区别
swift是object storage(对象存储),将object(可以理解为文件)存储到bucket(可以理解为文件夹)里,你可以用swift创建container,然后上传文件,例如视频,照片,这些文件会被replication到不同服务器上以保证可靠性,swift可以不依靠虚拟机工作。所谓的云存储,OpenStack就是用swift实现的,类似于Amazon AWS...
openstack三大组件
OpenStack是一个开源的云计算平台,由三个核心组件组成:1. Nova:这是OpenStack的核心组件,用于管理虚拟机实例。它提供了创建、启动、停止、更新和删除虚拟机实例的功能。Nova还支持多种虚拟化技术,如XenServer、Hyper-V和KVM等。2. Swift:Swift是一个对象存储系统,可以存储任意类型的数据,包括文件...
块储存,对象存储,文件存储的区别和联系
另一方面,对象存储软件有专门的文件系统,所以OSD对外又相当于文件服务器,那么就不存在文件共享方面的困难了,也解决了文件共享方面的问题。因此对象存储的出现,很好的结合了块存储与文件存储的优点。为什么还要使用块存储和文件存储:1.有一类应用是需要存储直接裸盘映射的,比如数据库。因为数据库需要存储...
OpenStack的三大核心组件分别是什么?
对象存储)则提供了一个高度可扩展的、冗余的、分布式的对象存储服务,用于存储大量的非结构化数据,如照片、视频和文档等。这三大组件共同构成了OpenStack的基础架构,使得OpenStack能够提供一个全面、灵活且可扩展的云计算平台。通过这些组件,用户可以按需获取计算、网络和存储资源,以满足他们的业务需求。
对象存储、文件存储和块存储的区别是什么?
1、速度不同 块存储:低延迟(10ms),热点突出;文件存储:不同技术各有不同;对象存储:100ms-1s,冷数据;2、可分步性不同 块存储:异地不现实;文件存储:可分布式,但有瓶颈;对象存储:分步并发能力高;3、文件大小不同 块存储:大小都可以,热点突出;文件存储:适合大文件;对象存储:适合...