问答文章1 问答文章501 问答文章1001 问答文章1501 问答文章2001 问答文章2501 问答文章3001 问答文章3501 问答文章4001 问答文章4501 问答文章5001 问答文章5501 问答文章6001 问答文章6501 问答文章7001 问答文章7501 问答文章8001 问答文章8501 问答文章9001 问答文章9501
你好,欢迎来到懂视!登录注册
当前位置: 首页 - 正文

文件系统和OpenStack对象存储有何不同

发布网友 发布时间:2022-04-23 14:36

我来回答

2个回答

热心网友 时间:2022-04-13 22:19

虽然HDFS与Openstack对象存储(Swift)之间有着一些相似之处,但是这两种系统的总体设计却大不一样。
1. HDFS使用了*系统来维护文件元数据(Namenode,名称节点),而在Swift中,元数据呈分布式,跨集群复制。使用一种*元数据系统对HDFS来说无异于单一故障点,因而扩展到规模非常大的环境显得更困难。
2. Swift在设计时考虑到了多租户架构,而HDFS没有多租户架构这个概念。
3. HDFS针对更庞大的文件作了优化(这是处理数据时通常会出现的情况),Swift被设计成了可以存储任何大小的文件。
4. 在HDFS中,文件写入一次,而且每次只能有一个文件写入;而在Swift中,文件可以写入多次;在并发操作环境下,以最近一次操作为准。
5. HDFS用Java来编写,而Swift用Python来编写。
另外,HDFS被设计成了可以存储数量中等的大文件,以支持数据处理,而Swift被设计成了一种比较通用的存储解决方案,能够可靠地存储数量非常多的大小不一的文件。
排名第二的答案来自Joshua McKenty,他是美国宇航局Nebula云计算项目的首席架构师,是OpenStack Nova软件的早期开发者之一,目前是OpenStack项目监管委员会的成员,还是Piston.cc这家基于OpenStack的公司的创始人。
Chuck刚才详细介绍了两者的技术差异,但是没有讨论两者可想而知的融合,OpenStack设计峰会上抛出了融合这个话题。简而言之,HDFS被设计成可以使用Hadoop,跨存储环境里面的对象实现MapRece处理。对于许多OpenStack公司(包括我自己的公司)来说,支持Swift里面的处理是路线图上面的一个目标,不过不是每个人都认为MapRece是解决之道。
我们已讨论过为HDFS编写包装器,这将支持OpenStack内部存储应用编程接口(API),并且让用户可以针对该数据来执行Hadoop查询。还有一个办法就是在Swift里面使用HDFS。但是这些方法似乎没有一个是理想的。
OpenStack社区方面也在开展研究开发方面的一些工作,认真研究其他替代性的MapRece框架(Riak和CouchDB等)。
最后,现在有别的一些存储项目,目前“隶属于”OpenStack社区(SheepDog和HC2)。充分利用数据局部性,并且让对象存储变得“更智能”,这是预计会取得进步的一个领域。

热心网友 时间:2022-04-13 23:37

集群NAS用硬盘都Serial Attached SCSI SAS,SATASATA廉价数据非结构用NAS,结构化数据用象存储吧看看块访问、象访问文件访问吧
文件系统和OpenStack对象存储有何不同

虽然HDFS与Openstack对象存储(Swift)之间有着一些相似之处,但是这两种系统的总体设计却大不一样。1. HDFS使用了中央系统来维护文件元数据(Namenode,名称节点),而在Swift中,元数据呈分布式,跨集群复制。使用一种中央元数据系统对HDFS来说无异于单一故障点,因而扩展到规模非常大的环境显得更困难。...

Hadoop分布式文件系统HDFS和OpenStack对象存储系统Swift有何不同

1.HDFS使用集中式单一节点架构(NameNode)来维护文件系统元数据,而在Swift中,元数据分布在整个集群中并拥有多个副本。注意:集中式元数据存储使HDFS存在性能、单点故障和扩展性问题,因此规模越大就性能越低,就越容易不可用,就越难扩展甚至不能扩展,所幸的是HDFS2使用NameNode HA和HDFS Federation解决...

对象存储、文件存储和块存储有什么区别?

1.对象存储(Object Storage):对象存储将数据存储在对象中,每个对象包含数据和元数据。对象存储具有很高的可扩展性和可用性,因为数据被复制到多个节点上并存储在不同的地理位置以实现容错和负载均衡。常见的对象存储系统有Amazon S3、Google Cloud Storage和OpenStack Swift等。

块存储、文件存储、对象存储这三者的本质差别是什么?

)接着块存储会采用映射的方式将这几个逻辑盘映射给主机,主机上面的操作系统会识别到有5块硬盘,但是操作系统是区分不出到底是逻辑还是物理的,它一概就认为只是5块裸的物理硬盘而已,跟直接拿一块物理硬盘挂载到操作系统没有区别的,至少操作系统感知上没有区别。此种方式下,操作系统还需要对挂载的裸...

块存储、文件存储、对象存储这三者的本质差别是什么?

特点不同:对象存储的特点是具备块存储的高速以及文件存储的共享等特性,文件存储的特点是一个大文件夹,大家都可以获取文件。块存储的特点是分区、格式化后,可以使用,与平常主机内置硬盘的方式完全无异。块存储注意事项 要运行任何新的RAID+功能,阵列控制器都需要一个元数据基础,看起来很像文件系统那样...

openstack中swift和cinder中的区别

swift是object storage(对象存储),将object(可以理解为文件)存储到bucket(可以理解为文件夹)里,你可以用swift创建container,然后上传文件,例如视频,照片,这些文件会被replication到不同服务器上以保证可靠性,swift可以不依靠虚拟机工作。所谓的云存储,OpenStack就是用swift实现的,类似于Amazon AWS...

openstack三大组件

OpenStack是一个开源的云计算平台,由三个核心组件组成:1. Nova:这是OpenStack的核心组件,用于管理虚拟机实例。它提供了创建、启动、停止、更新和删除虚拟机实例的功能。Nova还支持多种虚拟化技术,如XenServer、Hyper-V和KVM等。2. Swift:Swift是一个对象存储系统,可以存储任意类型的数据,包括文件...

块储存,对象存储,文件存储的区别和联系

另一方面,对象存储软件有专门的文件系统,所以OSD对外又相当于文件服务器,那么就不存在文件共享方面的困难了,也解决了文件共享方面的问题。因此对象存储的出现,很好的结合了块存储与文件存储的优点。为什么还要使用块存储和文件存储:1.有一类应用是需要存储直接裸盘映射的,比如数据库。因为数据库需要存储...

OpenStack的三大核心组件分别是什么?

对象存储)则提供了一个高度可扩展的、冗余的、分布式的对象存储服务,用于存储大量的非结构化数据,如照片、视频和文档等。这三大组件共同构成了OpenStack的基础架构,使得OpenStack能够提供一个全面、灵活且可扩展的云计算平台。通过这些组件,用户可以按需获取计算、网络和存储资源,以满足他们的业务需求。

对象存储、文件存储和块存储的区别是什么?

1、速度不同 块存储:低延迟(10ms),热点突出;文件存储:不同技术各有不同;对象存储:100ms-1s,冷数据;2、可分步性不同 块存储:异地不现实;文件存储:可分布式,但有瓶颈;对象存储:分步并发能力高;3、文件大小不同 块存储:大小都可以,热点突出;文件存储:适合大文件;对象存储:适合...

声明:本网页内容为用户发布,旨在传播知识,不代表本网认同其观点,若有侵权等问题请及时与本网联系,我们将在第一时间删除处理。
E-MAIL:11247931@qq.com
dnf求EX高手帮我做一张阿修罗觉醒的图片,就要扇翅膀的那段就好了 DNF开拓者称号任务我的阿修罗和狂战为什么没有GSD所有主线做完了... DNF阿修罗为什么学不到像GSD一样的技能? 望耍阿修罗高手的哥子些解答 儿童吃肉多的危害 经常吃肉对身体会带来什么负担? 我的车上的人保车险的全险,今年是第一年,出过一次险,保险公司赔了1755... 大货车入的是中国人民保险,全险,上个月在高速上出车祸,保险公司赔付... 坐月子期间要吃母鸡催奶? 催奶用母鸡还是公鸡做汤 在AI 软件中如何使用复制和粘贴 如何修改工行企业网银登录密码? 在AI中怎么把一个图形复制粘贴到另一个图形的下方?快捷键是什么? 有对象存储了为什么还要有文件存储和块存储? 我在工商银行办理的网上银行请问第一次登陆网上银行的密码是什么 对象存储,块存储,文件存储那个好? 什么是对象存储? 描述对象存储,与文件存储,块存储的区别 对象存储是什么?对象存储的基本定义 块储存,对象存储,文件存储的区别和联系 对象存储、文件存储和块存储的区别? 块存储、文件存储、对象存储这三者的本质差别是什么? “望闻问切”的“切”,怎么念? 中医中望闻问切,具体指什么内容? 中医望闻问切是什么意思? 望闻问切指的是什么? 望闻问切什么意思 望闻问切 切字的读音? 中医四诊:望闻问切中的“切”发什么音? 成语"望闻问切"是什么意思? 忘记普及版工行企业网上银行登录密码怎么办? AI里想要把东西排满一张纸 最快捷的复制方法 快捷键是什么? 小鸟云的云数据库和对象存储有什么区别? 在AI软件里剪切后文件再次粘贴用什么工具 AI软件里图中的 “粘贴选项”对话框的快捷键是什么?或者在软件里怎么找出“粘贴选项”的对话框? ai剪贴板数据在哪里 AI复制渐变色怎么复制,快捷键是什么。 三品plm安装时失败要怎么卸载残留文件 酸辣土豆丝的正确做法? AI中复制文字的时候怎样才能跟粘贴地方的文字格式一样! 大概描述一下PDM、PLM、ERP的联系与区别。 金蝶PLM怎么样? 怎么用DOS打开PLM程序 郑州市老年卡乘地铁时间星期六.日受时间限制吗? 郑州地铁几点到几点算高风期,老年人乘地铁有时间限制吗 陕西PLM软件哪家好 郑州地铁明天早上七点以后老年卡能用吗? 谁才是真正PLM的教父 郑州老年交卡哪个时间段能坐地铁 目前中小生产企业应用哪些管理系统比较多?大家的企业都安装了什么软件啊?
  • 焦点

最新推荐

猜你喜欢

热门推荐