随着loT、大数据、移动互联等应用的暴涨,产生的数据也越来越多,整个存储市场总量也逐年增长,根据IDC的预计到2027年,分布式存储会占到整个市场的70%。
随着分布式存储越来越普及,现在一些对性能要求比较高的应用也开始使用分布式存储了,例如金融系统的数据库。要实现高性能的存储系统,一般都需要配置SSD作为主要存储介质,要将SSD的性能完全发挥出来,对CPU的处理能力要求就越来越高。鲲鹏服务器是基于华为自研的鲲鹏系列处理器,华为鲲鹏920处理器提供了最高64核2.6GHz的计算能力,这个能力已经超越了当前业界所有的主流平台。有了华为鲲鹏系列处理器的鲲鹏分布式存储系统,相对于传统硬件平台的分布式存储系统,性能优势非常明显。
鲲鹏BoostKit分布式存储使能套件(简称鲲鹏BoostKit分布式存储),以鲲鹏硬件平台为底座,依托鲲鹏硬件的自研处理器、网卡、SSD、管理芯片、A芯片的全方位整体优势,结合开源Ceph分布式存储软件,为客户提供块存储、文件存储、对象存储服务。
在很多集群架构中,集群成员的主要目的就是让集中式接口知道它能访问哪些节点,然后此中央接口通过一个两级调度为客户端提供服务,在PB到EB级系统中这个调度系统必将成为最大的瓶颈。
Ceph消除了此瓶颈:其OSD守护进程和客户端都能感知集群,例如Ceph客户端、各OSD守护进程都知道集群内其他的OSD守护进程,这样OSD就能直接和其它OSD守护进程和监视器通讯。另外,Ceph客户端也能直接和OSD守护进程交互。
Ceph客户端、监视器和OSD守护进程可以相互直接交互,这意味着OSD可以利用本地节点的CPU和内存执行那些有可能拖垮中央服务器的任务。这种设计均衡了计算资源,带来几个好处:
·OSD直接服务于客户端:由于任何网络设备都有最大并发连接上限,规模巨大时
中央化的系统其物理局限性就暴露了。Ceph允许客户端直接和OSD节点联系,这在消除单故障点的同时,提升了性能和系统总容量。Ceph客户端可按需维护和某OSD的会话,而不是一中央服务器。
·OSD成员和状态:Ceph OSD加入集群后会持续报告自己的状态。在底层,OSD
状态为up或down,反映它是否在运行、能否提供服务。如果一OSD状态为down且in,表明OSD守护进程可能故障了;如果一OSD守护进程没在运行(例如崩溃了),它就不能亲自向监视器报告自己是down的。Ceph监视器能周期性地pingOSD守护进程,以确保它们在运行,然而它也授权OSD进程去确认邻居OSD是否down了,并更新集群运行图、报告给监视器。这种机制意味着监视器还是轻量级进程。
·数据清洗:作为维护数据一致性和清洁度的一部分,OSD能清洗归置组内的对
象。也就是说,Ceph OSD能比较对象元数据与存储在其他OSD上的副本元数据,以捕捉OSD缺陷或文件系统错误(每天)。OSD也能做深度清洗(每周),即按位比较对象中的数据,以找出轻度清洗时未发现的硬盘坏扇区。
·复制:和Ceph客户端一样,OSD也用CRUSH算法,但用于计算副本存到哪里(也
用于重均衡)。一个典型的写情形是,一客户端用CRUSH算法算出对象应存到哪里,并把对象映射到存储池和归置组,然后查找CRUSH MAP来确定此归置组的主OSD。
·客户端把对象写入目标归置组的主OSD,然后这个主OSD再用它的CRUSH MAP
副本找出用于放对象副本的第二、第三个OSD,并把数据复制到适当的归置组所对应的第二、第三OSD(要多少副本就有多少OSD),最终,确认数据成功存储后反馈给客户端。
本文来自知之小站
PDF完整报告已分享至知识星球,微信扫码加入立享4万+最新精选报告
(星球内含更多专属精选报告.其它事宜可联系zzxz_88@163.com)
