存储论坛精华

2020-10-23 04:33 关键词:存储论坛精华:SAN网络存储共享软件全攻略 分类:科技·游戏 阅读:610

在高机能公用存储收集需求的驱策下,SAN存储地区收集体系大批利用于高机能盘算收集体系、大型网页体系、非线性编纂体系等收集体系中,存储装备与盘算机主机体系之间一对一的关系,被可供多个体系同享同一个存储装备收集的关系所庖代。为确保多大批客户端主机对同一存储装备的同享接见权限和和经管权限的同一,就需求安装专门的存储同享经管软件或采取专门的同享文件体系。SANergy、ImageSAN、StorNext、GPFS、CXFS等软件或文件体系就是为了实现存储装备同享而开辟的。

一、典范SAN同享体系

在说到SAN收集存储同享经管软件之前(假定你对SAN、NAS、DAS和ISCSI技巧的特性和区分曾经很认识),我们先来看一看使用的、或典范的FC-SAN存储收集和IP-SAN存储收集架构的特性。

FC-SAN同享存储体系构造图:


(图1)

大型FC-SAN存储同享体系常常被称“FC+LAN”双网构造,这是指在本该体系由FC光纤通道收集和LAN以太收集两个收集配合组成,当中以太收集负责工作站与MDC(MetaData Controller)效劳器与工作站之间的元数据信息传输和交流,FC光纤通道收集只负责现实数据的高带宽传输。这类收集构造可充裕哄骗两种收集的特性,施展两个收集的最大服从。

IP-SAN同享存储体系构造图:

以iSCSI装备为焦点存储的IP-SAN采取了与FC-SAN类似的构造,典范的ISCSI存储收集体系构造以下所示:


(图2)

IP-SAN通常被称为单网构造,是指MDC效劳器与工作站之间的元数据和现实数据都是经过以太收集来实行传输和交流。单网构造具有收集构造简朴,可充裕哄骗如今装备,体系建立时对如今体系点窜较小,经管保护轻易等特性。

一、SANergy

SANergy能够明白为一个文件体系的扩大,它能提高嵌入Windows NT、Windows 2000®、Unix和Machintosh操纵体系内部的散布式数据同享才能。SANergy能够将尺度收集文件输入/输出,由LAN从新指向SAN。平凡的收集和谈(CIF或NFS)在尺度的LAN上建立毗邻以同享文件,而数据本身经过更高效的SAN以高得多的带宽传输。与SAN毗邻的存储介质可被花样化成NTFS、UFS或EXT FS花样或支撑SANergy open API的任何别的文件体系。

SANergy将尺度的Windows NT、Windows 2000、SUN Soloris;#8482;或Red Hat Linux®文件效劳器扩大后,充任同享式存储器的元数据节制器(MDC)。这个MDC经过运转SANergy客户端软件的盘算机,经管对SAN存储器的接见。经过供应关键的文件体系元数据,MDC在客户盘算机提出恳求时,经管对公用存储器的接见。然后,客户机能够经过SAN的毗邻间接接见该存储器。

SANergy对大部份体系效劳或利用法式供应通明支撑,使用户能够经过施行存储地区收集(SAN)通明地同享公用存储器、卷和文件的存取;能够使UNIX®、Windows NT®和 Apple Macintosh体系在卷、文件和字节级上跨平台同享存储资源,从而比基于效劳器同享的体式格局大大增加吞吐量,低落经管费。

SANergy不是一个自力的文件体系,而只是一个文件I/O 重定向法式。它截取文件I/O 重定向到MDC 文件体系经管的磁盘,以是它只是一个SAN 文件体系外壳软件。MDC对磁盘及文件体系的经管视主机平台而定,如是Windows就是NTFS、Solaris,就是UFS、Linux就是EXT2等。在异构操纵体系平台之间同享数据需求采取NFS 和谈处置惩罚,机能体现不佳,实现可用性不高,不克不及知足夹杂平台、大批主机并发工作情况中的机能请求。

工作站以收集文件体系体式格局安装同享磁盘,而SANergy不是自力的文件体系,它必需以收集文件体系的形式安装在主机上(Windows就是收集盘符、UNIX和Linux就是NFS文件体系),那些不克不及在收集文件体系上处置惩罚数据的利用就没法运转,或运转服从和很低。除了MDC 外,全部SANergy主机都没法为其他LAN主机供应数据同享,由于它本身就是收集文件体系,不克不及再次同享。

Metadata传输占用LAN带宽高,占用MDC主机资源多,不克不及支撑大批主机并发接见。SANergy使用NFS/CIFS文件传输和谈传输Metadata信息,不但占用很大的LAN带宽,而且由于MDC必需运转NFS/CIFS效劳器处置惩罚毗邻,以是耗损资源很大,在高负载情况中服从低下依靠别的文件体系技巧处置惩罚硬件,在高负载情况中数据处置惩罚机能低下SANergy MDC只要在Windows或AIX情况下才能够双机切换,而且需求机群软件支撑。假如MDC 主机是别的UNIX或Linux,就无切换功用。这个约束极大低落了SANergy体系的靠得住性和可用性。

笔者注:

SANergy软件安装和使用简朴轻易,需求实行设置的参数项少,任何人只需求实行简朴地培训就能够使用。尽管SANergy软件的官方价钱仍旧很高,但现实上别的盗版各处都有,不需求注册码且能够临时使用,与从官方购买到的软件完全雷同。于是关于一些存储需求同享但又不想花买正版软件的人来说,应该是一个不错的挑选。

但是,经本人临时亲身使用后发明,SANergy软件的稳定性和宁静不敷。尽管官方不断宣称主机数没有限定,但现实受骗收集中的主机数目到达100-150时,MDC效劳器机能会大幅度低落,常常产生一些莫明其妙的成绩,大概会导致数据丧失或文件体系破坏,体系运转和保护经管请求严厉,必需在对同享收集存储有深切分析的技巧职员指点下来实行平常保护。今朝官方已不再对SANergy的末期开辟和晋级,改去开辟新的同享软件,但不晓得还供应SANergy软件的末期技巧支撑。

别的,SANergy软件在异构操纵体系平台下体现不佳,现实机能只相当于同构性的1/4-1/5,这个机能远不克不及知足体系一般运转的需求。

二、ImageSAN

ImageSAN是Rorke Data公司专门针对广电行业音视频(AV)SAN收集存储利用而研发的,是Windows NT/2000/XP及Macintosh OSX情况及夹杂情况的SAN处理方案,并供应普遍的利用支撑和高适应性的容错才能。基于ImageSAN的存储同享处理方案经过速率、合作和多义务提高了视频、音频及图形编纂体系的收集化处置惩罚才能。

MDC设置:ImageSAN能够确保卷Master的静态切换,确保高可用性。在对等网中,每一台主机都有大概成为卷Master。从本钱斟酌,用户基本没必要破费分外的MDC费用。而从宁静性等方面斟酌,当收集中主机数目大于10时,用户每每使用域形式(并不是必需如此,取决于用户以太网的设置),独自设置了一台域效劳器,ImageSAN就能够指定该效劳器为Master。同类别的产物则完全依靠MDC,MDC一旦出毛病,将招致全部收集瘫痪。

二次同享:在每一台ImageSAN工作站上,SAN同享卷都间接显现为当地硬盘。由于具有全部当地硬盘的特征,SAN存储卷能够再映照到以太网以便同享。如此,SAN之外的以太网工作站也能够接见SAN中的材料。更关键的是,SAN中的每一台主机都能够面向以太网同享同一SAN分区(用户权限支撑)。全部收集的处置惩罚才能分管了本来单台效劳器的负载,大大减小了收集瘫痪的大概性。这一点非常合适无卡收集编纂的请求。

静态高可用冗余尺度:ImageSAN收集中的Master假如出毛病,同一收集中的工作站都能够接受成为Master。而且,SAN中的每一个卷都能够独自指定本身的Master,也可让收集推举发生Master,非常灵敏。假如经过其他软件经管SAN,Master的MDC出毛病,就要靠Slave的MDC接受。假如Slave的MDC也出毛病,将招致全部收集瘫痪。

笔者注

ImageSAN软件在视频同享收集情况中机能体现精良,但在非视频同享情况中体现通常。觉得上ImageSAN现实使用的案例对照少,非常是大型收集体系中很少用到ImageSAN,非视频同享行业用户对ImageSAN更少听闻。

三、StorNext

StorNext FS是完全为SAN收集情况设想的文件体系,不依靠于任何现有操纵体系中附带的、自力的、跨平台SAN文件体系。

StorNext FS是真正的64位文件体系,能够确保经管庞大的磁盘空间和文件数目,差别范例的主机能够同时以FC Direct I/O体式格局接见数据,中央不需求任何和谈转换。于是,StorNext FS 能够充裕哄骗和施展SAN 体系构造的全部长处,完全解脱现有文件体系产物的构造约束,非常是在夹杂平台、大批主机并发工作情况中上风非常凸起。采取日记型文件体系的设想确保体系的靠得住性、强健性和快速规复才能。

StorNext FS间接经过TCP/IP和谈传输Metadata,MDC采取优化算法处置惩罚Metadata,Metadata传输占用LAN带宽低,占用MDC主机资源少,能够支撑大批主机并发接见,于是传输和处置惩罚服从非常高,能够知足大批主机在高负载情况下并行工作的请求。

StorNext FS具有本身的磁盘逻辑卷经管功用,能够优化组合SAN中的磁盘资源,而且能够对SAN收集链路实行多通道并发处置惩罚、确保带宽质量和实现负载平衡。加上StorNext SM 经管模块,能够经管多种磁带库和磁带介质具有多种SAN收集和磁盘优化功用,可充裕施展硬件机能,在高负载情况中数据处置惩罚机能凸起。

StorNext FS的Metadata节制器能够在任何范例的主机(多达7 台)中实行切换,于是能够最大限度地确保体系的陆续、靠得住运转。

由于StorNext FS 是自力的文件体系,工作站以当地文件体系体式格局安装同享磁盘,同享磁盘间接显现为当地磁盘,可实行二次收集同享,全部利用软件都能够以当地磁盘和文件体系体式格局处置惩罚StorNext FS 中的数据。

具有原始集成的HSM数据归档、迁徙、备份和容灾功用(StorNext Storage Manager),StorNext FS是契合XDSM数据经管尺度的文件体系,具有内置的数据迁徙、爱护、容灾等经管模块 ?C StorNext Storage Manager 实现跨存储介质的、临时的数据存储和爱护处理方案。

笔者注:

StorNext软件是今朝最热点的存储同享经管软件,于是软件价钱也居高不下,当收集规模较大时,大概StorNext软件的购买费用就会占用非常大的一部份红本。

StorNext设置参数较多,技巧职员请求较高。据说伙伴说StorNext的成绩与SANergy比拟并很多,且出了成绩难以排查。

四、CXFS

CXFS是可扩大的日记性聚集文件体系,具高可扩大性。单一文件巨细能够到达九百万TB,文件体系能够到达1800万TB。静态分派算法使得一个文件体系能够存储数百万个文件而不糟塌磁盘空间,单一目次经管百万个文件而不影响机能。

CXFS经过使用进步的XVM卷经管工具,一个磁盘卷能够有几千个磁盘组成,当现有磁盘卷容量不克不及知足用户需求时,能够在线增加新的磁盘,确保CXFS能知足日见增加的存储需求。
收集的速率、效劳器的才能和和谈本身都是NFS机能的停滞。NFS和谈是同步操纵,每一数据块恳求都需求两次收集I/O;CXFS只经过收集恳求少许的Metadata信息,大批的数据I/O是间接经过读写磁盘实现的。别的CXFS还能够在单一体系I/O途径使用多块FC卡增加I/O带宽。由于CXFS效劳器只在数据传输之初将文件信息和文件节制权限给予CXFS客户机,而不介入每一次的数据传输,以是CXFS效劳器并不需求很大便可支撑大批的客户机。

CXFS被设想成能主动识别并规复单点失利,单点失利包孕:主Metadata效劳器失利、SAN失利、TCP/IP收集失利等。在CXFS装备中,一台主机是Metadata效劳器,全部其他主机都能够设想成备份Metadata 效劳器,一个备份效劳器探测到主Metadata效劳器失利后将主动酿成主Metadata效劳器。

笔者注:

据官方工程师讲,为了有用地哄骗CXFS文件体系,倡导除了平凡的以太收集和SAN收集之间,再建立一个“第三网”,该收集只负责CXFS经管效劳器和客户端工作站之间的元数据信息和指今的经管和传输。

笔者曾在2004年测试过CXFS文件体系,测试收集采取双网构造,未建立所谓的第三网。测试发明以太网的流量会随CXFS文件体系使用时候的连续而持续增加,收集的服从也会持续低落,直至终究收集梗塞。前后共三个时候三个差别收集情况测试的了局雷同。后据说官方就此成绩实行了再次开辟仍旧未处理该成绩。以后怎样就不是很清晰了。

五、GPFS

通用并行文件体系 (General Parallel File System ?C GPFS)将全部的物理资源(包孕效劳器和磁盘阵列)都视为假造文件体系的工具,容许使用者同享散布在多个节点和多个磁盘上的文件。它容许并行的利用法式同时从GPFS 节点组(nodeset)中的任何节点接见雷同或差别的文件(节点组 nodeset 被界说为一组运转雷同版本GPFS的节点)。

一个GPFS文件体系能够高出在聚集内的全部主机上,散布在全部磁盘上。GPFS文件体系在读写文件时采取条带化技巧,将数据分红条带并行写入到该GPFS下的全部NSD中。在有高速数据通道的GPFS装备下,读写文件时能够经过全部主机的光纤通道接见全部的磁盘。

GPFS文件体系的设想目的是使数据散布在一个集群中的全部节点上,容许利用法式经过尺度的UNIX文件体系接口来接见数据。大多数的UNIX文件体系被设想在单一效劳器情况下使用,在这一情况下, 增加文件效劳器也不会提高特定的文件存取的机能。

GPFS经过将I/O散布在多个硬盘提高机能,经过日记和复制的体式格局提高数据的靠得住性,经过增加节点和在节点之间由SP Switch互联提高体系的可扩大性。

经过将文件散布在多个节点和磁盘上,GPFS能够逾越单一节点和单一文件体系的机能极限。文件体系能够逾越多个节点和多组磁盘,这些磁盘能够是使用 SSA 技巧在HACMP聚集内里间接地毗邻到每一个节点上实行物理同享,也能够是由IBM的VSD(Virtual Shared Disk)和SP Switch技巧使经由软件实行同享。

GPFS的体系资源能够静态调解,能够在文件体系挂载情形下添加大概删除硬盘。当处于相对空闲时,用户能够在已装备的硬盘上从新平衡文件体系以提高吞吐量。能够在不从新启动GPFS效劳情形下添加新节点。

GPFS还经过用户真个数据缓存,大的文件页的支撑 (16 kB- 1024 kB),文件预读和提早写的功用等技巧提高机能,其机能超出收集性文件体系 (NFS),散布式文件体系(DFS)和日记文件体系 (JFS)。与这些文件体系差别,GPFS文件体系能够经过在聚集或SP体系中增加节点的体式格局提高机能。

GPFS是一种日记文件体系,为差别节点建立各自自力的日记。日记种纪录Metadata的散布,一旦节点发生毛病后,能够确保快速规复数据。GPFS fail-over功用经过计划,将数据散布到差别failure group内到达高可用性,削减单点毛病的影响。为了确保数据可用性,GPFS在多个failure group内为每一个数据实例做备份,即便建立文件体系时没有请求复制,GPFS也会主动在差别的failure group内复制规复日记。

除了已有的AIX经管文件体系的号令, GPFS还供应简化多节点经管的功用。一个GPFS多节点号令能作用于集群中全部的节点,而且能够从聚集合的任何节点上操纵。这些号令以现有的AIX文件体系号令为基本, 并实行了扩大。GPFS支撑X/Open 4.0的文件体系尺度,大多数的AIX和 UNIX操纵体系的利用法式不需求点窜,就能够接见GPFS文件体系上的数据。这些特征使得GPFS文件体系能够替换其他的UNIX文件体系。

笔者注:据伙伴说,GPFS今朝只能有IBM效劳器和存储平台上一般运转,别的的平台运转服从不佳。未经证明,也不晓得能否精确。

六、GFS

Global 文件体系(Global File System, GFS)是一个可扩大的散布式文件体系,用于大型的、散布式的、对大批数据实行接见的利用。每一台linux主机都能够将收集同享磁盘看做是当地磁盘,且GFS也以当地文件体系的形式产生。

采取GFS的存储同享体系由一个master和大批的chunkserver组成。只要资源和靠得住性容许,chunkserver和client能够运转在同一个机械上。

文件被分红流动巨细的块。每一个块由一个稳定的、全局独一的64位的chunk-handle标识,chunk-handle是在块建立时由 master分派的。ChunkServer将块看成Linux文件存储在当地磁盘并能够读和写由chunk-handle和位区间指定的数据。出于靠得住性斟酌,每一个块被复制到多个chunkserver上。默许情形下,保留3个副本,但这能够由用户指定。

Master保护文件体系以是的元数据(metadata),包孕名字空间、接见节制信息、从文件到块的映照以及块的当前位置。它也节制体系局限的流动,如块租约(lease)经管,孤儿块的垃圾搜集,chunkserver间的块迁徙。Master活期经过HeartBeat新闻与每一个 chunkserver通讯,给chunkserver通报指令并搜集它的形态。

与每一个利用相联的GFS客户代码实现了文件体系的API并与master和chunkserver通讯以代表利用法式读和写数据。客户与master的交流只限于对元数据(metadata)的操纵,全部数据方面的通讯都间接和chunkserver联络。

客户和chunkserver都不缓存文件数据。由于用户缓存的好处微不敷道,这是由于数据太多或工作集太大而没法缓存。不缓存数据简化了客户法式和全部体系,由于没必要斟酌缓存的分歧性成绩。但用户缓存元数据(metadata)。Chunkserver也没必要缓存文件,由于块时作为当地文件存储的。

元数据(metadata):master存储了三种范例的metadata:文件的名字空间和块的名字空间,从文件到块的映照,块的副本的位置。全部的metadata都放在内存中。前两种范例的metadata经过向操纵日记挂号点窜而维持稳定,操纵日记存储在master的当地磁盘并在几个近程机械上留有副本。使用日记使得我们能够很简朴地、靠得住地更新master的形态,即便在master溃败的情形下也不会有不分歧的成绩。相反,mater在每次启动以及当有 chuankserver到场的时候扣问每一个chunkserver的所拥有的块的情形。

以上所论说的都是今朝使用的SAN收集存储同享经管软件,现实上另有一些不使用或新开辟的存储同享经管软件,如SANFS。海内广电行业两大集成商也在开辟本身的存储同享经管软件,今朝第一个版本正筹办在一个大规模收集体系中实行测试。我等候其有精良的测试了局。

在本文的编写历程中,我参考了一些公司官方材料或网友的作品,特些声明并示意感激。

联系邮箱:1390477380@qq.com 客服QQ:1390477380

2002-2019 Copyright © 燕都问答网 版权所有