CXFS共享文件系统
SGI的存域网(SAN)解决方案,采用业界领先的存储产品作为基础架构,配有SGI专为SAN环境匠心独具的数据管理和数据共享软件以提供卓越的应用性能和数据可用性。SGI SAN硬件产品包括业界领先的SGI IS4100、IS4600、IS150000、IS16000磁盘阵列,StorageTek、IBM、ADIC磁带库,存储产品通过专用的光纤通道交换机(Brocade)与各个服务器相连。SAN软件包括业界速度最快的共享的文件系统SGI CXFS,用于分层存储管理的SGI DMF、集中式备份与存储的Legator Networker、以及提供SAN环境全冗余保证的高可用性软件SGI FailSafe。SGI的SAN解决方案可提供统一存储资源、集中的存储管理、可连接性及数据共享、并且可以大大降低总拥有成本。功能齐备的光纤通道结构具有可伸缩性、容易扩展的优点,可以满足日益增长的数据存储和管理需求。
SGI CXFS:存域网(SAN)的核心
随着CXFS SAN文件系统的引入,SGI为新的存储方案奠定了基础,CXFS将NAS的共享数据访问和SAN的可缩放性与性能融为一体,其设计专门针对共享数据访问的关键环境,而简单的局域网则不能提供足够的带宽。CXFS允许SAN中的所有系统同时高速访问相同的文件系统和文件。单个系统可以有多个连接,这使得以每秒数GB的传输速率访问数据成为可能。CXFS主要技术特点如下:
CXFS—可扩展的日志群集文件系统
CXFS是一个直接可访问高性能共享文件系统如下图,它使得所有的连在SAN上的系统均可同时直接读/写所有的文件,其读写文件的速度可以与本地的具有业界领先水平的XFS文件系统相媲美,这意味着在CXFS系统中所有的主机能够同时以接近本地文件系统的速度读写同一个文件,从而使得数据共享突破了传统的NFS/FTP传输模式,解决了网络传输的瓶颈问题,同时也减少了磁盘管理和备份的复杂性。
CXFS提供了安全的SAN数据共享模式。SAN提供了在多台主机和存储介质之间的直接高速物理连接,CXFS则提供了允许所有系统同时直接访问存储的软件架构。这样主机就可以以SAN提供的带宽直接读写磁盘,避免了网络拥塞和文件服务器的过载。
CXFS作为SGI XFS 文件系统的扩展,是业界广泛认可的最具可扩展性的高性能文件系统。
CXFS能提供:
业界领先的性能
日志功能—提供可靠性和快速恢复
64位扩展性,可以支持大的文件和文件系统
实时文件系统
动态分配metadata数据空间
1)扩展性和性能
CXFS继承了XFS的扩展性和高性能,并将之应用到SAN环境中。单一文件大小可以达到9M TB,文件系统可以达到18M TB,确保CXFS能够满足用户将来的需求。动态分配算法使得一个文件系统可以存储数百万个文件而不浪费磁盘空间,单一目录管理百万个文件而不影响性能。
通过使用先进的XVM卷管理工具,一个磁盘卷可以有几千个磁盘构成,当现有磁盘卷容量不能满足用户需求时,可以在线增加新的磁盘,确保CXFS能满足日见增长的存储需要。
使用CXFS实现数据共享比传统方式更加有效,CXFS通过集中的统一存储减少了数据的重复存放,降低了管理费用,避免了LAN传输瓶颈,大大减少了用户等待数据的时间,减少了用户购买存储的费用。
CXFS的扩展也很容易,用户可以通过增加更多的磁盘扩大存储容量,通过增加更多的光纤通路增加带宽;与之相比,传统的数据共享方式则只能通过购买更快的网络设备来实现。
CXFS的性能与单机XFS文件系统相近主要体现在对主要的读写操作上如:
单进程读写单一文件
单机上多进程读写同一文件
多机上多进程读同一文件
多主机上多进程使用直接I/O方式读写同一文件
这些能力使得CXFS成为基于大文件应用的理想解决方案如静态图象、视/音频、数据库。
网络的速度,服务器的能力和协议本身都是NFS性能的障碍。NFS协议是同步操作,每一数据块请求都需要两次网络I/O;CXFS只通过网络请求少量的Metadata信息,大量的数据I/O是直接通过读写磁盘实现的。另外CXFS还可以在单一系统I/O路径使用多块FC卡增加I/O带宽。因为CXFS服务器只在数据传输之初将文件信息和文件控制权限赋予CXFS客户机,而不参与每一次的数据传输,所以CXFS服务器并不需要很大即可支持大量的客户机。
CXFS也可以与NFS很好地结合在一起。NFS服务器可以运行在每一个CXFS客户机上,这样就大大增加了NFS服务器的数量,从而可以更好的响应客户端的请求。
2)先进的Metadata管理
Metadata管理是影响CXFS性能的一个关键因素。Meatdata包括所有文件和文件系统信息如:文件大小、访问时间、存储位置等。所有的文件信息数据都由Metadata服务器控制、修改,从而确保数据的完整性和一致性。
CXFS服务器与客户机之间的Metadata数据传输是在TCP/IP网上实现的。因为Metadata数据相对于文件数据来说小而且传输不频繁,所以快速以太网是比较合适的,当然也支持千兆以太网和其他高速网络。
XFS的一些特征也提高了Metadata的性能:
带有优异缓存性能的快速Metadata算法
精巧的结构和算法用于快速查找
分配大的扩展块,减少请求存储空间分配的Metadata数据交换
为了提高Metadata性能,还采用了一些特殊设计。CXFS采用:
特别的小RPC包
在客户机上同时缓存数据和Metadata
多个Metadata服务器,每一个CXFS文件系统一个active服务器
在Metadata服务器上将旁路掉CXFS层
采用专用的小机器作为Metadata服务器
CXFS采用快速高效的令牌机制控制文件访问,确保数据的准确。因为文件锁是非常关键的,CXFS完全兼顾了POSIX,BSD,SVR4文件锁。使用CXFS文件系统应用程序不需要对文件锁作任何修改。
3)高可用性
CXFS被设计成能自动识别并恢复单点失败,单点失败包括:主Metadata服务器失败、SAN失败、TCP/IP网络失败等。
在CXFS配置中,一台主机是Metadata服务器,所有其他主机都可以设计成备份Metadata 服务器,一个备份服务器探测到主Metadata服务器失败后将自动变成主Metadata服务器如下图所示。这种切换大约只需要几十秒。从而可以确保任一系统对数据的连续访问。
对于应用在CXFS之上的应用的高可用性,CXFS可以与Failsafe集成使用,从而可以确保在任何时间从任一点的数据访问。
4)易用的管理
CXFS能够通过基于Java的图形界面实现配置、监测和管理。CXFS能够从任一支持Java的Web浏览器进行管理,从而为用户管理提供了极大的灵活性。CXFS同时也支持命令行管理模式。
5)非网络的备份
基于LAN的备份会花费大量的时间并会造成网络拥塞。CXFS可以将基于LAN的备份很容易的SAN中。基于SAN的备份服务器只需将备份数据安装成CXFS文件系统,然后就可以象本地文件一样进行备份,所有的数据传输均通过SAN完成。这些备份操作不需要增加任何新的软件即可实现。
6)CXFS数据导出
没有加入CXFS群集的系统仍然可以访问所有的数据。这些系统只需要通过加入CXFS群集的机器通过传统的数据共享方法如NFS,FTP,Samba即可访问这些数据。
7)支持HSM—结构化存储管理
CXFS支持DMAPI,从而使得CXFS主机不需修改任何系统内核即可应用HSM软件如SGI的DMF。
目前市场上也有很多用于SAN环境的共享文件系统。我们主要从性能和异质性两方面进行比较。从性能方面,目前绝大部分产品都是作为文件系统上的应用进行实现的,主要基于NFS,也有个别产品是在文件系统一级实现的,但由于其系统不是遵循标准的,因而在可用性上受到大大限制。SGI CXFS是在系统核心级实现的,它基于被业界公认的性能超群的、并被Linux采用的SGI XFS文件系统实现的。因此CXFS是目前SAN环境中性能最高的、具有近乎本地XFS性能的超高速共享文件系统。另外从异质性方面,CXFS目前也是支持的平台最多的共享文件系统,除SGI IRIX操作系统外,它还支持SUN Solaris,Windows NT,Windows 2000,Linux,IBM平台。SGI会继续扩大其在SAN环境中的技术优势,再创复杂数据管理领域的新高峰。
SAN/NAS 共存
SGI NAS 平台是标准的配置,可连接到SAN,通过NAS协议提供公共共享文件系统的输出,并通过CXFS提供SAN中的直接访问。CXFS显著增加了总体应用的处理能力,大文件被多个主机同时共享。在SAN环境中,CXFS比任何网络数据共享机制,如NFS或CIFS能够提供大得多的I/O性能和带宽。
基于业界领先的XFS 文件系统和XVM 卷管理,CXFS 具有如下特性:
§ 64-bit 扩充能力支持文件尺寸达9M TB 和文件系统18M TB
§ 久经考验的技术
§ 极其优化的分布缓存技术获得业界最快的性能
§ 高可用,使用自动失败检测和恢复
§ 集中的Java-based 管理工具
§ 对所有文件系统操作完全POSIX 兼容,不需要应用改变
§ 与SGI基础架构的软件集成,包括:FailSafe, DMF, TMF, Trusted IRIX, 和SGI Media Server™ for broadcast.
SGI CXFS MultiOS6.0 是最新的CXFS 版本,具有可靠性和性能的改进,允许其它操作系统共享相同的数据,包括SGI IRIX 6.5 、SUN Solaris 8、Solaris 9、Windows NT、Windows 2000、Windows XP、Linux IA32、IBM AIX 5L和SGI Altix。
通过CXFS,SGI 支持通过NAS头对共享的文件系统进行并发的和缓存一致性访问(使用IP 协议,如NFS, FTP, HTTP, 等) ,同时通过FC连接的SAN对相同的文件进行直接的访问。