Study on SAN Storage Technology Based on IP

LI  Si-wei

（Department of Communication Engineer, Guangzhou Civil Aviation?
College, Guangzhou 510403,China）

　　Abstract: A network connecting servers and storage devices, Storage Area Network(SAN) is the most popular technology in the storage field. This paper analyzes the characteristics of several kinds of storage in the storage network architecture , and then discusses the classic development of the storage technology. It introduces IP storage protocol, expounds and analyzes the IP SAN environment based on iSCSI protocol, and then discusses another implementation method —— the conformity between InfiniBand server and IP SAN. Finally, it indicates the future of SAN storage technology.?
    Keywords: Storage area network(SAN)；Fibre channel；iSCSI protocol;Storage technology??

一、引言?
    存储和网络在传统上处于2个不同的领域，网络技术的发展对计算机平台的演化产生了重大的影响。随着这两项技术的逐渐成熟，特别是越来越多的企业加入到电子商务和全球数据共享中来，存储技术和网络技术结合而形成的存储区域网络（SAN,即Ｓtorage Aren Network），正是一种实现存储和检索大量数据的强大技术。一直以来，SAN都建立在光纤通道（FC，即Fibre Channel）技术基础上，这种技术给存储领域的应用提供了高性能的块数据访问方案。由于IP在局域网和广域网上的应用以及良好的技术支持，在IP网络中也可实现远距离的块级存储，以IP协议替代光纤通道协议，形成基于IP的SAN存储。本文在分析各种存储网络技术特点的基础上，重点讨论和分析了基于IP的SAN存储技术。?

二、存储网络技术分析?
　　不论企业规模的大小，企业用户都会关心大容量数据的存储问题，许多研究机构和生产厂家都致力于为企业用户提供一种有效的数据存储方案。按照存储网络技术的发展，归纳出存储网络技术的类型，详见图1。

　　由于早期的网络十分简单，直连式存储（DAS）是最先被采用的网络存储系统。DAS存储体系结构中，为避免出现单点错误，采用多个服务器共享一个存储系统。当需要增加系统的存储容量时，一般采用增加磁盘阵列（RAID）。DAS曾经是一种流行的存储系统，但不能满足大容量的存储需求，于是出现了NAS和SAN等其他存储技术。网络存储系统（NAS）包括诸如文件服务器和存储设备部件，NAS使主服务器从文件I/O操作中“解脱”出来，使该服务器成为一种优化的文件系统，操作系统变成“瘦操作系统”，不完成计算功能，仅提供文件系统功能，这样客户端就能直接从NAS部件中检索数据。NAS服务器采用优化的文件系统，并且安装预配置的存储设备。由于NAS是连接在局域网上的，所以客户端可以通过NAS系统与存储设备之间交互数据。NAS直接运行文件系统，如NFS、CIFS等，另外通过设置NAS可以实现在不同的客户端（如NT和Unix）之间共享数据。?
　　DAS和NAS存储系统实现的都是一种文件级存储，这种处理方式要求占用主机大量的CPU资源，对文件操作的延迟相当大。数据量的增加，使DAS和NAS出现同样的问题——不能为提高存储能力而无限制地增加存储设备。与DAS和NAS存储相比，存储区域网络（SAN）的优势在于所有的数据处理都不是由服务器完成的，SAN是一种将存储设备、连接设备和接口集成在一个高速网络中的技术^［1］。在SAN网络中，所有的数据传输是在高速、高带宽的网络中进行的，SAN存储实现的是直接对物理硬件的块级存储访问。SAN本身就是一个存储网络，网络承担了主网络中实现的数据存储，因而提高了SAN的性能和升级能力。根据存储网络所采用的传输协议和物理介质的不同，SAN有FC SAN、IP SAN和InfiniBand SAN等多种实现方式，FC SAN采用高速的光纤通道构成存储网络，是SAN的主流技术。随着Ethernet和IP技术的不断成熟和发展，基于IP的SAN存储集合了Ethernet和IP的开放性及块存储多方面的优点，以IP协议替代光纤通道协议实现端到端的SAN存储。InfiniBand SAN把IP网络和存储网络合二为一，以交换机互连和路由器互连支持系统的可扩展性。?
　　为了将不同的NAS、DAS、FC SAN、IP SAN等各类存储资源整合起来，形成一个统一管理、监控和使用的公用存储池，于是出现了虚拟存储（VSAN）。虚拟存储实际上是一种逻辑存储，目的是实现资源共享，它是一种智能化的存储系统。目前，虚拟存储主要有3种方式：基于主机的虚拟存储、基于存储设备的虚拟存储以及基于网络的虚拟存储。虚拟存储技术能大大减少存储系统的管理难度，提高存储的效率。?

三、基于IP存储网络协议构建的SAN环境
    目前，IP存储技术发展有2个技术方向：存储隧道（Storage tuneling）和本地IP存储（Native IP-based storage）。存储隧道的基本思想是将IP协议作为连接异地2个光纤SAN的隧道，用来解决SAN环境的互联问题。本地IP存储的基本思想是利用现有的存储协议，将SCSI和Fibre Channel直接集成在IP协议中，实现存储和网络的无缝融合。目前IETF已开发出3种IP存储协议：基于TCP/IP的光纤通道（FCIP）、互联网 Fibre Channel协议（iFCP）和互联网小型计算机系统接口（iSCSI）。其中FCIP 和iFCP协议是实现存储隧道技术的2种方式，FCIP协议是在2个SAN之间通过以太网建立隧道，构成一个统一的SAN环境，与之相对应的iFCP是在Fibre Channel 与IP之间建立网关到网关的连接，使Fibre Channel 帧使用IP路由到正确的目的。由FCIP和iFCP支持的存储隧道技术提供的是SAN与SAN之间点到点的连接，从功能上讲是一种类似于光纤的专用连接技术。?
　　存储隧道技术较好地解决了SAN之间的异地连接，但其实现成本较高，缺乏通用性，较大的延迟对系统的性能也会造成一定的影响。与存储隧道技术相比，本地IP存储技术具有显著的优势。它利用现有的存储协议，以IP协议替代Fibre Channel协议，构建结构上与LAN隔离，技术上与LAN一致的新型SAN存储——IP SAN，将存储网络与传统的LAN物理上整合成一个网络。本地IP存储技术进一步地模糊了本地存储和远程存储的界限，在IP SAN环境中，只要主机和存储系统能提供标准接口，就可以实现在任何位置的主机访问任何位置的数据，提高了存储系统使用的灵活性。实现IP SAN最合适的协议是iSCSI协议。下面就重点讨论基于iSCSI的IP SAN环境。?
　　与FCIP和iFCP一样，iSCSI使用TCP/IP协议在IP网络上进行可靠的数据传输^［2，3］。iSCSI沿袭SCSI协议体系结构SAM-2模型定义主机（initiator）和目标（target）（如磁盘等）之间作为客户机/服务器进行交换，以此使用本地iSCSI主机和iSCSI目标建立SAN。iSCSI在TCP/IP协议之上提供自己的层进行块数据传输。ISCSI的客户机与服务器都具有一个网络标识，和分配它们的IP地址是相同的。网络实体包含一个或多个iSCSI节点。ISCSI节点对象定义在网络实体内定义了一个特定的SCSI设备，该设备可以通过网络经过网络入口点访问。网络入口点就是分配的IP地址和TCP端口号。通常iSCSI节点具有255个字节。图2给出了iSCSI的协议层次模型。

　　iSCSI主机与iSCSI目标进行数据交换时，先要进行会话连接。主机和目标之间的iSCSI会话必须通过一个iSCSI登录进程即iSCSI login phase来启动。登录过程要来协商双方的变量参数。若成功，目标就发出一个登录接受信息；否则，登录被拒绝，会话连接中断。iSCSI登录阶段在主机和目标之间为一个会话建立一个或多个TCP连接。TCP连接确保SCSI命令、状态和iSCSI数据包所携带的数据（即PDU）的顺序发送。PDU封装标准的SCSI 命令描述符块（CDB）来传送命令和数据。若PDU丢失或损坏，可以通过发出SNACK PDU进行重新发送。这是iSCSI会话的事务处理类型。另一种会话类型是iSCSI错误处理，它包括对单个PDU的恢复、TCP连接的重新建立以及iSCSI会话的重新建立。基于iSCSI协议构建的SAN环境如图3所示^［4］。

四、IP SAN与InfiniBand服务器的整合
　　InfiniBand 是用高速交换机矩阵替代传统的PCI总线的一种新I/O体系结构。InfiniBand 沿袭SAN和NAS的一些概念，将处理计算、存储I/O、网络I/O等功能分开，将网络技术引入I/O体系中，形成一个I/O交换网络结构。InfiniBand服务器不能直接访问已有的基本存储设备，为了在不同的物理介质和传输协议之间进行转换，及将SCSI、FCIP和iSCSI数据转换成InfiniBand数据格式，InfiniBand引入了称为CA（通道适配器）的概念^［5，6］，将内存队列的建立、内存保护和I/O协议处于与CPU分开，CA能够减轻CPU的负担。图4给出了InfiniBand服务器结构，InfiniBand主机系统通过一个或多个主机通道适配器（HCA）连接到I/O交换网上，存储器、网络通信设备通过目标通道适配器（TCA）连接到该I/O交换网上。

　　基于InfiniBand Fibric的通信是通过VI（虚拟通路）实现的。一个VL代表一个端口上的一对接收和发送buffer，每个端口或链路可以支持15条VL用于通信，对于管理支持1条VL。来自同一个HCA的不同的数据流被映射为相应的VL上的串行数据流在链路上传输。InfiniBand协议能够通过RDMA直接把数据放入到存储器中，对于InfiniBand存储，本地的解决方案是由VI发起方通过RDMA协议（SRP）实现的，该协议可以实现与FCIP和iSCSI对等的串行SCSI映射，并且通过RDMA把成块的数据直接移入系统的内存。与iSCSI一样，SRP在主机和目标之间建立一个登录程序，并且支持串行链路上的SCSI命令、数据和状态。Fibre Channel的信道和消息机制替代了交换和iSCSI的TCP连接技术，通过结构化的串行SCSI等价方案实现两个协议之间的映射，SRP有助于IP存储和InfiniBand技术的整合。?
　　在InfiniBand体系结构下，可以实现不同InfiniBand的形式的存储系统，包括SAN和NAS。基于InfiniBand I/O路径的SAN存储系统有两种实现途径：其一是SAN存储设备内部通过InfiniBand I/O路径进行数据通信，InfiniBand I/O路径取代PCI或高速串性总线，但与主机系统的连接还是通过FC I/O路径；其二是SAN存储设备和主机系统利用InfiniBand I/O路径取代FC I/O路径，彻底实现基于InfiniBand I/O路径的存储体系结构。由于InfiniBand体系结构的规范性，使其与IP SAN的整合非常具有吸引力。InfiniBand可采用PCB、铜线和光纤实现连接，支持多种连接速度（1x、4x和12x），带宽分别高达2.5　Gbit/s、10　Gbit/s和30　Gbit/s。?

五、结束语
    随着存储技术的不断发展，在DAS与SAS、SAN与 NAS之间的界限将变得越来越模糊。特别是SAN在IP网络中的成功应用，再加上虚拟存储技术，IP SAN极可能成为网络存储的导向技术，传统的客户机和服务器的计算模式将逐渐演化成具有任意连接性的全球存储网络。存储技术的发展变化，随之而来的服务器体系结构的变化，未来将形成数据存储、计算处理和I/O网络化体系的发展趋势，正如SUN公司倡导的“网络就是计算机”。

参考文献

［1］NIIT著，周兆确，等译.存储区域网概念与应用［M］.北京：人民邮电出版社， 2002.9_~181.??
［2］Tom Clark.IP SANs:Guide to iSCSI ,iFCP, and FCIP Protocols for SAN［M］. 2002［3］Kembel, Robert W Tucson, AZ.The Fibre Channel Consultant:Arbitrated Loop［M］.Northwest Learning Associates,1998??
［4］Gary Orenstein.iSCSI for Storage Networing［Z］.Storage Networking Industry Association and SNIA IP Storage Forum Whtie Paper.??
［5］InfiniBand Trade Association:InfiniBand Architecture Specification［Ｊ］.（Vol.1）.2000??
［6］郑纬民，等.存储进入网络时代［N］.计算机世界，2004-3-15（B2_~B3）.?