云存储技术博客：光头老蒋

网格技术是20 世纪90 年代中期发展起来的一种建立在分布式计算、互联网和中间件之上的技术，网格技术出现后受到普遍重视，世界主要国家和地区把发展网格技术放到了战略高度，纷纷投入巨资，抢占技术制高点。

 

美国在计算网格方面的工作大大领先于其他国家。2002-2003 年，美国联邦政府投入5 亿美元开展“分布式万亿级设施（Distributed Terascale Facility，简称TeraGrid）”研究项目，TeraGrid 将是世界上第一个从设计开始就面向网格的广域超级计算机。IBM 投入40 亿美元实施网格能力（Grid Initiative）计划。Oracle于2003年9月在旧金山发布了最新数据库产品——Oracle 10g，这个g代表Grid。美国兴建的网格包括：美国国家科学基金会（National Science Foundation：NSF）支持的TeraGrid；美国军方的GIG（Global Information Grid）；能源部的ASCI网格；国防部高性能计算现代化HPCMP网格和国家技术网格NTG。欧洲国家从2000年正式启动了网格研究的一系列项目。2001-2003 欧洲投入约2.2 亿美元研究网格技术，欧洲数据网格(EU DataGrid)是一个国际性大型研究和技术发展项目，于2000年12月由欧盟提供1000万欧元资金启动，项目完成期限为3年；英国投入1.2 亿英镑实施eScience Gird 计划。日本在2003年启动了“国家研究网格”(政府投入100亿日元，约1亿美元)和“商务网格”(政府投资20亿日元，企业配套占大头)。日本的数据储存场(Data Farm)网格项目，主要用于千万亿字节量级的高能物理实验数据的分析和处理，与欧洲数据网格相连。韩国的网格计划之一是N*Grid，2002-2006的五年计划将投资3500万美元。

 

发展网格技术通常可以分成互相重叠的三个阶段：第一阶段进行基础设施建设，包括计算中心（结点）建立，网络建设，贵重设备、可视化设备和数据库的接入，组织和管理的建立，等等；第二阶段进行实验和研究，包括软件体系结构及网格工具的开发，试验平台（Test bed）的建立，性能和功能测试，应用的开发和移植；第三阶段是成熟使用，包括各种应用程序的开发和运行，人员培养和教育，网格的维护。即使在美国，网格的工作目前也仍然还处于基础设施建立和实验研究阶段，尤其是网格软件开发还处于非常初期。

传统的存储模式称为总线连接存储（Bus Access Storage：BAS），也叫直接连接存储（Direct Access Storage：DAS），是以服务器为中心的存储结构。各种存储设备通过IDE、SCSI等I/O总线，经过一个通用的服务器连接在网络上，存储器与服务器之间通过传统的I/O总线通信。

 

网络时代的到来使存储技术发生了巨大变化，存储进入了网络化时代。网络附加存储（NAS）、存储区域网络（Storage Area Network：SAN）是存储领域近来十分引人注目的技术。NAS存储系统的特点是通过基于IP网络的网络文件协议向多种客户端提供文件级I/O服务，客户端可以在NAS存储设备提供的目录或设备中进行文件级操作；SAN采用可扩展的网络拓扑结构连接服务器和存储设备，并将数据的存储和管理集中在相对独立的专用网络中，面向服务器提供数据存储服务。服务器和存储设备之间的多路、可选择的数据交换消除了以往存储结构在可扩展性和数据共享方面的局限性。NAS、SAN一方面能为网络上的应用系统提供丰富、快速、简便的存储资源；另一方面又能共享存储资源并对其实施集中管理，成为当今理想的存储管理和应用模式。

 

未来，网络存储技术将在以下几个方面得到发展。

InfiniBand是被用来取代PCI总线的新I/O体系结构。InfiniBand把网络技术引入I/O体系中，形成一个I/O交换网络结构，主机系统通过一个或多个主机通道适配器（HCA）连接到I/O交换网上，存储器、网络通信设备通过目标通道适配器（TCA）连接到该I/O交换网上。InfiniBand体系结构把IP网络和存储网络合二为一，以交换机互连和路由器互连的方式支持系统的可扩展性。服务器端通过主机通道适配器（HCA）连接到主机内存总线上，突破了PCI的带宽限制，存储设备端通过终端通道适配器（TCA）连接到物理设备上，突破了SCSI和FC-AL的带宽限制。在InfiniBand体系结构下，可以实现不同形式的存储系统，包括SAN和NAS。基于InfiniBand I/O路径的SAN存储系统有两种实现途径：其一是SAN存储设备内部通过InfiniBand  I/O路径进行数据通信，InfiniBand I/O路径取代PCI或高速串性总线，但与服务器/主机系统的连接还是通过FC I/O路径；其二是SAN存储设备和主机系统利用InfiniBand I/O路径取代FC I/O路径，实现彻底地基于InfiniBand I/O路径的存储体系结构。

作为一种文件系统协议，直接存取文件系统DAFS可以在大量甚至过量负载时有效地减轻存储服务器的计算压力，提高存储系统的性能。DAFS把RDMA的优点和NAS的存储能力集成在一起，全部读写操作都直接通过DAFS的用户层——RDMA驱动器执行，从而降低了网络文件协议所带来的系统负载。 DAFS的基本原理是通过缩短服务器读写文件时的数据路径来减少和重新分配CPU的计算任务。它提供内存到内存的直接传输途径，使数据块的复制工作不需要经过应用服务器和文件服务器的CPU，而是在这两个物理设备预先映射的缓冲区中直接传输。也就是说，文件可以直接由应用服务器内存传输到存储服务器内存，而不必先填充各种各样的系统缓冲区和网络接收器。DAFS可以直接集成到NAS存储服务器中，一方面实现高性能的数据传输，另一方面也可以更好地支持数据库管理系统，如Oracle数据库等。今后的NAS存储系统将采用DAFS技术提高系统性能，并且在性能和价格上与SAN存储系统进行有力的竞争。

NASD（Network-Attached Secure Disk）是CMU大学目前正在研究的网络存储项目，它是一个类似NAS存储设备的智能磁盘驱动器，但将管理、文件系统语义和存储转发相分离，仅实现基本的存储元语，由文件管理器实现文件系统的高层管理部分。它对外提供以太网、ATM等数据通信接口与IP网络相连，或者通过FC接口连接到SAN上。 NASD设备嵌入了低层的磁盘管理功能并提供了可变化长度的对象存储接口。客户端可以直接存取NASD设备中的存储资源。文件管理器负责每个客户对NASD设备存储资源的存取控制和检查工作。存储管理器则负责NASD存储资源的映射管理和RAID管理等工作。因为网络通信可以通过公用数据网络采用普通的通信协议完成，因而NASD需要提供安全机制，目前采用的是基于私钥/公钥验证技术的安全机制。

统一的虚拟存储将不同厂商的FC-SAN、NAS、IP-SAN、DAS等各类存储资源整合起来，形成一个统一管理、监控和使用的公用存储池。虚拟存储的实质是资源共享，因此，统一虚拟存储的任务有两点：其一是如何进一步增加可共享的存储资源的数量；其二是如何通过有效的机制在现有存储资源基础上提供更好的服务。从系统的观点看，存储虚拟化有三种途径:基于主机的虚拟化存储、基于存储设备的虚拟化存储以及基于网络的虚拟化存储。统一虚拟存储的实现只能从虚拟存储的实质出发，因此，单一存储映象的方法可能是虚拟存储的发展方向。