云存储技术博客：光头老蒋

Isilon技术内幕：真正的TCS  ----节选自《揭秘云存储》

在讲云存储分布式文件结构的时候，我们较少谈紧耦合对称(TCS)架构,其实TCS在日常的工作中比 “松弛耦合非对称(LCA)架构”使用的更早，商用的也更早。

我们知道现在电影电视的制作大都以高清为主，而多台工作站同时对一个文件进行编辑成为加快电影发布周期的一个方法。而构建TCS系统是为了解决单一文件性能所面临的挑战，这种挑战限制了传统NAS系统的发展。不管是电影高清制作还是HPC系统所具有的对速度的追求高于一切，因为它们需要的单一文件I/O操作要比单一设备的I/O操作多得多。业内对此的回应是创建利用TCS架构的产品，很多节点同时伴随着分布式锁管理(锁定文件不同部分的写操作)和缓存一致性功能。这种解决方案对于单文件吞吐量问题很有效，几个不同行业的很多HPC客户已经采用了这种解决方案。

在这里通过对一个在各大电视台测试成绩很不错的产品Isilon进行技术分析，希望大家能了解TCS的精华。

今天参与竞争的企业都面临着用于执行日常业务的数据的急剧增加，这在很大程度是由于非结构化数据爆炸性增长造成的。IT管理人员知道，使用并存储视频、音频、图像、研究数据及其他大型数字文件和非结构化数据的应用程序正在挑战传统存储系统的容量和性能禁区。直接连接存储 (DAS)、存储区域网络 (SAN) 和网络连接存储 (NAS) 都是典型的存储方法，大多数 IT 管理人员在谈到存储架构时都会想到它们。今天，针对非结构化数据的集群存储出现了。

Isilon是一个对称的集群存储系统，能够实现多100 TB的单一文件 系统跨越磁盘数千，里面没有GFS等分布式文件系统的控制节点的概念，也就将控制节点的瓶颈及单点故障给去掉了，主要功能还是由Isilon的OneFS操作系统实现的。

Isilon的OneFS操作系统是一个TCS分布式文件系统软件，它结合了三个层次传统的存储架构 - 文件系统，卷管理器和RAID建立一个单一的文件系统，智能对称横跨在群集的所有节点。提供了大量内容存储的单点管理，更快地获得大量内容的文件，固有的高可用性，并且能够轻松扩展单个群集的容量 - 高达7千兆字节

让我们看看Isilon的OneFS是怎么保证高带宽和高容错性的吧：

Isilon IQ的每个模块都包含一个强大的磁盘存储以及CPU，内存和网络，是一个独立的，紧凑，2U的机架式系统。随着更多的Isilon智商节点添加到群集，所有的对称集群规模方面，包括能力，吞吐量，线性增长。 Isilon IQ的节点自动控制，治理成一个统一的存储系统，技术关键是每个节点保持同步。 Isilon IQ的存储节点使用或者千兆以太网或高速的Infiniband联网通信，同步和所有intracluster业务结构。这使每个节点上的每一个系统与其他节点的信息共享，使每个存储作为一个什么样的其他节点都做完整的理解完全一致的对等节点的行为。如果任何一个节点进行下去，任何其他节点可以切换业务，从而消除任何单点失败。

最大特点就是在群集的所有节点是“平行”，因此该系统是完全对称的，消除分级系统和固有的瓶颈。

使用 Isilon IQ，即使损失多个磁盘或整个节点，客户仍不会失去对任何内容的访问权。OneFS 独一无二的 FlexProtect-AP 功能采用了 Reed Solomon ECC（纠错码）、奇偶校验块级拆分（从 n+1 到 n+4）以及横跨集群内多个节点的镜像文件块级拆分（从 2x 到 8x）。。这些类似RAID的保护机制可以设置在任何级别，包括集束，目录，子目录，甚至 单个文件上。而且为了保证数据安全，ONEFS的RAID是跨硬件产品做的，任何一个硬件模块的损害，都可以从其他模块重新找到数据，而且n +2可以保证在一个集群里面2个设备损害也不会造成影响。

当某个硬件模块不能工作时，系统会自动将该模块上的数据读出，分发给其他模块，做类似RAID 5 的rebuilding的操作。

总体来讲，对称式的分布式系统比较非对称系统的单点故障少，也没有控制节点的瓶颈，但是其NAS与客户端的链接选择方式，还有如何最优的将控制信息分布到各个节点是我们下一步要研究的问题。

《揭秘云存储》简介--预计12月 光头老蒋出版

从云存储的核心文件系统，到云存储访问，云存储管理等多个方面详细解析云存储的内部结构，深入浅出的讲述云存储基础知识，通俗易懂的描写云计算等相关技术，囊括著名云存储厂家主流产品，剖析各行业客户需求特点，并且通过分析云存储的特点给出针对各个行业的云存储应用。举出大量国内外成功案例和技术实现方法，让读者了解云存储最新的发展情况。