云存储技术博客：光头老蒋

     在数据库系统中，写日志和写数据文件是数据库中IO消耗最大的两种操作，在这两种操作中写数据文件属于分散写，写日志文件是顺序写，因此为了保证数据库的性能，通常数据库都是保证在提交(commit)完成之前要先保证日志都被写入到日志文件中，而脏数据块着保存在数据缓存(buffer cache)中再不定期的分批写入到数据文件中。也就是说日志写入和提交操作是同步的，而数据写入和提交操作是不同步的。这样就存在一个问题，当一个数据库崩溃的时候并不能保证缓存里面的...

      有关serverless中，备份数据是否要经过备份服务器这个问题？大家有很多争议，现在给大家一个明确的答复就是，都可以用，但是具体用那种？要看你具体的应用和选择的方案。Server-Less备份实现方式目前，随着计算机技术的发展，实现Server-Less的备份方式大致概括为两种：第一种是最传统的方式，这种方式在整个备份域指定一台专有的备份服务器用来作为专门执行备份，并且还要配合一些第三方的软件才能实现Server-Less的备份。如...

前几天一直还迷美剧 lie to me, 里面有些招式还是比较有用的，给大家参考一下：《别对我撒谎》中的测谎招数1.撒谎者不像惯常理解的那样会回避对方的眼神，反而更需要眼神交流来判断对方是否相信他说的话。 2.“你去过她家吗？”“不，我没有去过她家。”对问题的生硬重复是典型的撒谎。 3.男性摸鼻子代表想要掩饰某些内容。 4.手放在眉骨附近表示羞愧。 5.描述一连串发生的事情，编造都是按时间顺序进行的，能否流利准确地进行倒叙是判断对方是否说谎的标准之...

分布式文件系统的设计目标大概是这么几个：透明性、并发控制、可伸缩性、容错以及安全需求等。我想试试从这几个角度去观察HDFS的设计和实现，可以更清楚地看出HDFS的应用场景和设计理念。    首先是透明性，如果按照开放分布式处理的标准确定就有8种透明性：访问的透明性、位置的透明性、并发透明性、复制透明性、故障透明性、移动透明性、性能透明性和伸缩透明性。对于分布式文件系统，最重要的是希望能达到5个透明性要求：1）访问的透明性：用户能通过相同的操作来访问本地文件和远程文件...

在中国有一个奇怪的事情，就是所有的宣传媒体和所谓精英层都在美化和夸大外国人，特别是欧美人。 好像欧美人都是文明的，有教养的。但是在中国国内这些外国人表现的又如何呢？

“重复数据删除”这个词是根据英文“De-Duplication”翻译过来的，更直白一点说就是消除副本。ESG将重复数据删除定义为删除或擦去冗余文件、字节或数据块的流程，确保只有“独有”的数据存储在磁盘上。重复数据删除最基本的形式是出现在CAS（内容寻址存储）设备中的单一实例存储（single-instance store），例如，EMC的 Centera。当每个文件存储到CAS系统上时，CAS系统会为存储的文件内容生成一个散...

In-line and post-process de-duplication are features -- not benefits. And I think that arguing about which one is better is like trying to argue which is better: synchronous or asynchronous replication. The both have benefits and drawbacks. What matt...

时机问题现在重复数据删除领域最热门的话题之一就是应该在什么时候启动重复数据删除流程？应该选择在数据传送的过程中进行处理的in-line方式还是选择在完成备份之后进行处理的post-process呢？在上一篇文章中我们已经谈到了关于重复数据删除更为详尽的解释，这里我们快速回顾一下，重复数据删除是一个将输入数据流与之前保存在系统中的数据进行比较、找出冗余的子文件信息、只保存一个版本的文件信息的流程。在备份过程中这项技术非常有价值，因为大多数的数据都是相同的，尤其是从完全备份到完全备份。重复数据删除技...

      包括Data Domain和昆腾在内的多家存储厂商都推出了自己的重复数据删除系统，这些系统并不是与某个特定的VTL或者备份应用相兼容，而是一种通用的重复数据删除系统。采用通用重复数据删除系统的好处就在于它是针对重复删除的数据设计的。因此，这些系统对数据来源是“一视同仁”的，也就是说，备份源数据可以是来自多种应用的，例如备份软件、应用设备、归档应用或者直接来自用户。通用系统提供了多个数据访问协议（NFS、CIFS...

       吐鲁番令人向往，离乌鲁木齐又很近，出发吧。路上有美景，达坂城的风车有上千在路边，一大片，在新疆在知道什么是地大物博  大巴扎夜景...