重复删除技术,压缩和加密算法的区别
看了网上很多人讨论这个3者的区别,感觉都没有说的最根本的内容。其实这三者有很多相似的东西。 比如对数据的处理方式,都会减少数据占用磁盘的空间。但最关键的区别点需要讨论:
压缩
压缩虽然大家已经使用很久了,而且在现在一些新的系统例如VTL中又可以看到。但是总结来说,压缩是在文件内来删除重复数据的方式来减小单个文件的大小。 通过减小单个文件的大小来增加单位磁盘内的文件数量。例如: 一个100K的TXT文件被压缩成52KB(通过将长的字符用短字符来表达的方式),在读出时有能用算法计算出原来的文件。 图片也可以压缩,例如PIXEL数据可以压缩成JPG的文件格式。 现在通用的数据,文本文件等都能达到2比1的压缩比。
重复数据删除
一个典型的数据中心往往存储了多个相同数据的副本,因为每个副本都属于不同的文件,所以不能用压缩的方式删除。 重复数据删除技术就是在一个存储设备上通过删除 重复的副本来降低数据的存储空间。
例如: 10MB的 PPT文件存储在 10个文件夹中给 10个不同的销售使用, 所占用的空间为 100MB, 但是 因为文件只相同的,所以浪费了90MB的空间。 如果使用了重复数据删除的技术,只有10MB的空间就够了。 因为这个技术能保证有一份完整的数据存储在磁盘上, 而以后存储相同的文件只是存储了 一个指针,指向这个完整的数据集。 同样道理, 如果发一封相同的邮件给200个人,也是只存储1个完整邮件文件和 199个指针。
加密
随着商业社会对数据保密的要求提高, 数据中心的主管在越来越多的要求对数据进行加密的处理。
加密是指通过一个独特的算法通过一个密码序列号将整个文件重新计算,形成一个新的格式。 如果想恢复的话必须通过相同的算法恢复数据。
总结:相比较而言, 压缩和重复数据删除有一点的相似性,只是 一个是在文件内部做比较,删除重复的,或者用简单的字符代替。 而重复数据删除是在整个存储系统里面做对比和重复删除,所以后者节约的空间会更大。但是从法规考虑上, 压缩 能保留完整的文件,而重复删除的技术如何归类?还需要研究。
最新评论及回复