<?xml version="1.0" encoding="UTF-8" standalone="yes"?>
<?xml-stylesheet type="text/css" href="css/atom.css"?>
<feed xmlns="http://www.w3.org/2005/Atom"><title type="html"><![CDATA[云存储技术博客：光头老蒋(云存储技术，虚拟化，IP存储， 数据库容灾等）]]></title><subtitle type="html"><![CDATA[如果说信息是生活的全部，那么存储是世界的中心（存储技术讨论）]]></subtitle><id>http://www.click2earth.com/</id><link rel="alternate" type="text/html" href="http://www.click2earth.com/"/><link rel="self" type="application/atom+xml" href="http://www.click2earth.com/atom.xml"/><generator uri="http://www.rainbowsoft.org/" version="1.7 Laputa Build 70216">RainbowSoft Studio Z-Blog</generator><updated>2011-02-11T17:16:08+08:00</updated><entry><title type="html"><![CDATA[SHAZAM音乐旋律云搜索（云计算云存储应用midomi，百度哼唱）]]></title><author><name>elvisjiang</name><email>a@b.com</email></author><category term="" scheme="http://www.click2earth.com/catalog.asp?cate=1" label="存储技术"/><updated>2011-02-11T17:16:06+08:00</updated><published>2011-02-11T17:16:06+08:00</published><summary type="html"><![CDATA[<p> </p><p>记得有个大家记歌词的节目，很火爆，通过旋律快速找到歌曲，旋律搜索有多少用处呢？我们常常会遭遇到这样的尴尬：在大街小巷邂逅一段熟悉的旋律，无奈又听不清歌词。遗憾也许这辈子就这样失之交臂了。</p><p>不必懊恼，Shazam 是一款能够识别音乐讯号的应用。相信不少朋友对它并不陌生。它在 iPhone 和 Andriod 手机里出现的频率很高，诺基亚的某些手机甚至预装了这样一款软件。</p><p>它的基本原理就是通过采集十几秒的声音样本，通过网络将音乐信号发回 Shazam公司，经过数据分析，很快便将该乐曲的相关信息发回手机。你对此一定不满足，幸运的是我们找到了开发者的一份材料。</p><p>我们都知道，一段音乐信号可以通过频谱图表示。横轴表示时间，纵轴为频率，另一个轴表示强度，即一个三维的频谱。那么，一条水平线代表一段连续的音频，垂直线代表一个瞬间的白噪声。如下图，图中的每一个点都代表特定时间点的频率强度，即为选定的"锚点"。图中的红色标记代表该时间点声音强度的峰值。</p><p style="text-align: center"><img src="http://www.click2earth.com/upload/021111_0905_SHAZAM1.jpg" alt=""/>	</p><p>由开发者的材料看，他们大约是每秒提取 3 个锚点。然后，他们会把收集到的信息建成一个哈希表（Hash table），其键值就是频率。当 Shazam 收到一段音频，以下图为例，它会以第一个键值，即 823.44 Hz 搜索匹配项。</p><p style="text-align: center"><a href="http://www.ifanr.com/21133/thumb160x_frequencygraph1"><img src="http://www.click2earth.com/upload/021111_0905_SHAZAM2.jpg" alt="" border="0"/></a>	</p><p>哈希表可能如图所示：</p><p style="text-align: center"><img src="http://www.click2earth.com/upload/021111_0905_SHAZAM3.png" alt=""/>	</p><p>他们不只是标注频谱的一个点，而是一个点对，每个峰值加了第二次锚点，即一个散列的两个点的频率，这样就能减少搜索时因噪声干扰而可能产生的误差。</p><p>接下来就是检索的过程了，如果一段音频多次匹配，就会自动坚持这些频率所对应的时间是否与哈希表一致。当两个音频近似时，这些锚点连成一条连线，如果能检测出这条线，就说明音频匹配。</p><p style="text-align: center"><img src="http://www.click2earth.com/upload/021111_0905_SHAZAM4.jpg" alt=""/>	</p><p>据悉，类似的技术最早由一家名为 Melodis 的公司推出，它推出的一款应用—— Midomi ，与 Shazam 相似。当然，也不乏基于电脑的应用，比如前不久测试的百度哼唱，是首次在国内推出的哼唱搜索引擎。不过由于技术问题，推出时间可能要到2011年下半年了。 Midomi和shazam的搜索在美国用的人不多，倒是中国市场贡献了1/4的点击量，人多力量大啊。</p><p>      说到语音的搜索，shazam号称收录的音乐曲目为7万，而midomi则有超过10万首歌，天文数字，传统的数据库搜索是无法完成的。只有使用使用云计算云存储的方式解决。</p><p>   举例：使用类似BIGTABLE的半结构化数据库记录每首哥的旋律：</p><p> </p><p><img src="http://www.click2earth.com/upload/021111_0905_SHAZAM5.png" alt=""/>	</p><p>搜索方式采用数状结构：根服务器，从根音823.44赫兹开始，到第二个记录音的音频小于800则进入server A进行搜索，如此类推，进入到第三或者第四层时，搜索匹配的数据在几千个，大大缩短了收索时间，也将海量收索的负载平均分配下去。</p><p>    期盼在视频搜索上也能有如此的突破，将来的世界通过声音，动作就能进行控制。</p>]]></summary><link rel="alternate" type="text/html" href="http://www.click2earth.com/post/132.html"/><id>http://www.click2earth.com/post/132.html</id></entry><entry><title type="html"><![CDATA[云平台的8种资源管理策略]]></title><author><name>elvisjiang</name><email>a@b.com</email></author><category term="" scheme="http://www.click2earth.com/catalog.asp?cate=1" label="存储技术"/><updated>2010-12-02T17:16:15+08:00</updated><published>2010-12-02T17:16:15+08:00</published><summary type="html"><![CDATA[国内云平台的研究，大部分集中在并行计算及分布式文件系统上，对整个云平台的资源策略研究比较少，在此老蒋总结一下现在云平台中调度计算及存储资源的8种弹性策略。抛砖引玉希望大家能深入探讨如何保障云的弹性问题。平台通过负载均衡和资源均衡的分配策略，根据服务请求与当前资源利用情况进行合理分配，满足最佳匹配资源供给。在云平台中，没有中心控制的概念，各集群间都是独立的。因此，当本地集群资源不够，系统可以通过作业的跨域迁移，保证作业的正常运行。当网络发生故障、或某些集群宕机时，通过跨平台性以及容错系统保障集群系...]]></summary><link rel="alternate" type="text/html" href="http://www.click2earth.com/post/131.html"/><id>http://www.click2earth.com/post/131.html</id></entry><entry><title type="html"><![CDATA[Amazon AWS云管理平台技术内幕（1）--节选之《揭秘云存储》]]></title><author><name>elvisjiang</name><email>a@b.com</email></author><category term="" scheme="http://www.click2earth.com/catalog.asp?cate=1" label="存储技术"/><updated>2010-11-23T18:56:51+08:00</updated><published>2010-11-23T18:56:51+08:00</published><summary type="html"><![CDATA[&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 云架构 是满足按需分配的服务而设计的软件架构。 云架构上构建服务流程是这样，基本的计算及基础设施只是在有需要时（例如处理一个用户请求）才分配出去，分配必要的资源上的需求（如计算服务器或存储），执行特定的工作，然后放弃不必要的资源。  <img onload="ResizeImage(this,520)" src="http://www.click2earth.com/upload/186-figure3.png" alt="" title=""/>老蒋认为这个过程中提供整个计算及存储等基础设施管理，分配，回收等工作的就称为云管理平台。云...]]></summary><link rel="alternate" type="text/html" href="http://www.click2earth.com/post/130.html"/><id>http://www.click2earth.com/post/130.html</id></entry><entry><title type="html"><![CDATA[DYNAMO平台的独门绝技： 利用NWR模型与vector clock解决锁问题]]></title><author><name>elvisjiang</name><email>a@b.com</email></author><category term="" scheme="http://www.click2earth.com/catalog.asp?cate=1" label="存储技术"/><updated>2010-11-09T11:05:22+08:00</updated><published>2010-11-09T11:05:22+08:00</published><summary type="html"><![CDATA[DYNAMO平台的独门绝技： 利用NWR模型与vector clock解决锁问题&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 我们知道当系统系统为多用户时，就必须使用文件锁的机制来保护数据的完整性和一致性。举例A用户向数据区D1写了数据1， 那么用户B和C都可以看到D1的数据为1，而当A，B同时在向数据区D1做加1的操作，就需要一个锁，让先发起的用户先操作，后发起的用户就需要在队列里面排队等待前面的用户完成操作，再继续进行。<img onload="ResizeImage(this,520)" src="http://www.click2earth.com/upload/320px-Vector_Clock_svg.png" alt="" title=""/>]]></summary><link rel="alternate" type="text/html" href="http://www.click2earth.com/post/129.html"/><id>http://www.click2earth.com/post/129.html</id></entry><entry><title type="html"><![CDATA[无敌兔西藏行（4）：珠峰归来，活着真好]]></title><author><name>elvisjiang</name><email>a@b.com</email></author><category term="" scheme="http://www.click2earth.com/catalog.asp?cate=3" label="老蒋的摄影专集"/><updated>2010-10-29T16:27:24+08:00</updated><published>2010-10-29T16:27:24+08:00</published><summary type="html"><![CDATA[只有我这样的忠贞<br/>                          才敢于倒在这样荒寒的乡野<br/>                          只有我这样威武的狮子            <br/>                          才敢于倒在这样寂然无声的水面<br/>                          我流着<br/>                          永不停息……<br/><br/>                                     献给长眠于珠峰8300米以上的208位勇士<br/><img onload="ResizeImage(this,520)" src="http://www.click2earth.com/upload/xMG_1981.JPG" alt="" title=""/><br/><br/>]]></summary><link rel="alternate" type="text/html" href="http://www.click2earth.com/post/128.html"/><id>http://www.click2earth.com/post/128.html</id></entry><entry><title type="html"><![CDATA[SSD的主要缺陷及Wear Leveling技术详解]]></title><author><name>elvisjiang</name><email>a@b.com</email></author><category term="" scheme="http://www.click2earth.com/catalog.asp?cate=1" label="存储技术"/><updated>2010-10-24T10:09:26+08:00</updated><published>2010-10-24T10:09:26+08:00</published><summary type="html"><![CDATA[SSD的主要缺陷及Wear Leveling技术详解&nbsp;读写次数有限SSD最大的缺陷在于读写次数有限，SSD分为两种；快闪存储器的多层式储存单元（Multi-Level Cell，MLC）要比单层式储存单元（Single-Level Cell，SLC）更有价格优势，也比较有取代传统硬碟的架势。虽然在抹除（写入）次数上，MLC号称一万次，SLC号称十万次，但根据老蒋取得的统计数据显示，实测过后，MLC只有三千次，SLC则只到三万次。这样的寿命用在一般消费电子、数码相机、USB随身碟都没什么...]]></summary><link rel="alternate" type="text/html" href="http://www.click2earth.com/post/127.html"/><id>http://www.click2earth.com/post/127.html</id></entry><entry><title type="html"><![CDATA[无敌兔西藏行（4）：永远的羊湖]]></title><author><name>elvisjiang</name><email>a@b.com</email></author><category term="" scheme="http://www.click2earth.com/catalog.asp?cate=3" label="老蒋的摄影专集"/><updated>2010-10-23T23:21:50+08:00</updated><published>2010-10-23T23:21:50+08:00</published><summary type="html"><![CDATA[&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 惊艳而静如处子的羊湖，羊湖，又名羊卓雍错，位于山南地区浪卡子县境内，旧时为十三万户之一的&ldquo;羊卓&rdquo;万户的属地，现为藏中旅游西环线的重要景点和藏南最大的内陆湖泊。湖面海拔4456 米，东西长130公里，南北宽近70公里，外围周长近300公里，湖水面积638平方公里，湖水平均深度为30－40 米，最深处在湖的东部及帕多岛南部一带近60米。<img onload="ResizeImage(this,520)" src="http://www.click2earth.com/upload/_MG_1316.JPG" alt="" title=""/>]]></summary><link rel="alternate" type="text/html" href="http://www.click2earth.com/post/126.html"/><id>http://www.click2earth.com/post/126.html</id></entry><entry><title type="html"><![CDATA[无敌兔西藏行（3）：拉萨发呆的日子]]></title><author><name>elvisjiang</name><email>a@b.com</email></author><category term="" scheme="http://www.click2earth.com/catalog.asp?cate=3" label="老蒋的摄影专集"/><updated>2010-10-21T23:23:35+08:00</updated><published>2010-10-21T23:23:35+08:00</published><summary type="html"><![CDATA[&nbsp;&nbsp;&nbsp; 拉萨早上缺氧的头有点小痛，但很享受这种感觉，一边发呆，一边闲逛，哲蚌寺，罗布林卡，玛吉阿米的中秋月。哲蚌寺是藏传佛教格鲁派六大寺庙之一，也是全世界最大的寺庙，解放前这里的僧侣数目多达10000人。转山的人很多，山上的风马和雕像&nbsp;&nbsp <img onload="ResizeImage(this,520)" src="http://www.click2earth.com/upload/_MG_1178.JPG" alt="" title=""/>&ldq...]]></summary><link rel="alternate" type="text/html" href="http://www.click2earth.com/post/125.html"/><id>http://www.click2earth.com/post/125.html</id></entry><entry><title type="html"><![CDATA[无敌兔西藏行（2）：拉萨，离天只有一个心跳的距离]]></title><author><name>elvisjiang</name><email>a@b.com</email></author><category term="" scheme="http://www.click2earth.com/catalog.asp?cate=3" label="老蒋的摄影专集"/><updated>2010-10-20T12:24:07+08:00</updated><published>2010-10-20T12:24:07+08:00</published><summary type="html"><![CDATA[&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp;&nbsp; 拉萨，离天只有一个心跳的距离。 离天近，空气自然稀薄， 人总有缺氧的飘飘然。所以拉萨是最适合旅行者闲逛和发呆晒太阳的地方。我们住在布宫和八角街的中间，到哪里都是闲逛着去，早上的布宫巍巍然。&nbsp;<img onload="ResizeImage(this,520)" src="http://www.click2earth.com/upload/IMG_0578.JPG" alt="" title=""/>到八角街的途中，爷孙两。&nbsp;&nbsp]]></summary><link rel="alternate" type="text/html" href="http://www.click2earth.com/post/124.html"/><id>http://www.click2earth.com/post/124.html</id></entry><entry><title type="html"><![CDATA[存储云结构比较——Dynamo VS Bigtable ]]></title><author><name>elvisjiang</name><email>a@b.com</email></author><category term="" scheme="http://www.click2earth.com/catalog.asp?cate=1" label="存储技术"/><updated>2010-10-09T10:04:49+08:00</updated><published>2010-10-09T10:04:49+08:00</published><summary type="html"><![CDATA[存储云结构比较&mdash;&mdash;Dynamo VS Bigtable 比较典型的存储云基础系统有Amazon公司的Dynamo系统与Google公司的Bigtable系统，这两种系统不但已经开始是商用（参见S3 服务和 Google App Engine服务），而且都公开了比较详细的实现论文（尤其dynamo系统论文格外详尽&mdash;&mdash;可见Amazon公司的无私和自信）。它们各自实现架构迥异，存储特性不一，但都结构优美，技术上各有可称道的地方，可谓各有千秋，却又殊途同归...]]></summary><link rel="alternate" type="text/html" href="http://www.click2earth.com/post/123.html"/><id>http://www.click2earth.com/post/123.html</id></entry></feed>

