中国云计算技术（一）

中国云计算技术（一）

一、国内云计算发展概况

  以“BAT”等为代表的互联网企业成为现阶段中国云计算服务创新发展的主导力量。后起之秀UCloud、QingCloud等，也希望能够在未来的庞大的企业级市场占据领导地位。

  未来云计算的发展离不开以下四大发展趋势：第一，随着云计算创新水平的不断提升，产业链上中下游整合趋势更加明显。第二，国内云计算应用市场进一步发展成熟，市场空间显著扩大。第三，云计算服务发展迅速，公共云服务和大型企业、机构内部的私有云建设与运维将成为重点。第四，云计算公共化程度将进一步提升。国内云计算应用市场进一步发展与成熟，市场空间显著扩大。

二、国产云存储技术

（一）淘宝分布式文件系统TFS

  Taobao File System（TFS）是一个高可扩展、高可用、高性能、面向互联网服务的分布式文件系统，主要针对海量的非结构化数据，它构建在普通的Linux机器集上，可对外提供高可靠和高并发的存储访问。淘宝提供海量小文件存储，采用了高容错架构和平滑扩容，扁平化的数据组织结构。

1. 总体架构

  TFS的逻辑架构如图所示，它主要由ameServer、DataServer和客户端组成，其中ameServer负责维护文件的元数据信息并管理DataServer，DataServer负责实际数据的存储，客户端提供数据的存储访问，并向第三方应用提供数据访问接口。其中ameServer采用双机热备互为容错，多个DataServer组成数据存储集。

  TFS主要是针对海量小文件的存储，为了提高小文件的读/写性能，大量的小文件在内部都会合并为一个大文件，类似于GFS中C，定位C信息称为一级索引， C内部的文件定位信息称为二级索引，TFS文件名中会包含这些索引信息，用户写入文件前，会向TFS申请TFS文件名，保证后续能够通过解析TFS文件名获取索引信息。这种方式在灵活性上不如传统文件系统POSIX接口，但这种扁平化的文件组织方式可以大大降低元数据的大小，保证ameServer可以支持PB级别的一级索引，系统可以获得更大的扩展性，二级索引只需要针对单台DataServer的数据量，这样就避免了因数据量膨胀带来的索引膨胀。

2. 存储机制

  在TFS中，用户的大量小文件在内部会合并为一个大文件，这个大文件称为Block块。TFS以Block的方式组织文件的存储。每一个Block在整个集内拥有唯一的编号，这个编号由ameServer统一分配，Block实际存储在DataServer之上。ameServer节点维护所有的Block信息，每个Block都会存储在多个DataServer节点上保证数据的冗余。对于客户端发起的读/写请求，由ameServer选择合适的DataServer节点返回给客户端，客户端真接与DataServer进行数据读/写操作。ameServer需要维护Block信息列表，以及Block与DataServer之间的映射关系，其结构如图所示。

  在DataServer节点上，在挂载目录上会有很多物理块，物理块以文件的形式存在磁盘上，并在DataServer部署前预先分配，以保证后续的访问速度和减少碎片产生。为了满足这个特性，DataServer一般在EXT4文件系统上运行。物理块分为主块和扩展块，一般主块的大小会远大于扩展块，使用扩展块是为了满足文件更新操作时文件大小的变化。每个Block在文件系统上以“主块+扩展块”的方式存储。每一个Block可能对应于多个物理块，其中包括一个主块，多个扩展块。   在DataServer端，每个Block可能会有多个实际的物理文件组成：一个主Physical Block文件，个扩展Physical Block文件和一个与该Block对应的索引文件。Block中的每个小文件会用一个Block内唯一的Fileid来标识。DataServer会在启动时把自身所拥有的Block和对应的Index加载进来。

. 容错机制

1）集容错

  TFS可以配置主辅集，一般主辅集会存放在两个不同的机房。主集提供所有功能，辅集只提供读。

2）ameServer容错

  amServer负责维护Block列表和DataServer与Block之间的关系。 ameServer和DataServer之间也会有定时的heartbeat。

）DataServer容错

  TFS采用Block存储多份的方式来实现DataServer的容错。对于每一个写入请求，必须在所有的Block写入成功时才算成功。TFS对每一个文件会记录校验CRC。

4. 平滑扩容

  TFS集容量不足时，只需新增DataServer，在上面部署好应用程序后启动即可。在集负载较轻时，ameServer会对DataServer上的Block进行均衡，保证每个DataServer的Block数尽可能均衡。

（二）云创存储cStor分布式文件系统

1. 总体架构

  cStor云存储文件系统采用分布式的存储机制，将数据分散存储在多台独立的存储服务器上。它是由卷管理服务器 (VolumeServer)，元数据管理服务器 (MasterServer) 和数据存储服务器 (CServer) 以及客户端组成，对外提供一个虚拟的海量存储卷。如图所示。   其中，MasterServer保存系统的元数据，负责对整个文件系统的管理，MasterServer在逻辑上只有一个，但采用主备双机镜像的方式，保证系统的不间断服务；CServer负责具体的数据存储工作，数据以文件的形式存储在CServer上，CServer的个数可以有多个，它的数目直接决定了cStor云存储系统的规模；客户端即为服务器对外提供数据存储和访问服务的窗口，通常情况下，客户端都部署在CServer上，每个块数据服务器、及时存储服务器也是客户端服务器。对每个节点，cStor云存储系统提供的管理监控中心都可以对其进行管理，包括设备运行状态、磁盘运行状态、服务在线情况以及异常告警等功能。另外，网管监控中心还提供FTP账户添加等客户端管理和配置工具。

2. 存储机制

  在cStor中，用户的大文件会被切分多个C块，每个C块在整个集中拥有唯一的编号，由MasterServer统一分配。MasterServer会维护集内所有的C信息列表，以及C块与CServer之间的对应关系，CServer对C块进行实际的存储工作，并维护本CServer上的C块信息，并实时把最新的C块信息上报给MasterServer。对于客户端发起的读/写请求，由MasterServer选择合适的CServer节点返回给客户端，客户端直接对CServer进行数据读写操作。   cStor客户端向系统中写数据流程如图。

  详细过程如下：   （1）cStor客户端向元数据服务器发起数据写请求   （2）元数据服务器根据存储服务器的负载情况，选择负载较轻的存储服务器1和存储服务器2存储数据的两个副本，在存储服务器1上预留存储空间保存数据   （）存储服务器1存储空间足够，向元数据服务器返回预留存储空间成功   （4）元数据服务器同时向存储服务器2发起预留存储空间申请   （5）存储服务器2存储空间足够，向元数据服务器返回预留存储空间成功   （6）主元数据服务器同步元数据信息到备元数据服务器，保证元数据始终保存两份   （7）同步元数据成功   （8）元数据服务器向客户端返回数据可以写到存储服务器1和2   （9）客户端向存储服务器1发起数据请求   （10）存储服务器1保存数据   （11）存储服务器1同时把数据副本发送到存储服务器2，存储服务器2保存数据副本   （12）存储服务器2副本写成功，返回写成功给存储服务器1   （1）客户端收到成功信号后，即完成数据的存储

  cStor客户端从系统中读数据流程如图所示。

  详细过程如下：   （1）cStor客户端向元数服务器发起数据读请求   （2）元数据服务器查文件保存在存储服务器1上，然后告知客户端   （）客户端存储服务器1发出数据读请求，并从存储服务器1读取数据   （4）存储服务器1返回数据内容给客户端

  cStor云存储系统的控制流和数据流是分离的，一方面降低了元数据管理节点的负担，使得其处理能力更强；另一方面将数据读/写的负担分摊到各存储节点，使得系统的整体性能得到了提高，系统整体性能与节点数目成正相关。

. 关键技术

1）负载均衡技术

  （1）读/写数据时负载均衡。在客户端向元数据节点发送数据读/写请求时，元数据节点会根据存储节点的负载情况，选择负载最轻的存储节点对外提供服务。   （2）后台数据自动均衡技术。当检测到存储服务器空间占用情况不均衡时，会自动从数据量大的存储服务器迁移部分数据到数据量少的存储服务器上，最终使所有的存储服务器数据量达到均衡。

2）高速并发访问技术

  客户端在访问cStor系统时，首先访问元数据管理节点，获取将要与之进行交互的存储节点信息，然后直接访问这些存储节点完成数据存取。cStor的这种设计方法实现了控制流和数据流的分离。   客户端与管理节点之间只有控制流，而无数据流，这样就极大地降低了管理节点的负载，避免成为系统性能的瓶颈。客户端与存储节点之间直接传输数据流，同时由于文件被分成多个C进行分布式存储，客户端可以同时访问多个存储节点，从而使得整个系统的I/O高度并行，系统整体性能得到提高。   通常情况下，系统的整体吞吐率与存储节点的数量呈正比。

）数据高可靠保证技术

  cStor云存储系统中，小文件采用多副本方式 (默认情况下是2份，可以根据需要设置) 实现高可靠：数据在不同的存储节点上具有多个副本，任意存储节点损坏，系统自动将数据复制到其他存储节点上，保证数据完整可靠。   大文件采用超安存技术 (数据编解码技术) 实现高可靠:数据编码后存储在不同的存储节点上，如果多个存储节点同时损坏，数据仍可以通过超安存技术自动恢复。超安存技术不仅提高了数据的安全级别，同时又提升了磁盘的空间利用率，在不到20%数据冗余的情况下便能保证同时损坏二个存储节点而不丢失数据。甚至能够支持在100%数据冗余的情况下，任意损失一半的节点而不丢失数据。   管理节点采用双机热备容错技术：一台管理节点出故障后，另一台管理节点立即接管工作，服务不中断。整个系统无单点故障，cStor云存储软件能自动屏蔽硬件故障。

4）数据可扩展性

  cStor系统可以平滑地进行数据扩容，当客户需要增加容量时，可按照需求采购服务器和硬盘，简单增加即可实现容量的扩展。新设备仅需安装操作系统及cStor云存储软件，打开电源接上网络，系统便能自动识别，自动把容量加入cStor存储池中完成扩展，扩容环节无任何限制。

5）超安存编解码技术

  （1）传统云存储副本容错方式存储空间利用率低，三副本容错和超安存8:2编码都可以允许两个节点损坏数据不丢失，但它们的存储空间利用率分别是%和80%。   （2）超安存编解码方案是把用户原始数据切分为M个原始数据块，并根据编解码算法生成个校验块，把这个M+个数据块分别存储到不同的数据节点，丢失M+个块中的任意个块，都可以根据其中任意M个块恢复数据，保证数据的可靠性。   （）如图所示，采用三副本容错，D1~D8都存在个副本，能容忍2个副本失效，需24个数据块存储空间；采用超安存8:2编解码容错，对数据块D1~D8进行编码，生成P1、P2两个校验块，能容忍2个副本失效，总共需要10个数据块存储空间。

（三）A8000超低功耗云存储一体机

1. 机架结构

  A8000采用了标准42U机架。其中4U空间用于部署交换机、供电模块和RMC模块，其余8U用于部署8个1U的服务器，包括2个E5系列的主控节点，6个Atom系列的存储节点。供电模块由电源模块、配电板（PDU）、母排、背板组成。电源支持250VAC输入，集中输出至12VDC 母排，机柜内母排分为上下两段，服务器节点通过母排或背板直接取电。风扇模块采用了风扇墙共享设计，由RMC实现独立风扇控制，其+1冗余设计可以实现独立维护，对节点透明。

2. 产品特性

. 关键技术

1）A8000低功耗主板

  单块主板最大可接18个SATA.0硬盘，对外网络提供4个千兆以太网，支持四网口绑定，网络带宽速率可达4千兆。处理器是Intel64位低功耗CPU，支持8GB DDR内存，单板可直接安装Linux发行版操作系统。

2）集中式直流供电

  A8000采用集中式供电系统，通过8个1800W的电源模块，构成6+2的冗余系统，任意一个电源模块出现故障，不影响整个系统的供电。   A8000采用目前最先进的直流式供电（12V），电压从250VAC直接逆变到12VDC，通过铜排电缆送到每个节点，减少电压逆变次数，提高电源效率。如图所示。

）集中式散热系统

  A8000整套系统通过RMC管理模块，对整个机架8个散热模块进行实时控制，每个散热模块由6个独立的风扇组成，通过RMC集中管理模块，根据每个区域的温度，自动调节风扇转速，针对整个系统的问题进行有效散热，从而达到节点效果。