大数据与云计算

基础内容

一、单位表示

• 1KB=1024字节
• 1MB=1024KB=10⁶字节
• 1GB=1024MB=10⁹字节
• 1TB=1024GB=10¹²字节
• 1PB=1024TB=10¹⁵字节
• 1EB=1024PB=10¹⁸字节

二、大数据

定义：海量数据或巨量数据，其规模巨大到无法通过目前主流的计算机系统在合理的时间内获取、存储、处理并提炼以帮助使用者决策

大数据的4V+1C特征：

• Volume——数据量大：存储的数据量PB级别是常态，计算量也大
• Variety——多样：数据的来源及格式多样，其中格式除了传统的结构化数据格式外，还有半结构化数据或非结构化数据等
• Velocity——快速：数据增长速度快，且越新的数据价值越大
• Value——价值密度低：需要对大量的数据进行处理，从而挖掘其潜在的价值
• Complexity——复杂性：对数据的处理和分析难度大

三、云计算

在中国大数据专家委员会成立大会上，委员会主任怀进鹏院士用一个公式描述了云计算与大数据的关系：

G=f(x) x是大数据，f是云计算，G是目标

即云计算是处理大数据的手段，没有大数据，就不需要云计算；没有云计算，就无法处理大数据

• 那么，什么是云计算呢？

刘鹏教授对云计算给出了长、短两种定义：

长定义：云计算是一种商业计算模型，它将计算任务 分布在由大量计算机构成的资源池上，使各种应用系统能够根据需要获取计算力、存储空间和信息服务

短定义：云计算是通过网络按需提供可动态伸缩的廉价计算服务

上述的“资源池”称为“云”，是一些可以自我维护和管理的虚拟计算资源，通常是 大型服务器集群，是云计算的核心理念

四、云计算的特点及发展

4.1 云计算的特点

• 超大规模
• 虚拟化
• 高可靠性
• 通用性
• 高可伸缩性
• 按需服务
• 及其廉价

4.2 云计算的发展

云计算是并行计算、分布式计算和网格计算的发展，同时是虚拟化、效用计算、将基础设施作为服务IaaS、将平台作为服务PaaS、将软件作为服务SaaS等概念混合演进跃升的结果

4.3 三种服务类型

• IaaS（Infrastructure as a Service）——将基础设施作为服务。该服务将硬件设备等基础资源封装成服务供用户使用，如亚马逊云计算AWS（Amazon Web Service）的弹性计算云EC2和简单存储服务S3（在IaaS环境中，用户相当于在使用裸机和磁盘）

• Paas（Platform as a Service）——将平台作为服务。该服务对资源的抽象层次更进一步，它提供用户应用程序的运行环境，需要用户使用特定的编程环境并按照特定的编程模型来开发在线应用服务

• SaaS（Software as a Service）——将软件作为服务。该服务的针对性更强，它将某些特定应用软件功能封装成服务，既不像PaaS一样提供计算或 资源存储类型的服务，也不像IaaS一样提供运行用户自定义应用程序的环境，它只提供某些专门用途的服务应用调用

但随着云计算的不断发展，不同的云计算解决方案之间相互融合渗透，同一种产品通常横跨两种及以上的服务类型

4.4 云计算技术体系结构

云计算技术体系结构可分为四层，自底向上为：

• 物理资源层：包括计算机、存储器、网络设施、数据库和软件等

• 资源池层：将大量相同类型的资源构成同构或接近同构的资源池，如计算资源池、数据资源池等，构建资源池更多的是物理资源的集成和管理工作

• 管理中间件层：负责对云计算的资源进行管理，并对众多应用任务进行调度，使资源能够高效、安全地为应用提供服务

• SOA构建层：将云计算能力封装成标准的Web Service服务，并纳入SOA体系进行管理和使用，包括服务接口、服务注册、服务查找、服务访问和服务工作流等

资源池层和管理中间件层是云计算技术的最关键部分