真实的云计算服务

专题出品人: 
专题日期: 
星期六

云计算提供了丰富而灵活的IT资源,如何充分利用云上的资源在已有的项目或产品中?如何在设计新产品架构时充分解耦,让采用云计算资源变的更容易?云计算解决方案专场将试图回答这些问题。在这里汇集了国内外典型的云计算服务企业,他们将从弹性的基础设施、低成本快速的获取开发和测试环境,及其他云计算资源等方面展示云计算的魅力,你还可以看到他们为客户实施的成功案例及其架构设计。

zoomeye.org是一个海量互联网数据爬取采集系统,提供全球的网络安全态势感知能力,基于统计分析、趋势分析感知网络安全脉络,把我未来趋势,帮助政府、企业、机构提前部署安全防御和应急。系统数据分析基于腾讯云平台,弹性计算有效帮助我们应对每月为期几天的峰值计算、采用Hadoop、Spark、Cassandra、MongoDB、Storm、Mahout等云相关大数据处理技术,帮助我们网络安全业务能更加实时高效响应。本次分享主要通过对一个漏洞的应急响应过程,从分析结果了解全球各国网络安全应急能力的排名,了解各国优劣势,感知大数据和云计算对网络安全行业的推动。

UOSCloud 是基于 OpenStack 的云服务平台,通过 Ceph 提供高性能、高可用的块存储支持。但 OpenStack各项目无法很好整合利用 Ceph,从 VM 到数据经过 Ceph 落地的冗长 IO 路径上如何进行OS、Hypervisor、文件系统的选型和性能优化和复杂的 Ceph 数据分布算法 CRush都让人望而生畏,同时作为一个面向普通硬盘优化的分布式存储系统无法利用 SSD 能力更是一个巨大痛点。

本次分享主要介绍 UOSCloud 的块存储 IO 栈,通过无缝整合 OpenStack 建立统一存储池来极大提高云平台的性能,经历一年多Ceph 全栈优化来完全释放 SSD 的能力,然后结合 UOSCloud 的数据分布策略简述如何使用 CRush构造跨机柜容灾方案。最后我们可以展望 Ceph 的下一步利用场景和更快的存储。

友盟数据统计分析系统的整体架构,包含SDK,实时计算系统,离线计算系统​等​几部分。从2010年4月公司成立以来,每个部分的系统都在根据实际情况升级和变化,我们的出发点一直是:准确,高效,稳定,且易于维护。SDK方面,我们进行了模块化的划分,便于维护和开发者自行组合选择。同时支持JSON和Thrift协议,兼顾数据包大小和老开发者的兼容需求。对SDK数据包的结构和校验方式有较为复杂的设计,以防止恶意刷数据的行为。

实时计算系统方面,我们的对外接入从BGP八线改造成了BGP八线+双线的方式。并且大量使用开源框架和系统搭建,包括Finagle、Kafka、Storm和MongoDB。为了应对设备标识系统的复杂情况,我们还专门设计了一个UMID系统。离线计算方面,我们主要基于Hadoop生态系统打造,使用到的技术包括Hadoop、HBase、Elephant Bird和ProtoBuf等。利用压缩方式的改进,从LZO到LZMA,我们节省了大量冷数据存储空间。我们自行研发的任务调度器满足了日常任务调度和异常情况下重跑数据的调度需求。我们还研发了自己的查询中间层使得后台直接使用HBase并对前端的查询接口保持一致。此外,我们还做了一些Hadoop/HBase源码级的改造,以使得系统的运行更​适应​自身​​硬件条件。

企业用户对云计算常常有这样一种误解:云计算在性能、功能和安全性等方面存在局限性,因此无法满足大型、复杂的企业级应用。然而事实并非如此,企业用户才是云计算真正的目标用户,而真正优秀的云计算完全可以满足任何类型的企业应用。云计算在技术层面已经Ready,用户缺乏的只有——想象力。

在此次演讲中,青云QingCloud联合创始人&研发副总裁甘泉(Reno Gan)将通过大量真实的案例,分享用户如何在云上构建复杂的企业级应用,由浅入深、从架构到应用,全面展示云计算在弹性、灵活、高效等方面的魅力。

在该环节,您将有机会了解亚马逊AWS云平台与主要AWS云服务的高可用性设计,例如亚马逊AWS的区域(Region)、可用区(Availability Zone)概念,EC2/EBS、S3、DynamoDB、RDS以及刚刚在re:Invent2014大会上发布的Aurora、Lambda等服务的高可用性设计理念;并进一步了解如何基于亚马逊AWS云平台设计与构建属于你自己的高可用应用系统的最佳实践。

自七牛云存储产品上线起,时间已过了三年,在这三年中,我们亲身经历了国内云计算产业的发展和诸多变革,七牛的产品团队也在此过程中探索出了自己的产品变化之道。这个分享会结合七牛的实战经验,分析七牛的客户使用云计算的架构方式,以及为了适应不同的客户类型和使用场景,七牛的产品变化过程,并在此基础上与大家共同探讨云计算的产业构成,给出企业如何更好使用云计算基础设施的建议。

如今市场上存在很多知名的NoSQL数据库。尽管这些数据库号称其应用场景仅适合非事务类业务,但是在真实的应用场景中,大量Operational操作类业务还是多多少少需要一些原子性和一致性需求的。

因此,人们现在只能将NoSQL定位于历史数据和日志存放仓库,在一定需要使用事务机制时,要么只能选择传统数据库,要么需要自己实现非常复杂的提交回滚逻辑。

SequoiaDB是一款类似MongoDB功能的文档类数据库,其最大的功能特点之一便是支持跨表跨节点的事务功能。本演讲主要介绍在一个分布式系统中事务的工作机制,尤其是在最终一致性与强一致性不同的场景中如何处理事务的一致性与数据的可靠性。