大数据分析型产品对比之ODPS篇

之前尝试使用过一些国内外的云产品，特别是大数据分析型产品，例如：亚马逊的EMR、Redshift，Google的Bigquery以及阿里云的ODPS。相信大多数人对亚马逊的EMR、Redshift，Google的Bigquery都比较了解。但在尝试使用ODPS后，--ODPS感觉也是一款不错的大数据分析产品。本文主要为大家介绍关于ODPS的使用体验，同时也会与Redshift及Bigquery做对比，让大家对各款云产品有初步的认识。

鉴于很多人对ODPS不是很熟悉，在这里有必要简单介绍下。ODPS 是阿里云旗下一款功能较为齐全，使用便捷，完全托管的TB级别数据仓库产品，用于解决用户在分析大数据过程中遇到的问题。ODPS提供多种数据导入/导出手段，使用户数据轻松上云。且完全屏蔽底层算法的实现，即便没有分布式编程经验的开发人员，也能快速完成分析工作。同时ODPS提供的多种计算框架，在使用习惯上与开源Hadoop基本一致，用户不需要过多的额外学习就可以基本掌握ODPS的使用方法。此外，阿里云数加产品还为ODPS提供了友好的图形化界面，方便用户开发、配置作业，完成多用户协同工作。阿里云下的另一款产品CDP能够提供ODPS与阿里云旗下其他产品的数据互通。

下面，我将从准备工作、数据导入、BI分析以及机器学习、流式分析等场景介绍ODPS。

准备工作

在正式使用之前，仔细阅读了ODPS的文档，这个还是很有必要的，对产品的基本概念、安全策略、售卖方式要有足够的了解。在此之后再进行创建Project，Table等操作(各家的组织结构不尽相同，RedShift有Cluster、Database，Bigquery有Project、Dataset，ODPS是Project)。

在这方面ODPS和Bigquery明显好于Redshift，前两者真正做到了开箱即用，在创建Project后，即可进行数据开发工作，无需额外的启动服务及系统配置工作。用户不必关心硬件配置、系统规模等繁琐的配置。作为一款完全托管的大数据分析产品，ODPS可以根据业务情况做到计算资源自动弹性伸缩。但亚马逊要先启动Cluster，再创建Project，且在此过程中还需要诸多配置工作(这也难怪，AWS几乎都是基于ECS的)。