平时常有人问起数据库和数据仓库到底有什么区别?简单来说,数据库是为处理日常事务而生的,数据仓库则是为分析决策而存在的。打个比方:数据库就像一台收银机,每笔交易都记录得清清楚楚;数据仓库就像是后台的财务分析室,把一堆交易数据重新整理、归类,用来算成本、做预测。通俗地讲,数据库负责“干活”,数据仓库负责“算账”。
从设计哲学上看,数据库追求的是“快写快查”,所以尽量避免冗余,严格遵循范式规则来设计。数据仓库正好相反,它为了查询和分析的效率,会有意引入冗余,采用反范式的方式。一个是为了捕获数据,一个是为了分析数据。数据仓库的两个基本元素是维表和事实表:维表是你看问题的角度,比如时间、部门、地区这些“定义”;事实表里面放的就是你想查的数据,同时关联着维表的ID。这种结构正是数据仓库建模的核心所在。
数据仓库这个概念是在数据库已经广泛使用之后才出现的——当数据量大了,光靠数据库已经没法满足深层的分析需求了,决策层需要从历史数据里挖掘价值,这才催生了数据仓库。它绝不是所谓的“大型数据库”,而是一个全新的体系。那么,数据仓库与传统数据库具体有哪些不同?我们不妨从数据仓库之父W.H.Inmon给出的经典定义入手:面向主题的、集成的、与时间相关且不可修改的数据集合。
“面向主题的”
传统数据库一般是按照应用程序来组织数据,同一个业务模块的数据会放在一起,未必按同一主题存储。数据仓库则不同,它按主题来归类。这就像传统农贸市场与超市的区别——市场里,白菜、萝卜、香菜可能都堆在一个小贩的摊位上,因为它们都是这个小贩卖的;超市里,白菜、萝卜、香菜各放各的区域,按种类(主题)集中。数据库是按“小贩”(应用程序)归堆,数据仓库则是按“菜的种类”(主题)归堆。这种按主题组织的方式,能让数据分析人员更快找到所需信息。
“与时间相关”
数据库在保存数据时,并不强制要求记录时间信息。但数据仓库不同,决策场景下时间属性极其重要。举个例子:同样都是累计购买过九件产品的客户,一个是在最近三个月内买了九件,另一个则是一年都没买过,这两位客户的画像和营销策略能一样吗?所以数据仓库中的每条数据都必须标明时间属性。正因为如此,数据仓库才能支持趋势分析、同比环比等高级分析场景。
“不可修改”
数据仓库里的数据并不是当前最新的,而是从各种业务系统抽取、清洗、加载进来的历史快照。它反映的是过去发生了什么,而不是正在发生什么(比如电信计费系统那种实时事务)。因此,数据仓库中的数据一旦写入,极少甚至根本不会被修改——当然,不断追加新数据是允许的。这就像日志档案,写进去了就不能改了,只能不断加新页。这种不可修改的特性,确保了历史数据的真实性和可追溯性。
强调一点:数据仓库的出现并不是要取代数据库。直到今天,大部分数据仓库仍然是用关系数据库管理系统来管理的。两者是相辅相成、各有千秋的关系。补充一下,建设数据仓库的目的,是为前端查询和分析提供基础。由于有意识引入冗余,数据仓库需要的存储空间通常远大于同量级的数据库。要支撑起前端的分析应用,一个合格的数据仓库方案必须满足以下几个硬性条件,否则就是失败的。
第一,效率足够高。客户要求的分析周期通常有日、周、月、季、年。其中以日为周期的数据要求最紧急——比如今天上午就得看到昨天的销售分析,最长不能超过24小时,有些甚至要求12小时内出结果。很多企业每天的数据量非常大,如果数据仓库设计不合理,出数延迟一两天是常有的事,那显然是不行的。因此,数据仓库的性能优化是重中之重。
第二,数据质量必须过硬。客户看分析报表,图的就是准确。但数据仓库的流程至少包含三层(源系统、中间层、主题层),两次ETL(抽取-转换-加载),复杂架构还要更多。源数据里难免有脏数据,代码逻辑稍有不严谨,就可能导致数据失真。一旦决策者看到了错误的信息,做出的就是错误决策,造成的就不是效益而是损失。所以数据清洗和校验机制必须做到位。
第三,扩展性要提前规划。我们看到很多大型数据仓库系统架构那么复杂,并不是为了炫技,而是在设计之初就考虑了未来3-5年的数据增长和业务变化。这样客户不用再花大价钱重建系统,就能稳稳地跑下去。扩展性的核心在于数据建模的合理性,以及方案中是否设置了足够的中间层缓冲——让海量数据流有喘息的余地,不至于数据量一翻倍就崩了。提前规划好数据仓库的扩展能力,才能应对业务的高速发展。
