ETL中的数据清洗设计

1 前言 ETL即数据抽取（Extract）、转换（Transform）、装载（Load）的过程。它是构建数据仓库的重要环节。数据仓库是面向主题的、集成的、稳定的且随时间不断变化的数据集合，用以支持经营管理中的决策制定过程[1]。数据仓库主要用于决策分析，为领导者提供决策支持信息。数据仓库系统中有可能存在着大量的脏数据,引起的主要原因有：滥用缩写词、惯用语、数据输入错误、重复记录、丢失值、拼写变化、不同的计量单位和过时的编码等。即便是一个设计和规划良好的数据仓库系统，如果其中存在着大量的脏数据，那么这个系统也是没有任何意义的，因为“垃圾进，垃圾出”（garbage in, garbage out），系统根本就不可能为决策分析系统提供任何支持。为了清除脏数据，必须在数据仓库系统中进行数据清洗。数据清洗（data cleansing/data cleaning/data scrubing）是一个减少错误和不一致性、解决对象识别的过程[2]。目前有很多数据清洗研究[2][3][4][6]和ETL研究[8][9][10]，但是如何在ETL过程中进行有效的数据清洗，此方面研究不多。笔者认为这包括三方面的内容：（1）ETL处理方式的选择（2）数据清洗的原理及在ETL中的应用模型（3）数据清洗的具体实现过程。

下载附件

TAG: ETL 数据清洗
10秒注册会员 结交数据仓库朋友 分享你的精彩