离线数仓面试题

1. 请介绍一下数据仓库的架构，并说明各层的作用。

数据仓库架构通常包括以下几层：

• 数据源层：包括各种数据源，例如关系型数据库、NoSQL 数据库、平面文件等。数据源层负责将数据从各种数据源中提取出来，进行清洗、转换和集成，统一格式，为上层提供可用的数据。

• 数据集成层：将数据源层提供的数据进行集成，消除数据冗余和不一致，确保数据的完整性和准确性。

• 数据存储层：将集成好的数据进行存储，通常采用关系型数据库或者大数据框架，例如Hadoop、Spark等。

• 数据访问层：提供给用户访问数据的接口和工具，例如OLAP、数据挖掘工具等。

• 元数据层：元数据是描述数据的数据，包括数据定义、数据结构、数据来源、数据质量等信息，为数据的管理和使用提供支持。

2. 请介绍一下数据仓库的设计过程。

数据仓库的设计过程通常包括以下几个步骤：

• 需求分析：明确业务需求和数据需求，分析业务流程和数据来源，为后续的设计提供基础。

• 数据建模：根据需求分析结果，进行数据建模，包括概念模型、逻辑模型和物理模型等。

• 数据抽取、转换、加载（ETL）：将数据从各种数据源中提取出来，进行清洗、转换和集成，统一格式，为上层提供可用的数据。

• 数据存储：将集成好的数据进行存储，通常采用关系型数据库或者大数据框架，例如Hadoop、Spark等。

• 数据访问：提供给用户访问数据的接口和工具，例如OLAP、数据挖掘工具等。

• 数据质量管理：对数据进行质量管理，包括数据清洗、数据验证、数据审计等。

3. 请介绍一下数据清洗的过程和方法。

数据清洗是数据仓库中非常重要的一个环节，其过程通常包括以下几个步骤：

• 数据识别：识别数据中存在的缺失值、异常值、重复值等问题。

• 数据填充：对存在缺失值的数据进行填充，填充的方法包括均值填充、中位数填充、众数填充等。

• 数据过滤：过滤掉不符合要求的数据，例如过滤掉重复值、异常值等。

• 数据转换：将数据进行转换，例如将数据进行标准化、归一化、离散化等。

• 数据集成：将多个数据源的数据进行集成，在集成过程中需要消除数据冗余和不一致。

4. 请介绍一下数据仓库中的事实表和维度表，并说明它们的作用和区别。

数据仓库中，事实表和维度表是两个重要的概念，它们的作用和区别如下：

• 事实表：用于存储具体的业务数据，例如销售额、订单数量等。事实表通常包括一个或多个度量（measure），度量是可以被加、减、平均等的数据。

• 维度表：用于描述事实数据的背景信息，例如时间、地点、产品等。维度表通常包括多个维度（dimension），维度是用于组织和分析数据的属性。

事实表和维度表之间的关系是一对多的关系，事实表中的每一行数据都与维度表中的一个或多个维度相关联。在数据仓库中，事实表和维度表是非常重要的概念，它们的设计和使用对数据仓库的性能和分析结果有着重要的影响。