本文目录
- 数据仓库的近源层,模型层,共性加工层,汇总层是什么意思
- 数据仓库的模型有哪些
- 什么是数据仓库，数据仓库如何分层
- 数据仓库分层DWD、DWB、DWS分别是什么缩写
- 数据仓库的建模划分
- 简述数据仓库4种体系结构的异同点及其适用性
- 数据仓库数据建模的几种思路
- 数据仓库系统有哪三个工具层
- 各位大神，数据仓库分层 DWD DWB DWS 分别是什么缩写啊
- 2020-08-12：数据仓库是怎么分层的
数据仓库的近源层,模型层,共性加工层,汇总层是什么意思
这个应该是比较二或者比较大规模且很传统的仓库建设的思路。近源指的是根原系统一样的结构的ODS层；模型层是去冗余的三范式结构的DW层；共性加工层我不知道是啥东东，应该是中间层的概念，就是把DW封装一下，用维度模型的形式组建，汇总层就是供前端报表工具如cogonos使用的表。
数据仓库的模型有哪些
1. 星型模式
星形模式(Star Schema)是最常用的维度建模方式。星型模式是以事实表为中心，所有的维度表直接连接在事实表上，像星星一样。星形模式的维度建模由一个事实表和一组维表成，且具有以下特点：a. 维表只和事实表关联，维表之间没有关联；b. 每个维表主键为单列，且该主键放置在事实表中，作为两边连接的外键；c. 以事实表为核心，维表围绕核心呈星形分布；
2. 雪花模式
雪花模式(Snowflake Schema)是对星形模式的扩展。雪花模式的维度表可以拥有其他维度表的，虽然这种模型相比星型更规范一些，但是由于这种模型不太容易理解，维护成本比较高，而且性能方面需要关联多层维表，性能也比星型模型要低。所以一般不是很常用
雪花模式
3．星座模式
星座模式是星型模式延伸而来，星型模式是基于一张事实表的，而星座模式是基于多张事实表的，而且共享维度信息。前面介绍的两种维度建模方法都是多维表对应单事实表，但在很多时候维度空间内的事实表不止一个，而一个维表也可能被多个事实表用到。在业务发展后期，绝大部分维度建模都采用的是星座模式。
星座模型
什么是数据仓库，数据仓库如何分层
数据仓库分层的原因1通过数据预处理提高效率，因为预处理，所以会存在冗余数据2如果不分层而业务系统的业务规则发生变化，就会影响整个数据清洗过程，工作量巨大3通过分层管理来实现分步完成工作，这样每一层的处理逻辑就简单了标准的数据仓库分层：ods（临时存储层），pdw（数据仓库层），mid（数据集市层），app（应用层）ods：历史存储层，它和源系统数据是同构的，而且这一层数据粒度是最细的，这层的表分为两种，一种是存储当前需要加载的数据，一种是用于存储处理完后的数据。pdw：数据仓库层，它的数据是干净的数据，是一致的准确的，也就是清洗后的数据，它的数据一般都遵循数据库第三范式，数据粒度和ods的粒度相同，它会保存bi系统中所有历史数据mid：数据集市层，它是面向主题组织数据的，通常是星状和雪花状数据，从数据粒度将，它是轻度汇总级别的数据，已经不存在明细的数据了，从广度来说，它包含了所有业务数量。从分析角度讲，大概就是近几年app：应用层，数据粒度高度汇总，倒不一定涵盖所有业务数据，只是mid层数据的一个子集。数据仓库的目的是构建面向分析的集成化数据环境，为企业提供决策支持。数据仓库的context也可以理解为：数据源，数据仓库，数据应用数据仓库可以理解为中间集成化数据管理的一个平台etl（抽取extra，转化transfer，装载load）是数据仓库的流水线，也可以认为是数据仓库的血液。数据仓库的存储并不需要存储所有原始数据，因为比如你存储冗长的文本数据完全没必要，但需要存储细节数据，因为需求是多变的，而且数据仓库是导入数据必须经过整理和转换使它面向主题，因为前台数据库的数据是基于oltp操作组织优化的，这些可能不适合做分析，面向主题的组织形式才有利于分析。多维数据模型就是说可以多维度交叉查询和细分，应用一般都是基于联机分析处理（online analytical process OLAP），面向特定需求群体的数据集市会基于多位数据模型构建而报表展示就是将聚合数据和多维分析数据展示到报表，提供简单和直观的数据。元数据，也叫解释性数据，或者数据字典，会记录数据仓库中模型的定义，各层级之间的映射关系，监控数据仓库的数据状态和etl的任务运行状态。一般通过元数据资料库来统一存储和管理元数据。
数据仓库分层DWD、DWB、DWS分别是什么缩写
DW ：data warehouse 翻译成数据仓库DW数据分层，由下到上为 DWD,DWB,DWSDWD：data warehouse detail 细节数据层，有的也称为 ODS层，是业务层与数据仓库的隔离层DWB：data warehouse base 基础数据层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。DWS：data warehouse service 服务数据层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据，一般是宽表。希望对你有用。
数据仓库的建模划分
数据仓库的数据建模大致分为四个阶段：1.业务建模，这部分建模工作，主要包含以下几个部分： 划分整个单位的业务，一般按照业务部门的划分，进行各个部分之间业务工作的界定，理清各业务部门之间的关系。 深入了解各个业务部门的内具体业务流程并将其程序化。 提出修改和改进业务部门工作流程的方法并程序化。 数据建模的范围界定，整个数据仓库项目的目标和阶段划分。 2.领域概念建模，这部分得建模工作，主要包含以下几个部分： 抽取关键业务概念，并将之抽象化。 将业务概念分组，按照业务主线聚合类似的分组概念。 细化分组概念，理清分组概念内的业务流程并抽象化。 理清分组概念之间的关联，形成完整的领域概念模型。 3.逻辑建模，这部分的建模工作，主要包含以下几个部分： 业务概念实体化，并考虑其具体的属性 事件实体化，并考虑其属性内容 说明实体化，并考虑其属性内容 4.物理建模，这部分得建模工作，主要包含以下几个部分： 针对特定物理化平台，做出相应的技术调整 针对模型的性能考虑，对特定平台作出相应的调整 针对管理的需要，结合特定的平台，做出相应的调整 生成最后的执行脚本，并完善之。
简述数据仓库4种体系结构的异同点及其适用性
简述数据仓库4种体系结构的异同点以其适用性。 （1）两层架构（Generic Two-Level Architecture）。（2）独立型数据集市（Independent Data Mart）。（3）依赖型数据集市和操作型数据存储（Dependent Data Mart and Operational Data Store）。（4）逻辑型数据集市和实时数据仓库（ Logical Data Mart and Real-Time Data Warehouse）。
数据仓库数据建模的几种思路
数据仓库数据建模的几种思路主要分为一下几种
1. 星型模式
星形模式(Star Schema)是最常用的维度建模方式。星型模式是以事实表为中心，所有的维度表直接连接在事实表上，像星星一样。星形模式的维度建模由一个事实表和一组维表成，且具有以下特点：a. 维表只和事实表关联，维表之间没有关联；b. 每个维表主键为单列，且该主键放置在事实表中，作为两边连接的外键；c. 以事实表为核心，维表围绕核心呈星形分布；
2. 雪花模式
雪花模式(Snowflake Schema)是对星形模式的扩展。雪花模式的维度表可以拥有其他维度表的，虽然这种模型相比星型更规范一些，但是由于这种模型不太容易理解，维护成本比较高，而且性能方面需要关联多层维表，性能也比星型模型要低。所以一般不是很常用
雪花模式
3．星座模式
星座模式是星型模式延伸而来，星型模式是基于一张事实表的，而星座模式是基于多张事实表的，而且共享维度信息。前面介绍的两种维度建模方法都是多维表对应单事实表，但在很多时候维度空间内的事实表不止一个，而一个维表也可能被多个事实表用到。在业务发展后期，绝大部分维度建模都采用的是星座模式。
星座模型
数据仓库系统有哪三个工具层
【数据仓库系统的三个工具层】数据仓库系统通常采用3层的体系结构，底层为数据仓库服务器，中间层为OLAP服务器，顶层为前端工具。具体如下：1、数据源和数据的存储与管理部分可以统称为数据仓库服务器。（1）数据源：是数据仓库系统的基础，是整个系统的数据源泉。通常包括企业内部信息和外部信息。内部信息包括存放于RDBMS中的各种业务处理数据和各类文档数据。外部信息包括各类法律法规、市场信息和竞争对手的信息，等等。（2）数据的存储与管理：是整个数据仓库系统的核心。数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。针对现有各业务系统的数据，进行抽取、清理，并有效集成，按照主题进行组织。数据仓库按照数据的覆盖范围可以分为企业级数据仓库和部门级数据仓库（通常称为数据集市）。2、OLAP服务器：对分析需要的数据进行有效集成，按多维模型予以组织，以便进行多角度、多层次的分析，并发现趋势。其具体实现可以分为：ROLAP、MOLAP和HOLAP。ROLAP基本数据和聚合数据均存放在RDBMS之中；MOLAP基本数据和聚合数据均存放于多维数据库中；HOLAP基本数据存放于RDBMS之中，聚合数据存放于多维数据库中。3、前端工具：主要包括各种报表工具、查询工具、数据分析工具、数据挖掘工具，以及各种基于数据仓库或数据集市的应用开发工具。其中数据分析工具主要针对OLAP服务器，报表工具、数据挖掘工具主要针对数据仓库。
各位大神，数据仓库分层 DWD DWB DWS 分别是什么缩写啊
DW ：data warehouse 翻译成数据仓库
DW数据分层，由下到上为 DWD,DWB,DWS
DWD：data warehouse detail 细节数据层，有的也称为 ODS层，是业务层与数据仓库的隔离层。
DWB：data warehouse base 基础数据层，存储的是客观数据，一般用作中间层，可以认为是大量指标的数据层。
DWS：data warehouse service 服务数据层，基于DWB上的基础数据，整合汇总成分析某一个主题域的服务数据，一般是宽表。
扩展资料
数据仓库分层的原因
1、通过数据预处理提高效率，因为预处理，所以会存在冗余数据
2、如果不分层而业务系统的业务规则发生变化，就会影响整个数据清洗过程，工作量巨大
3、通过分层管理来实现分步完成工作，这样每一层的处理逻辑就简单了
标准的数据仓库分层：ods（临时存储层），pdw（数据仓库层），mid（数据集市层），app（应用层）
4、空间换时间。通过建设多层次的数据模型供用户使用，避免用户直接使用操作型数据，可以更高效的访问数据。
5、把复杂问题简单化。讲一个复杂的任务分解成多个步骤来完成，每一层只处理单一的步骤，比较简单和容易理解。而且便于维护数据的准确性，当数据出现问题之后，可以不用修复所有的数据，只需要从有问题的步骤开始修复。
6、便于处理业务的变化。随着业务的变化，只需要调整底层的数据，对应用层对业务的调整零感知
参考资料百度百科-数据仓库
2020-08-12：数据仓库是怎么分层的
说点个人理解，书上的东西永远是怎么把你绕晕怎么写。（不然怎么显示他牛X）（1）颗粒度（现在只要是建立数据仓库，基本上都会这么说，但实际上就不好说了）：数据库一般就是按照这个进行分层的，所谓颗粒度就是数据的细化程度。一般我们认为最初进来的数据是颗粒度最小的。因为这部分数据基本上是没办法继续拆分的，当然如果最初进来的数据可以继续拆分,那就说明你数据仓库的数据传输接口有问题，数据仓库是一个理论上可以做任何相关查询的数据结构，如果不能做到这一点，那这个数据仓库没有任何意义。然后这部分数据经过一定的组合，排列、计算等等组成了一个一个的更大颗粒度的数据（下面会举例说明），然后更大颗粒度的数据继续组合，一直循环，并最终展示出来。用我们的手机通话时间（这里只考虑某号码的通话时间长短，不考虑其他，仅为举例，勿带入现实）举例：某号码每次通话时间（最小颗粒度，也是入库的内容）--某号码每天通话时间（一天可能通话3次，每天的的通话时间就是这三次的和）--每月通话时间（更大颗粒度，一个月的）--每年通话时间--通话总时间注意：再提醒一下，我给的颗粒度一定不对，仅为说明，不要带入现实应用。当然中间可能还有每周，每季度等等，然后可以通过这些内容去进行分析，比如一个人每月通话都在12小时以上，突然开始减少或者一直在下跌，那么就说明可能出现什么问题等等。这就需要经营分析，建立数据模型去分析了，这也是数据仓库最大的作用。（2）人为分层（类似于所谓的拍脑袋决定），虽然上面的颗粒度也算是人为分层，但是好在每个层级的颗粒度都是一样的，当然，并不是每级只放一个颗粒度，某些颗粒度是放在一个级别的，但是还算有一个规则。这种人为分层则是没有规则，大部分是以数据“有用没用”来分层，“有用”的层级就高，“没用的”层级就低，然后没用的数据有用了，或者有用的数据没用了，就再折腾。看起来似乎很灵活，但是整个数据仓库会变得杂乱无章。当然，所谓的数据仓库也是数据库，最终落到一张一张的table上，看起来似乎没什么问题，但是管理起来是真的累啊。其实还有一些分层方法，比如按流程、按“公司层级”等等，不过这些基本都不怎么主流，上面两种最多，如果碰到真的是第一种的，那就比较正规，如果是第二种，就自求多福吧。