【数据仓库工具箱】DW/BI系统的核心元素和基本要求

news/2024/12/6 18:51:23/

核心元素

DW/BI 环境划分为4个不同的,各具特色的组成部分。分别是:操作型源数据,ETL系统,数据展现和商业智能应用。

操作型源数据 记录的是操作型系统,用于获取业务事务。源数据关注的是处理性能和可用性。源系统一般不维护历史信息,而这部分责任可以依靠好的数据仓库来实现。

数据获取-转换-加载 ETL系统 是处于操作型系统和数据展现区之间的部分,1. 获取是将数据从操纵型系统中导入数据仓库中,2. 数据转换,elt系统通过数据清洗/合并来自不同数据源的数据/复制数据等,增强数据价值,3.数据加载,实际构建和加载数据到展现区域的目标维度模型中。elt 过程的主要任务是识别维度和事实,因此其包含的子系统非常重要。

设计目标:吞吐率、完整性和一致性。

⚠️规划化结构难以同时满足可理解性和性能两个目标。
‼️ELT需要关注数据质量,一致性和完整性。

展现区 我们认为数据应该以维度模型来展现,星型模型或olap多维数据库。

⚠️处于DW/BI系统的可查询的展现区必须是维度化的,原子的(辅以增强性能的聚集),以业务为中心的。坚持使用总线矩阵结构的数据库,不应该是按照个别部门需要的数据来构建。
设计目标:方便实用、查询性能

商业智能BI 比如报表或者随意查询等等。

将DW/BI系统与餐厅类比
ETL系统与餐厅后厨
布置要高效,尽量减少时间运转

一致性:调味酱要提前做好,菜品的质量也要一致

厨房的输出要有一定的完整性

处于前端用餐区的数据展现和BI — 交付的产品是展现区的数据
菜单:通过元数据/数据报表和参数化分析应用告诉用户什么数据可用。DW/BI 的用户希望获得一致的,良好的数据质量。

服务:发布的数据要满足需求,快速提供给业务用户和开发人员。

DW/BI 的基本需求

  1. 方便存取,及时访问和数据获取。
  2. 数据正确。
  3. 数据可用。
  4. DW 支持决策。

http://www.ppmy.cn/news/1434654.html

相关文章

python实现爬虫例子2

网络爬虫是一个可以自动抓取互联网内容的程序。Python有很多库可以用来实现网络爬虫,其中最常用的是requests(用于发送HTTP请求)和BeautifulSoup(用于解析HTML)。 以下是一个简单的Python网络爬虫示例,该爬…

【提示学习论文】BlackVIP: Black-Box Visual Prompting for Robust Transfer Learning论文原理

BlackVIP: Black-Box Visual Prompting for Robust Transfer Learning BlackVIP:稳健迁移学习的黑盒视觉提示 问题 黑盒白盒? 黑盒和白盒的概念与对预训练模型内部参数的了解程度相关。黑盒指的是对预训练模型的参数和结构缺乏详细了解,通常只能通过使…

eCharts 折线图 一段是实线,一段是虚线的实现效果

在lineStyle里写了不生效的话,可以尝试数据拼接 option {xAxis: {type: category,data: [Mon, Tue, Wed, Thu, Fri, Sat, Sun]},yAxis: {type: value},series: [{data: [150, 230, 224,218 ,,,],type: line},{data: [,,, 218, 135, 147, 260],type: line,lineStyl…

[VIM] MiniBufExplorer插件

我们在开发环境或者debug环境的时候,经常需要在不同的路径下的不同file中切换,一种可行的方法是开多个vim窗口,并排放着,需要开哪个的时候点哪个,但是打开的file很多的时候就不太方便了,这里推荐一个vim 插…

蝴蝶书--ChatGPT基础科普

temperature的参数调整输出的概率分布,这个参数值越大,分布就看起来越平滑,也就是高概率和低概率的差距拉小了(对输出不那么确定) Top-P在累计概率超过P的词里进行选择,对于概率分布比较均匀的情况&#x…

设计模式——状态模式19

状态模式是一种行为设计模式, 允许一个对象在其内部状态改变时改变它的行为,对象看起来好像修改了它的类。状态模式的核心是状态与行为绑定,不同的状态对应不同的行为。 设计模式,一定要敲代码理解 状态行为抽象 //在某种状态下&…

创新与乐趣的融合 —— 探索我们独家录音变音芯片在学舌玩具领域的应用

一:概述 学舌玩具,又称作复读玩具或模仿玩具,是一类设计用来录制人声并重复播放的互动式玩具。这类玩具以其能够模仿人类语音的特性而受到小朋友和宠物主人的喜爱。这些玩具通常具有以下特点和功能: 1. 录音和播放功能&#xff…

Kafka 3.x.x 入门到精通(02)——对标尚硅谷Kafka教程

Kafka 3.x.x 入门到精通(02)——对标尚硅谷Kafka教程 2. Kafka基础2.1 集群部署2.1.1 解压文件2.1.2 安装ZooKeeper2.1.3 安装Kafka2.1.4 封装启动脚本 2.2 集群启动2.2.1 相关概念2.2.1.1 代理:Broker2.2.1.2 控制器:Controller …