如何做一个自动更新的出入库存表
steam怎么更新库存?
steam怎么更新库存?
自动添加进库存了,想添加到游戏库,就到库存中选择它,就会出现添加到游戏库的选项
实时数据仓库如何做?
想要做实时数据仓库,必须得了解数仓的构成以及如何选择对应的数仓组件。
源数据(data)、数据抽取转换加载(etl)、联机查询分析(olap)是数仓构成的三大内容。下面一一解释:
DATA源数据,包括各部门各业务库中的数据或者系统访问日志,或者其他形式存储的外部数据等等。可以使用maxwell或者flume来进行数据采集,具体根据数据源的存储形式来决定,比如如果是日志形式,可以使用flume;如果是mysql存储可以使用maxwell。
ETL上面所说的数据采集便是ETL中的一个步骤,即E(Extract,数据抽取)这个步骤。一般采集的数据会先放进kafka中,然后通过Spark Streaming或者Flink或者Storm等流式数据处理框架进行简单数据处理(T:Transform)后加载(L:Load)到olap系统中。
Spark Streaming、Flink、Storm对比如下,可根据企业自身情况进行选择:
OLAP实时数仓用户使用的地方,一个高效的数据查询系统是必须的,而且得和ETL工具很般配,下面介绍两款:
Druid:是一个大数据实时查询、分析,高容错,高性能的开源分布式系统。专门为OLAP而构建,支持各种过滤、聚合;快速的交互式查询,响应在毫秒级别;高可用以及高扩展性,可支持亿级处理数和TB级数据。
Kudu:是应对快速变化数据的快速分析型数据库。高CPU利用率,高IO效率,支持数据原地更新。与Impala紧密集成,使用Cloudera Manager轻松维护和管理,OLAP工作的快速处理