如何实时监控日志
小区监控摄像头历史记录怎么查看?
小区监控摄像头历史记录怎么查看?
电脑使用记录都在系统日志里面有的,包括家用电脑摄像头的记录,查看方式:
1、查看系统日志方法:开始→设置→控制面板→管理工具 中找到“事件查看器”;
2、或者在【开始】→【运行】→输入 也可以直接进入“事件查看器”
3、在“事件查看器”当中的系统日志中包含了windows XP 系统组建记录的事件,在启动过程中加载驱动程序和其他一些系统组建的成功与否都记录在系统日志当中。
实时数据仓库如何做?
想要做实时数据仓库,必须得了解数仓的构成以及如何选择对应的数仓组件。
源数据(data)、数据抽取转换加载(etl)、联机查询分析(olap)是数仓构成的三大内容。下面一一解释:
DATA源数据,包括各部门各业务库中的数据或者系统访问日志,或者其他形式存储的外部数据等等。可以使用maxwell或者flume来进行数据采集,具体根据数据源的存储形式来决定,比如如果是日志形式,可以使用flume;如果是mysql存储可以使用maxwell。
ETL上面所说的数据采集便是ETL中的一个步骤,即E(Extract,数据抽取)这个步骤。一般采集的数据会先放进kafka中,然后通过Spark Streaming或者Flink或者Storm等流式数据处理框架进行简单数据处理(T:Transform)后加载(L:Load)到olap系统中。
Spark Streaming、Flink、Storm对比如下,可根据企业自身情况进行选择:
OLAP实时数仓用户使用的地方,一个高效的数据查询系统是必须的,而且得和ETL工具很般配,下面介绍两款:
Druid:是一个大数据实时查询、分析,高容错,高性能的开源分布式系统。专门为OLAP而构建,支持各种过滤、聚合;快速的交互式查询,响应在毫秒级别;高可用以及高扩展性,可支持亿级处理数和TB级数据。
Kudu:是应对快速变化数据的快速分析型数据库。高CPU利用率,高IO效率,支持数据原地更新。与Impala紧密集成,使用Cloudera Manager轻松维护和管理,OLAP工作的快速处理