目前常用的etl工具有哪些
etl的概念,etl和elt数据处理上的区别?
etl的概念,etl和elt数据处理上的区别?
Etl工程师是从事系统编程、数据库编程和设计的专业技术人员,必须掌握各种常用的编程语言。也称为数据库工程师。工作描述:参见工作职责:
1.海量数据的ETL开发,提取成各种数据需求。
2.参与数据仓库架构的设计和开发。
3.参与数据仓库ETL流程优化,解决ETL相关技术问题。4.熟悉主流数据库技术,如oracle,Sqlserver,PostgeSQL等。4.精通etl架构,有一定的etl开发经验,了解日常操作的部署和调度。5.熟悉数据etl开发工具,如Datastage,Congos,K
etl数据交换技术?
ETL数据交换技术平台是完全自主研发创新的基于微服务架构的新一代数据集成平台。通过叠加API服务平台,可以快速搭建一个轻量级的数据中间平台。
该平台可以通过可视化拖拽完成数据集成流程的构建,实现数据提取、转换、清洗、脱敏、加载等功能。RestCloud ETL数据平台在架构、可用性、传输性能、可视化、功能丰富性等方面全面超越Kettle等开源ETL工具。RestCloud
银行etl工程师业务内容?
1、银行证券业务调研、需求分析与设计、数据分析;
2.负责ETL开发,独立完成ETL的详细设计、开发和测试;
3.参与数据仓库系统的在线运行和维护。
要求:
1、计算机相关专业,统招本科以上学历;
2.熟悉数据仓库建设流程,有数据仓库、模型设计和ETL开发实施经验;
3.精通SQL和存储过程的开发,具备SQL调优的知识和经验,掌握Greenplum、Oracle、Sqlserver、Teradata、DB2、MySQL等一个或多个数据库系统的使用;
4.熟悉linux操作系统,熟练使用常用Linux命令;
5.有Kettle、Informatica、DataStage、PowerCenter等ETL开发工具的实施经验;
6.熟练使用Perl、Shell、Java、Python脚本进行开发;
7.熟悉Hadoop、Hive、Hbase、Kafka、Spark、Storm等大数据技术者优先;
8.有银行/保险/证券等金融数据仓库经验者优先。