请选择 进入手机版 | 继续访问电脑版

石家庄老站长

点击联系客服
客服QQ:509006671 客服微信:mengfeiseo
 找回密码
 立即注册
查看: 16|回复: 0

Redash kettle解决方案

[复制链接]

1

主题

1

帖子

-7

积分

限制会员

积分
-7
发表于 2021-4-1 23:34:48 | 显示全部楼层 |阅读模式
Redash具有简单的结果集重新计算功能,提供从数据提取、数据建模、数据分析、数据可视化到警报分发的一站式数据分析应用程序功能。即使尝试专业ETL工具,也可以对多个数据源进行集成动态分析(联动、钻孔、动态参数等交互式分析功能)。允许用户快速访问多种数据源,并且不需要使用多个仓库进行数据导入-处理-分析过程。因此,Redash可以在没有数据仓库的情况下,以实时智能数据分析为主,实施补充简单数据处理的应用程序方案。

但是,随着企业用户数据量和分析复杂性的增加,数据分析平台的轻量级数据存储和数据流处理模块难以承受巨大的计算压力,需要大量的指标计算、大量的历史数据同比/循环计算,或者需要有计划地构建数据仓库或数据平台。Redash将开放源代码ETL工具Kettle无缝集成在一起,构建企业级数据仓库和BI系统。





数据并不像水一样直接从源头流向BI系统。通常需要ETL(即数据提取、转换、装载过程)工具。将数据从源捕获到BI的数据仓库需要ETL工具。ETL工具可以整合企业的分布式、无序和标准非均匀数据。


[img][/img]

ly: -apple-system, BlinkMacSystemFont, "Helvetica Neue", "PingFang SC", "Microsoft YaHei", "Source Han Sans SC", "Noto Sans CJK SC", "WenQuanYi Micro Hei", sans-serif; font-size: medium; white-space: normal; background-color: rgb(255, 255, 255);">Kettle是一款高效易用的ETL工具,可以实现数据从多个异构数据源加载到目标地址。Kettle可以在Windows、Linux、Unix上运行,支持图形化的GUI设计界面,以工作流的形式流转,数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面高效稳定。

Kettle介绍
Kettle是一个组件化的集成系统,包括如下几个主要部分:
1.Spoon:图形化界面工具(GUI方式),Spoon允许你通过图形界面来设计Job和 Transformation,可以保存为文件或者保存在数据库中。也可以直接在Spoon图形化界面中运行Job和Transformation,
2.Pan:Transformation执行器(命令行方式),Pan用于在终端执行Transformation,没有图形界面。
3.Kitchen:Job执行器(命令行方式),Kitchen用于在终端执行Job,没有图形界面。
4.Carte:嵌入式Web服务,用于远程执行Job或Transformation,Kettle通过Carte建立集群。
5.Encr:Kettle用于字符串加密的命令行工具,如:对在Job或Transformation中定义的数据库连接参数进行加密。

应用案例
某超市应用redash制作实时数据分析报表,前期主要获取最新实时数据,时效性要求高,因此采用redash直接动态获取数据库数据实时展示。



但是后期随着业务发展,数据取数越来越复杂,需要分析大量数据的指标和同比环比情况,而且数据即时性要求并不高时,采用redash多种结果集查询运算反复取数据,数据分析效率比较低。数据量非常大的情况,使用kettle可以直接作业和转换,一个作业里可以执行多个转换,这样数据分析效率就会大大提升,最后配合Redash进行可视化分析,制作报表进行展示。



Kettle可以简化数据仓库的创建,更新和维护,帮助企业快速搭建异构数据源之间的数据管道,让复杂的数据项目不再成为瓶颈,Redash+kettle=完整的BI项目解决方案,实现一站式打造企业级数据可视化分析云平台。
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

QQ|无图版|手机版|小黑屋|石家庄@IT精英团

GMT+8, 2021-5-10 15:49 , Processed in 0.083779 second(s), 25 queries .

Powered by Discuz! X3.4

© 2001-2021 Comsenz Inc.

快速回复 返回顶部 返回列表