当前位置: 首页 > news >正文

Dinky,让 Flink SQL 纵享丝滑

大家好,我是脚丫先生

流批一体,越来越流行了,牛逼一体

之前用java封装flink-sql-client提交脚本文件,很是摩擦。

不过,在研发流批一体平台的时候发现了Dinky,终于丝滑了。

今天就给小伙伴们推荐下低调但实力强大的Dinky!功能强大,解放自己

Dinky

基于 Apache Flink 二次开发,无侵入,开箱即用实时即未来,批流为一体。

用好Dinky,无限丝滑。

官方网站

官方有着详细的使用教程,并且已经开源了。

最重要的是可以加入交流群,随时问作者(比较耐心的一个大佬)。

Dinky平台

搭建Dinky,跟着官方搭建教程一步一操作,比较简单。

作为FlinSQL实时计算平台,其核心功能:

  • 支持 Flink 原生语法、连接器、UDF 等: 几乎零成本将 Flink 作业迁移至 Dinky。
  • 增强 FlinkSQL 语法: 表值聚合函数、全局变量、CDC多源合并、执行环境、语句合并、共享会话等。
    支持 Flink 多版本: 支持作为多版本 FlinkSQL Server 的能力以及 OpenApi。
  • 支持外部数据源的 DB SQL 操作: 如 ClickHouse、Doris、Hive、Mysql、Oracle、Phoenix、PostgreSql、SqlServer 等。
  • 支持实时任务运维: 作业上线下线、作业信息、集群信息、作业快照、异常信息、作业日志、数据地图、即席查询、历史版本、报警记录等。

更多的功能,小伙伴们去官网一目了然。

Dinky二次开发感受

源码

下载源码直接导入idea即可,和普通的导入工程没差别。

用java开发的Dinky,非常友好,这么卷的java,现在谁不会。

  • 用Dinky做流批平台时候,以它作为后端,只需要根据需求,重新开发前端即可。

看源码的日子,总是很累的。(看别人的代码脑壳痛)

必须看懂,因为Flink实在很流行

不过最大的感受就是,学会了关于Flink的很多知识,看明白了作者如何封装的。

单纯的看源码总是很累的,只有在实际工作中,需要去改造功能,在去看源码,效率很高,也不枯燥。

自研平台

目前正在进行离线模块的开发,调度有点难顶。

之前打算用熟悉的Airflow,但是发现小海豚挺流行的,自己也想学习学习,就安排上了。

平台中实时流模块,在之后打算集成Dinky源码,让平台的功能更加完善和强大。

祝各位终有所成,收获满满!

相关文章:

  • Docker | docker容器导出以及常见问题的处理
  • 【云原生之Docker实战】使用Docker部署Pichome个人相册系统
  • JavaScript 33. Promise
  • 探究MYSQL之索引
  • 创邻科技入选Gartner全球《图数据库管理系统市场指南》代表厂商
  • WEB自动化测试(5)—— Cypress-元素交互
  • 怎么入门网络安全,学这两类证书就够了NISP或CISP
  • iOS 16 SwiftUI 4.0 列表(List)项分隔线变短的原因及解决
  • MySQL-存储过程-函数-触发器-游标
  • 【XGBoost】第 5 章:XGBoost 揭幕
  • Linux环境搭建与登陆
  • Spring声明式基于注解的缓存(3-精进篇)
  • jenkins 2.346.1 从git拉取后自动构建部署springboot maven项目
  • HCIA网络基础9-VRP文件系统管理
  • vue搭建项目、创建登录页面和后台交互之引入axios
  • 智能驾驶 车牌检测和识别(一)《CCPD车牌数据集》
  • 【c语言进阶】动态内存管理知识大全(下)
  • 前端实现水印的两种方式(DOM和Canvas)
  • Linux——进程
  • 【看表情包学Linux】冯诺依曼架构 | 理解操作系统 | 基于 Pintos 实现新的用户级程序的系统调用
  • 单链表——简单的增删查改
  • 电子技术——MOS放大器基础
  • 嵌入式 学习
  • 【Linux】vim编辑器的使用
  • 强化学习笔记:基于策略的学习之策略迭代(python实现)
  • Linux 链接详解(1)
  • 获取页面中视频的加载进度,音/视频加载过程
  • 无线通信又闯祸 波音飞机系统竟被黑
  • 路由交换笔记(24)---交换机端口类型
  • 如何使用vue-cli
  • linux命令:yum软件包管理
  • 前端cookies问题,加密,防篡改
  • jquery 选取特定子元素
  • 前端传输安全,数据加解密
  • Windows Server 2008 R2 之二十四AD RMS管理