Skip to content

Release v4.0.0
Compare
Choose a tag to compare
@baisui1981 baisui1981 released this 21 May 04:01
v4.0.0
a9908da

Abstract

TIS的v4.0.0版本终于要与大家见面了，v4.0.0在以下几方面进行了功能加强和升级。

发布报告：https://www.bilibili.com/video/BV1eD421V78u/

  1. flink及相关组件全面升级到1.18版本，flink-cdc升级到3.0.1,chunjun也做相应版本升级
  2. 单节点执行方式扩展为分布式,
    利用powerjob将单点datax任务扩展为分布式执行方式，支持同一时间在分布式环境中多个datax任务并行执行，从而大幅提升数据同步管道的执行效率， 并且提供基于powerjob的crontab定时任务触发方式，完美支持T+1离线数据采集任务。
  3. 分布式执行基础上将TIS全面支持kubernetes的CloudNative的部署模式，支持私有云和各大公有云场景下的部署。
  4. 优化了部署流程，TIS内操作涉及长时间等待操作，例如，发布基于flink的流式计算任务，包括多个子过程，如编译、打包、发布、等待等环节，需要等待一段时间。在新版本中引入了发布流程可视化的机制，将各个步骤的执行状态直观展示给用户。

New Feature

  • mongodb 数据源认证方式#311
  • Flink K8S Cluster启动附加loadbalance service Flink JobMaster报WARN信息#310
  • TIS 整体部署容器化部署方案#309
  • 将flink-cdc的MySQL校验MySqlValidator.checkVersion前置#306
  • 添加flink连接同步timeout#298
  • 添加基于Flink-cdc 实现的 Postgresql source端实现#291
  • 实时同步无法使用“批量创建“#284
  • 为TIS 各种端提供图标显示支持#275
  • 建议在批量构建功能中增加定时任务，可以实现datax的定时全量和增量同步#255
  • [feature] 添加flink 实例一览页面#213
  • 升级flink相关组件到最新版本#168
  • 支持批量任务分布式执行#157
  • 支持TIS Flink 在K8S上运行#156
  • 离线T+1 怎么定时？#97

Bug Fix

  • 管道创建流程中更改端类型会出错#312
  • k8s application 模式下SQL模式执行flink Job 出错#308
  • 无法识别VARBINARY类型的字段列#296
  • 终止任务bug#294
  • [tis-flink-cdc-postgresql-plugin] java.lang.ClassCastException: java.sql.Timestamp cannot be cast to java.time.Instant#293
  • 写入clickhosue时自动建表bug#292
  • FTP方式找不到对应匹配的文件#289
  • mysql->doris 增量执行streamload出错#285
  • 分库分表同步报找不到表#283
  • 整库同步时个别表有json类型字段下游create table ddl报错#280
  • plugin 进行校验过程中错误被遮蔽#277
  • MySQL CDC Source 异常恢复消费位点异常#274
  • flink rest api client 解析服务端返回的结果有类无法反序列化#268

Installation

Related Projects

Assets 2
Loading