Skip to content

datavane/tis

Folders and files

NameName
Last commit message
Last commit date
Apr 17, 2023
Apr 22, 2023
Mar 19, 2025
Mar 19, 2025
Feb 16, 2025
Feb 24, 2025
Mar 19, 2025
Dec 26, 2024
Feb 22, 2025
Nov 26, 2023
Oct 8, 2024
Nov 26, 2024
Mar 19, 2025
Mar 19, 2025
Sep 26, 2024
Mar 19, 2025
Mar 19, 2025
Dec 22, 2024
Mar 19, 2025
Jun 19, 2024
Jun 28, 2023
Mar 19, 2025
Mar 19, 2025
Dec 17, 2024
Jan 9, 2025
May 4, 2023
Sep 26, 2024
Jun 28, 2023
Sep 24, 2021
Dec 7, 2021
Mar 19, 2025
Sep 26, 2020
Jan 28, 2024
Dec 26, 2024
Sep 26, 2020
Jun 28, 2023
Sep 26, 2020
Sep 26, 2020
Mar 19, 2025
Jun 22, 2023
Dec 27, 2021
Oct 12, 2022

Repository files navigation

Stargazers over time

Stargazers over time tis

过去,数据集成是开发者用代码搭建的"高墙"。如今TIS用一键式操作打破壁垒——DBA、分析师等技术/业务人员无需编程,通过可视化配置即可完成数据抽取、清洗、同步等全流程。现在,整个团队都能像组装乐高一样零代码搭建数据管道!

TIS介绍

TIS为您提供企业级数据集成服务,基于批(DataX),流(Flink-CDC、Chunjun)一体,提供简单易用的操作界面,降低用户实施端到端数据同步的实施门槛,缩短任务配置时间,避免配置过程中出错,使数据同步变得简单、有趣且容易上手 详细介绍

如果您已经觉得利用DataX、Flink-CDC、SeaTunnel编写脚本来驱动执行端到端数据同步程序执行,是非常烦冗且容易出错的事儿。并因此感到些许厌倦,您可以尝试一下TIS,相信会给您带来不小的惊喜。

tis

▶️ 安装说明

快速安装(支持私有云、公有云等环境),方便、快捷 🟢单机 🟣Docker 🔵Docker Compose 🟤K8S

v4.1.0 发布(2025/2/27):

https://github.com/datavane/tis/releases/tag/v4.1.0

历史发布: v4.0.1 发布(2024/10/19):https://github.com/datavane/tis/releases/tag/V4.0.1

架构

tis

tis

核心特性

  • 🔨安装简单

    TIS的安装还是和传统软件安装一样,只需要三个步骤:一、下载tar包,二、解压tar包,三、启动TIS。是的,就这么简单。另外还支持多种部署模式(Docker、Docker-Compose、Kubernetes)。

  • 🚀强大的扩展性

    TIS 继承了Jenkin 的设计思想,使用微前端技术,重新构建了一套前端框架,前端页面可以自动渲染。

    TIS 提供了良好的扩展性和SPI机制,开发者可以很轻松地开发新的插件。

  • 🔁支持各种Transformer算子

    通过在TIS流程中设置Transformer功能逻辑,可实现在ETL数仓功能中,在E(数据抽取)阶段即可高效实现各种字段值转换功能,如:字段脱敏,字段拼接,取子字符串等功能。

  • 😄易与大数据生态整合

    支持与DolphinScheduler整合,用户只需在TIS中配置数据管道,验证无误后,一键推送同步表任务到DolphinScheduler平台,即可在其上完成数据同步任务调度。为以DolphinScheduler构建ETL数仓方案如虎添翼。

  • 👌 基于 DataOps 理念

    借鉴了 DataOps、DataPipeline 理念,对各各执行流程建模。不需要了解底层模块的实现原理,基本实现傻瓜化方式操作。

支持的读写组件 详细

Reader Writer

功能一瞥

批量导入流程设置

选择Reader/Writer插件类型 tis

添加MySqlReader tis

设置MySqlReader目标表、列
tis

设置MySqlReader目标列设置Transformer逻辑。例如,将表中JSON内容的列分拆成多个字段json_splitter tis

添加ElasticWriter,可视化设置ElasticSearch的Schema Mapping tis

执行MySql->ElasticSearch DataX实例,运行状态 tis

开通Flink实时数据通道

添加Flink-Cluster、设置重启策略、CheckPoint机制等 tis

设置Source/Sink组件属性 tis

TIS基于数据库元数据信息自动生成Flink-SQL脚本,您没看错全部脚本自动生! tis

实时数据通道创建完成!构建一个实时数仓就这么简单!!!
tis

依赖项目

如何开发

https://tis.pub/docs/develop/compile-running/

许可协议

TIS is under the Apache2 License. See the LICENSE file for details.

反馈

您在使用过程中对TIS有任何不满或者批评都请不惜斧正,您提出的宝贵意见是对我们最大的支持和鼓励,我要提建议