产品介绍

数据集成开发平台（以下简称：FlowMan）是智领云自主研发的一款基于大数据的容器化任务调度产品，支持数据抽取、转换、加载（ETL/ELT）、数据汇聚、数据的复杂计算以及Spark，Python等，原生支持容器调度，实现容器化批处理任务的编排、调度、监控。

FlowMan是一个灵活的大数据调度系统，可以方便的在多个子系统之间相互协作，异步地按照指定流程完成一项特定的功能。目前国内外市场上有一些大数据调度框架和基于这些框架的大数据调度平台，但还没有一个可以简单与任何大数据平台无缝接入的集调度、授权、监控于一体的完整的大数据容器化调度系统。已有大数据容器化调度中心系统主要有以下不足：现有的大数据调度中心系统没有基于容器的任务调度，调度策略不够灵活；没有集成的监控报警支持，UI界面不够友好，使用复杂；没有提供数据及服务的安全机制。

FlowMan填补了大数据领域基于容器化任务调度的市场空白，原生支持容器调度，实现容器化批处理任务的编排、调度、监控；提供大数据资源Hadoop/Hive/Kafka 数据访问认证及授权管理，一套部署多环境支持，隔离发布，集成第三方应用，丰富调度和监控功能；同时通过友好界面UI，提供DAG作业界面式拖拉，作业及数据依赖全景图展示。

• 通过原生支持的容器调度，实现容器化批处理任务的编排、调度、监控；无缝对接已有的大数据平台，提供数据展现。

• 作为大数据工作流和作业的分布式调度系统，通过容器化的任务调度，实现容器化批处理任务的编排、调度、监控。无缝接入已有大数据平台，一套部署多环境支持，隔离发布。

• 提供Hive/Spark/DataX等作业，进行批/流式数据采集，支持自定义作业调度，任务排队和插队机制。DAG作业界面式拖拉，全作业管理监控，作业及数据依赖全景图，失败任务链路影响分析。