操作手册

用户准备

新建用户使用数据集成开发平台（FlowMan），需确保该用户在KDP中存在于一个机构安全组。下面演示新建机构且将其加入机构安全组步骤：

• 添加机构类型安全组
  

• 激活安全组
  

• 添加用户进入机构安全组
  
  具体操作，详见KDP操作手册。

首页

Flowman【首页】中直观呈现多项数据。包含统计作业数目、作业分布图、作业失败排名以及调度任务安排。

注： 本系统中一个作业可包含多个任务。例如，一个作业的调度周期为每天0点运行一次，那么每运行一次即为一个任务。

作业分布图

作业分布图中直观显示各项作业的占比情况，方便用户合理观察到进行中的各项作业情况。

作业失败排名

作业失败排名列表展示失败作业名称和失败次数，右上角可通过开关选择按照占比或数量进行排序，用户可以直接找到失败次数多的作业并分析具体原因。

点击作业名称，可以进入作业列表查看详情，具体见【任务管理】模块描述。

调度任务安排

调度任务安排展示的是当前正在排队的任务，主要展示的信息有作业名称、调度时间和排队时长。

点击“查看更多”，页面跳转至调度任务安排列表，支持选择任务取消排队；查看更多是将当前的作业进行管理调度，安排当前的各项作业。点击详情进入，可以对每个人物进行操作，将任务移动到任意序列，依次执行。

资源集成中心

用户通过资源集成中心界面为系统接入数据源并添加计算资源，所有用户可添加数据库，仅系统管理员有权限管理计算资源。对数据源和计算资源的管理，系统支持导出已有的数据源配置和计算资源配置，同时支持上传本地的资源配置文件。

数据源列表

【资源集成中心】-【数据源列表】中，列表展示了当前用户权限下的数据源信息，信息项有名称、资源类型、环境、创建时间、更新时间及操作。可实现数据源的搜索、修改、删除、导出及上传配置功能。

• 搜索功能具体可以根据数据源名称，资源类型以及资源创建时间范围进行组合搜索。

• 通过点击具体的数据源名称获得基本配置信息，修改数据源基础数值，进行保存更新，界面上的测试链接按钮，可以测试该数据源的连通性，方便用户确认修改信息前后数据源连通性是否改变。
  

• 右上角导出按钮：支持用户导出列表中已有的数据资源。用户勾选所需的数据源名称，点击导出按钮便可以导出所选择的数据资源配置；若不勾选任何资源，则默认导出全部信息。该功能可以用于数据备份、数据迁移等场景。

  注：导出文件为json格式，可用记事本、Notepad等工具打开修改。

• 右上角上传配置按钮：支持用户通过上传配置的方式来添加数据资源，用户预先准备好json文件，将数据源配置信息准备好，之后可通过拖拽或浏览方式上传本地的资源配置文件，完成后，可以在【数据源列表】界面的数据资源列表搜索查看。

  导入配置的格式可以参考以下内容：

{
  "list": [
    {
      "createTime": "2023-06-08 15:04:01",
      "updateTime": "2023-06-10 15:07:51",
      "isDeleted": 0,
      "id": 61,
      "name": "cary_mysql",
      "user": "cayla",
      "type": "database",
      "dbtype": "mysql",
      "config": {
        "production": {
          "dbname": "demo",
          "driver": "com.mysql.jdbc.Driver",
          "port": "3306",
          "dbtype": "mysql",
          "host": "admin-linktime-mysql.marathon.mesos",
          "instancetype": "sid",
          "pwd": "******",
          "username": "root"
        }
      }
    }
  ],
  "type": "resourceManager"
}

计算资源列表

系统管理员可见

【资源集成中心】-【计算资源列表】中，列表展示用户的计算资源信息。可以根据计算资源名称以及计算资源创建时间范围进行搜索。界面展示信息有计算资源名称、资源类型、环境、创建时间、更新时间和操作。支持对计算资源进行修改、删除、导出及上传配置。

如果对接云原生K8s大数据平台(KDP)，则不需要用户自己新增计算资源。系统按照依赖顺序安装的时候，会自动初始化计算资源。

如果对接用户已有的大数据平台，则需要用户按照我们计算资源每一项配置内容提供计算资源相关配置和地址信息； 可配置计算资源种类有：Clickhouse、ElasticSearch、Hadoop、Hive。Artifact系统自动初始化，不需要额外配置。

正确配置了Clickhouse，才能使用Clickhouse作业；正确配置了ElasticSearch，才能使用DataX作业关于ES作为输出源的相关功能；正确配置了Hadoop、hive的计算资源，才能使用采集、Hive、DataX作业中关于HDFS和hive相关功能。每一种资源类型(Hadoop、Hive、ES、Clickhouse)，仅支持对接一个集群的配置。

注：系统采用开放式架构，可根据实际生产需要接入其他类型计算资源，例如TiDB。

• 右上角导出按钮：支持用户导出列表中已有的计算资源。用户只需要勾选所需的一个或者多个资源，点击按钮便可以导出所选择的计算资源配置，如不勾选任何资源，则默认选择全部。

• 右上角上传配置按钮：支持用户通过上传配置的方式来添加数据资源，用户预先准备好json文件，将数据源配置信息准备好，之后可通过拖拽或浏览方式上传本地的资源配置文件，完成后，可以在【计算资源列表】界面的数据资源列表搜索查看。

Artifact

系统自动初始化，不需要用户填写

Clickhouse

1. host：主机地址
2. httpPort：提供http访问方式的端口
3. tcpPort：提供tcp访问方式的端口
4. user：访问的用户名
5. password：访问的密码

ElasticSearch

1. hosts：地址
2. user：访问的用户名
3. pwd：访问的密码

Hadoop

1. core-site.xml：hdfs集群配置文件core-site.xml内容
2. hdfs-site.xml：hdfs集群配置文件hdfs-site.xml内容
3. yarn-site.xml：hdfs集群配置文件yarn-site.xml内容
4. webhdfs：hdfs集群对应webhdfs地址
5. httpfs-gateway-address：httpfs-gateway组件提供外面访问的地址

Hive

1. hive-site.xml：hs2服务里面的hive-site.xml配置文件
2. hs2_address：hs2的访问地址
3. hs2_principal_server：hs2开启kerberos后的principal server信息，一般是hive，hs2_principal三段里的第一段信息
4. hs2_principal：hs开启kerberos后的principal信息，为三段信息，比如：hive/_HOST@LINKTIME.CLOUD
5. hms_db_info：hms服务连接数据库的名字
6. hive-zk-namespace：hs2开启zk的集群模式，在zk上注册的namespace
7. zookeeper：hs2开启zk的集群模式连接的zk地址
8. hive_metastore_jdbc_url：hms服务连接数据库的地址，下面关于hms数据库信息的目的是为了快速获取hms的元数据
9. hive_metastore_user：hms服务连接数据库的用户名
10. hive_metastore_pwd：hms服务连接数据库的密码

添加数据库

【资源集成中心】-【添加数据库】中，用户通过填写基本配置，来建立数据库连接，以便程序/作业可以直接使用该数据库，数据库可以是本地数据库或是部署集群的数据库。同时还可以针对不同类型的数据库类型，选择特定的驱动（实现JDBC规范的jar包的JDBC驱动，系统通过JDBC接口执行数据库操作命令）。

在完成数据库配置后，点击【测试连接】进行数据库的连接测试工作。测试成功后保存配置信息。

注：数据库添加的基础条件为网络能够互通。

添加计算资源

系统管理员可见

【资源集成中心】-【添加计算资源】中。系统管理员需填写基本信息和计算资源信息，目前支持六种数据计算资源：Artifact、Clickhouse、ElasticSearch、Hadoop、Hive、TiDB。在界面中，用户可以填写需要添加的计算资源类型。计算资源可由运维人员提供，在文件服务器自行进行上传配置。

以TiDB为例，如下图所示，其他资源详见【资源集成中心】-【计算资源列表】模块描述：

完成配置项的填写后，点击【测试连接】，确保所添加的资源可以正常访问。

注：若在实际使用中系统所提供的变量不满足于实际生产环境，用户可以通过【添加变量】的方式自定义所需要的变量。

程序坞

Worker列表

系统管理员可修改所有类型Worker
其他用户仅可修改自定义类型worker

【程序坞】-【Worker列表】中，可查看当前系统中的Worker列表，界面分别展示Worker ID、名称、类型、描述以及镜像名称。

注：Worker可为JavaScript创建多线程环境。

用户可通过“Worker名称”和“镜像名称”来搜索相关的Worker，可采用关键字或全称进行搜索，同时支持用户对已有的Worker进行编辑修改及删除。

若系统管理员用户点击修改，进入以下界面，可以对其中的镜像名称、Worker类型或描述进行内容修改。

新增Worker

系统管理员可创建所有类型Worker
其他用户仅可创建自定义类型worker

【程序坞】-【新增Worker】中，用户可以为集群添加一个Worker，添加完成后保存。

其中信息项可参考如下：

自定义Hive函数列表

【程序坞】-【自定义Hive函数列表】中，界面列表展示目前系统中的自定义Hive函数相关信息，信息包含函数名、类路径、数据库、Jar包、更新时间及创建的用户。可以通过名称、函数名称和数据库进行组合搜索，或对Hive函数进行修改。

系统提供用户自定义Hive函数功能，用户在编写 Hive 作业的时候，能够直接调用用户自定义函数功能。添加类似于“截断，掩码，加密”的通用的功能，用户可通过此界面进行集中管理并灵活复用。

• 修改，可以对基本信息和函数可用的参数信息进行修改，修改完成后可以进行试运行验证。

新增自定义Hive函数

【程序坞】-【新增自定义Hive函数】中，用户可以在界面进行自定义添加Hive函数，以便在创建的Hive作业中灵活调用这些函数。需要填写的有基本信息和函数可用参数信息，可参考下表进行填入。

程序列表

【程序坞】-【程序列表】中，界面列表展示用户已创建的程序及相关信息：程序名称、版本号、程序来源、描述、Worker名称。

用户可以通过程序名称、Work名称和程序来源的组合方式来快速搜索程序，也可以对程序进行查看、试运行、删除操作。

• 点击查看：可以看到各个程序的试运行记录，列表展示的信息有试运行名称、操作用户、开始运行时间、运行时长及运行状态。点击具体试运行名称，页面跳转至【程序运行日志】详情页面。
  

• 点击试运行：界面会展示当前程序的信息，程序主体部分展示程序列表基本信息，包含试运行名称，这里由用户自己定义。自定义程序中，程序名称与选择试运行的程序名称一致，版本号由用户定义，也可自定义程序参数。
  
  高级设置中，可以对系统变量、用户自定义变量、数据源配置进行修改。
  
  完成配置后，即可点击右上角进行试运行。

新增程序

系统管理员可创建预置、自定义程序
其他用户仅可创建自定义程序

【程序坞】-【新增程序】中，用户可以配置信息创建新的程序，可参考如下表格填写配置信息：

填写完成后，点击右上角，保存并试运行。

点击试运行按钮，跳转至【程序运行日志】详情页。

程序运行日志

【程序坞】-【程序运行日志】中，列表展示程序名称及相关信息，包含试运行名称、用户、开始运行时间、运行时长、运行类型、运行状态。界面支持组合搜索。

• 点击具体试运行名称，页面跳转至试运行日志详情页。详情包含试运行程序基本信息，参数信息以及运行日志。试运行成功程序支持快捷「转换成作业」。

作业管理

支持多种类型定制化作业，结合自定义工作流的方式，帮助用户轻松管理成千上万个服务任务。支持用户创建采集、TiDB、Hive、Spark、Clickhouse、DataX 等作业，并为其设置所需的调度周期。

在新建采集、Hive、Spark作业前，需在云原生k8s大数据平台(KDP)中确认当前机构安全组启动了linktime-hs2应用。否则采集作业无法运行成功。可在KDP【系统应用】页面查看当前安全组下hs2应用是否正常启动。

若未启动，需要系统管理员或机构管理员在KDP【应用市场】中所在机构安全组的linktime-hs2应用。

新建采集作业

【作业管理】-【新建采集作业】中，用户可通过填写基本信息、配置信息等，新建采集作业，从不同的数据源中采集数据到目标数据库。用户可参考如下说明，进行采集作业配置。

• 基本信息

注：

1. 数据源支持输入源为 MySql/Oracle/SqlServer/Cassandra ，输出源支持 HDFS/Hive。其中输入源不支持SqlServer自带的系统表（对象名 ‘trace_xe_action_map’ 无效错误），且表名仅支持小写字母、数字、下划线，不可包含其他字符。
2. Cron表达式的结构，它的标准格式为：“A B C D E F”，A表示秒，B表示分，C表示小时，D表示日，E表示月，F表示星期。举例见下图：
   

• 配置信息

1. 导出设置
   
2. 分区设置
   
3. 自定义参数设置
   

• 导出信息

1. Hive数据存储方式

2. HDFS数据存储方式

新建TiDB作业

【作业管理】-【新建TiDB作业】中，用户可以新建rdb类型作业，界面展示内容为构建作业需填写的信息，分为作业主体和高级设置两大部分。

作业主体

该部分由三块组成：基本信息，作业计划、编写主程序

• 基本信息

• 作业计划

• 编写主程序

注：如果Sql中没有通过语句指定数据库，则会默认使用default数据库。

高级配置

用户可通过高级配置对TiDB作业进行更进一步的配置。在高级配置中，支持通过高级功能的勾选，对具体配置信息进行配置或隐藏。具体支持的高级配置有：设置系统变量，设置用户自定义变量。

配置完成后，可进行保存及试运行。

新建Hive作业

【作业管理】-【新建Hive作业】中，用户可以新建Hive作业，界面展示内容为构建作业需填写的信息，分为作业主体和高级设置两大部分。

作业主体

该部分由三块组成：基本信息，作业计划、编写主程序

• 基本信息

• 作业计划

• 编写主程序

注：如果Sql中没有通过语句指定数据库，则会默认使用default数据库。

高级配置

用户可通过高级配置对Hive作业进行更进一步的配置。在高级配置中，支持通过高级功能的勾选，对具体配置信息进行配置或隐藏。具体支持的高级配置有：设置系统变量，设置用户自定义变量，上传python文件来辅助计算，设置HQL变量，以及制定计算使用的数据库资源。

*注 HQL变量用法:

变量名 HQLpv_numselect ：count(view_page) from page_view where page='首页' 
变量名 uv_numselect ：count(distinct user) from page_view where page='首页'
主HQL： select {{pv_num}}, {{uv_num}}

新建Spark作业

【作业管理】-【新建Spark作业】中，用户可以新建Spark作业，界面展示内容为构建作业需填写的信息，分为作业主体和高级设置两大部分。系统支持用户上传程序，为Spark作业进行设置。用户还可以通过高级功能对Spark作业进行更进一步的配置，目前的高级功能支持：设置系统变量，设置用户自定义变量，以及制定计算使用的数据库资源。

作业主体

• 基本信息

• 作业计划

• Spark运行参数

• Spark-Java程序配置

编写java语言，使用spark计算引擎进行数据清洗和整合，批处理的技术手段，性能上优于hive。

• Spark-Python程序配置

编写python语言，使用spark计算引擎进行数据清洗和整合，批处理的技术手段，性能上优于hive。

高级设置

新建ClickHouse作业

【作业管理】-【作业列表】中，用户可以新建 ClickHouse作业开始作业配置。界面展示内容为构建作业需填写的信息，分为作业主体和高级设置两大部分。系统支持用户编写主程序，为ClickHouse作业进行设置。用户还可以通过高级功能对ClickHouse作业进行更进一步的配置，目前的高级功能支持：设置系统变量，设置用户自定义变量。

作业主体

• 基本信息

• 作业计划

• 编写主程序

高级设置

新建DataX作业

【作业管理】-【新建DataX作业】中，用户可以新建DataX作业开始作业配置。界面展示内容为构建作业需填写的信息，分为作业主体和高级设置两大部分。

作业主体

该部分由五部分组成：基本信息，作业计划、数据源配置、字段映射转换管理、样本数据预览。

• 基本信息

• 作业计划

• 数据源配置

注：系统以可扩展的方式，可根据用户实际生产需要灵活扩展输出源

• 字段映射转换管理

两边数据库中的表进行信息展示，可以进行匹配及修改。

• 样本数据预览

高级设置

配置完成后，可进行保存及试运行。

新建自定义作业

【作业管理】-【新建自定义作业】中，系统支持用户自定义作业，以满足更加丰富的业务场景，且方便批量添加变量。用户只需参照说明配置自己的自定义作业。界面展示内容为构建作业需填写的信息，分为作业主体和高级设置两大部分。

作业主体

作业主体由基本信息、作业计划、自定义程序组成。

• 基本信息

• 作业计划

• 自定义程序

高级设置

用户可通过高级功能对自定义作业进行更进一步的配置，目前的高级功能支持：设置系统变量，设置用户自定义变量，以及制定计算使用的数据库资源。同时支持使用JSON格式的参数配置。

作业列表

【作业管理】-【作业列表】中，用户可查看作业创建的作业，并对单个/批量作业进行管理。列表展现的信息有：作业名称、调度周期、状态、创建时间、最新任务状态、失败任务数量、操作。

支持通过作业名称关键字、作业类型、状态、进度、最新任务状态对作业列表进行筛选。

批量操作

【作业管理】-【作业列表】中，支持勾选作业列表中的作业进行单个或批量管理，可进行启动、挂起、删除、克隆、导出、改变优先级操作。启动中的作业可进行挂起，挂起的作业可再次启动，通过编辑作业进行状态修改。

修改作业

【作业管理】-【作业列表】中，点击具体的作业名称，即可进入作业详情修改页，修改完成后点击保存完成修改。可以修改的选项有同作业类型的新建页面，字段含义详见新建作业中的具体描述。

修改作业页面中支持启动、试运行、跳转当前作业任务列表页面操作。

查看作业

【作业管理】-【作业列表】中，点击具体作业的「查看」操作按钮，抽屉形式显示作业的基本信息、作业计划两部分简要信息，支持进行 启动、试运行、进入任务列表、进入作业详情修改页操作。

查看任务列表

【作业管理】-【作业列表】中，用户通过筛选或精确搜索到目标采集作业，通过点击具体作业的「任务列表」操作，用户可以获知运行历史折线图及任务列表的调度时间、状态等。

任务列表界面上可以就日期范围、状态进行筛选，任务列表展示出对应任务信息，包含调度时间、作业名称、执行时间、状态、耗时等。

支持选择单个或多个任务重新执行或者标记。

作业删除

如用户不再需要某项作业时，点击「删除」按钮删除该项作业。删除动作请慎重，需提前查看是否有工作流正在使用该作业，有工作流正在使用的作业无法单独对作业进行删除，需要先暂停工作流再进行删除操作。请通过下载的方式对作业进行备份，以免误删除带来风险。

作业的下载与上传

用户可在界面通过“导出”按钮下载指定作业的配置。该操作适合用户对作业进行备份，迁移等操作时提前导出作业配置。

上传作业配置：可将已有的作业配置，通过点击“上传配置”按钮来上传已有作业配置，完成上传后列表会生成新的作业。

工作流及任务管理

工作流列表

【工作流及任务管理】-【工作流列表】中，用户在工作流列表界面，可查看所有创建的工作流，并对单个/批量工作流进行管理。列表展示的信息有：名称、状态、依赖关系包含的作业、创建时间、更新时间、创建用户。

对具体工作流支持的操作有：

注：经过上传配置导入的工作流在预览列表中会出现hive/es/ck等数据源名称无法显示问题，不影响流程使用。

新建工作流

【工作流及任务管理】-【新建工作流】中，用户可添加工作流。

建立一条工作流的具体操作如下：

第一步：选择作业

在界面中点击左上角加号，选择作业类型后可模糊查找所需作业，作业名称可不填。点击所需作业的勾选框后，该作业会显示在工作流操作区，如图所示。按照该方法，依次添加所需作业，完成后点击【保存】，在工作流列表中即可见已创建的工作流。

第二步：建立作业依赖关系

点击作业下方的+为作业建立依赖关系，完成后点击【保存】，可在工作流列表中查看已经建立的工作流。

如需要删除作业或清空工作区，可选择对应的按钮完成操作。

任务列表

【工作流及任务管理】-【任务列表】中，列表展示用户当前的任务信息，任务信息为每条作业的每一次执行记录，包含调度时间、作业名称、执行时间、状态、耗时、操作。

用户可查看系统内所有任务列表，同时可使用搜索作业名称、任务状态、调度开始时间-调度结束时间的组合方式来查找相关任务，过滤出符合条件的记录。

注：如任务详细表中有多条记录，说明用户设置了作业失败后的重试次数，当作业失败后，对作业进行了多次运行的尝试。

在任务管理界面，用户可以对某一条任务进行重新执行的操作，无论任务是否执行成功，根据需要都可以采取重试操作。系统支持用户进行单一任务重试或者批量任务重试。

系统提供两种标记:成功和失败，用户可以对选中需要标记的任务进行勾选，对任务状态进行批量标记。

点击具体任务调度时间，可查看任务历史运行结果。

任务全景

【工作流及任务管理】-【任务全景】中，用户可以看到当前所有任务，动态查看任务全景，包括：数据源、启动作业、延迟作业、挂起作业即这些作业间的依赖关系。用户可通过鼠标定位，对单个作业或多个作业链路进行高亮显示。

用户可以通过全局查询查看作业的上下游依赖关系。通常用作业状态概览来查看历史、现在的工作流、作业运行状态。查看正在运行的作业还需多久完成，即将进入队列的作业，还需要等待多久，预估需要多久完成。

数据资源

Hive数据导入

【数据资源】-【Hive数据导入】中，用户可以上传一个CSV或者Excel文件，一次性将数据导入Hive DB 当中，并允许用户指定目标数据库以及对应的表，可以选择导入模式为“追加”或者“覆盖”。同时可以选择是否对上传的数据进行分区的操作。此处新建的数据库及表与3.4.2中的Hive作业相关联。

Hive数据保留策略

【数据资源】-【数据保留策略】中，界面列表展示当前数据表的相关信息，包含所属数据库、保留数据时长、操作。

用户可以搜索查询数据保留策略，并进行管理，可重新配置或删除，还可通过创建新的策略来自定义数据保留周期，点击【+添加策略】进行添加。

个性化配置

仅限管理员权限用户可查看及编辑

管理员可对系统的网页信息进行修改调整。