用 ArkFlow 构建

ArkFlow 中的一条流水线,是对数据从输入经过处理器(以及可选的缓冲)流向输出这一过程的声明式 YAML 描述——底层由列式(Apache Arrow)数据模型支撑。同一份描述会编译到统一的执行内核上,无论它以单条流、本地作业 DAG,还是分布式作业切片的形式运行。

流(Streams)

流水线解剖:输入 → 处理器 → 输出、错误输出与编解码器。

作业(Jobs)

带事件时间、键控状态与检查点的多步骤 DAG——本地或分布式运行。

分布式作业

控制平面如何在机群中分配、共置与恢复作业切片。

持久化与投递

默认至少一次;Kafka 输出可精确一次;WAL 与检查点机制。

架构

列式数据模型、元数据列,以及配置如何变成运行中的图。

实战配方

任务指南与端到端案例,每个都有 CI 校验过的示例支撑。

完整的组件目录见侧边栏的组件部分,SQL 方言在 SQL 部分单独成册。