组件

ArkFlow 内置六类共 41 个注册组件。本节的每个页面都会与实时组件注册表进行机器校验:这里的类型名称、配置 schema 与示例不会与二进制悄然漂移。

输入

input

从 Kafka、HTTP、MQTT、NATS、Pulsar、Redis、SQL、文件、WebSocket、Modbus 等数据源消费数据。

缓冲

buffer

滚动、滑动与会话窗口——感知事件时间,原生列式。

处理器

processor

使用 SQL、Python UDF、VRL、Protobuf 转换以及批处理来变换数据。

输出

output

投递到 SQL 数据库、Kafka(精确一次)、HTTP、Redis、InfluxDB、MongoDB 等下游。

编解码器

codec

解码传输格式:JSON、Protobuf、Debezium CDC 事件以及 Schema Registry 载荷。

临时存储

temporary

基于 Redis 的查找表,可在流水线内做数据富化。

从 CLI 发现组件

也可以直接通过二进制查询注册表——参见 CLI 参考:

bash

arkflow components list             # 所有组件,按类型分组
arkflow components list --kind codec --format json
arkflow components show input kafka # 查看单个组件的 schema + 示例

自动生成的组件清单是同一份数据的表格呈现。