组件清单(Component inventory)

本页由 component-inventory.json 生成。它是组件覆盖度的审查入口,不能替代各组件的详细页面。

类别	组件	描述	文档
buffer	memory	内存缓冲:达到容量上限或超时后释放一个批次。	参考
buffer	session_window	依据消息间最大间隔把消息划分为会话。支持跨数据源的 SQL join。	参考
buffer	sliding_window	按固定间隔向前滑动的时间重叠窗口。	参考
buffer	tumbling_window	固定大小、互不重叠的时间窗口。支持跨数据源的 SQL join。	参考
codec	debezium_json	把 Debezium CDC Envelope JSON(before/after/op/source/ts_ms)解码为列式 Arrow 批次;附加到消费 Debezium 主题的 Kafka 输入上。CDC 偏移量即 Kafka 输入经确认门控的偏移量。	参考
codec	json	将 Arrow RecordBatch 编码/解码为 JSON 字节负载。	参考
codec	protobuf	使用 Protobuf 描述符对 Arrow RecordBatch 进行编码/解码。	参考
codec	schema_registry	通过从 Schema Registry 解析 schema id,解码 Confluent 线路格式的 Protobuf 与 Avro 消息,并支持可选的主题兼容性门控。	参考
input	file	以 CSV/JSON/Parquet/Avro/Arrow 格式读取本地或远程对象存储(S3、GCS、Azure、HDFS)中的记录。	参考
input	generate	按固定间隔生成合成文本消息(适用于测试与负载模拟)。	参考
input	http	通过 HTTP 接收数据。可作为服务器运行(在 path 上接受 POST/PUT),也可轮询远程端点。	参考
input	kafka	以消费者组从 Apache Kafka 主题消费消息。	参考
input	memory	用初始消息列表填充的内存输入队列。主要用于测试与演示。	参考
input	modbus	按固定间隔轮询 Modbus TCP 设备,读取线圈、离散输入或寄存器。	参考
input	mqtt	订阅 MQTT broker 并转发所配置主题的消息。	参考
input	multiple_inputs	把多个输入源组合为一条流。每个数据源都会打上 __meta_source 标签。	参考
input	nats	从 NATS 消费消息,同时支持普通 subject 与 JetStream 消费者。	参考
input	pulsar	订阅 Apache Pulsar 主题,可配置订阅类型与认证。	参考
input	redis	从 Redis 读取:list 阻塞弹出、pub/sub 订阅或 stream 消费者组。	参考
input	sql	用 SELECT 语句轮询 SQL 数据库(MySQL / PostgreSQL / SQLite / DuckDB),并以批次发出行。	参考
input	websocket	连接 WebSocket 服务器,把每条到达的消息作为一个批次转发。	参考
output	drop	丢弃所有消息。适用于性能基准测试与尽头管道。	参考
output	http	把每个批次 POST 到一个 HTTP 端点。支持自定义头部、重试与认证。	参考
output	influxdb	使用 Line Protocol 把时间序列数据写入 InfluxDB v2.x。	参考
output	kafka	向 Apache Kafka 生产消息。支持按键分区与压缩。	参考
output	milvus	经 REST v2 vectordb API 把批次行 upsert 进 Milvus 集合:Float32 列表列作为向量,其余列打包为 JSON payload 字段,可选的 id 列作为行键。	参考
output	mongodb	把 Arrow 行以 BSON 文档写入 MongoDB。	参考
output	mqtt	向 MQTT broker 主题发布消息。	参考
output	nats	发布到 NATS:普通 subject 或 JetStream 流。	参考
output	pgvector	把批次行 upsert 进启用 pgvector 扩展的 PostgreSQL 表:Float32 列表列作为向量,其余列打包为 jsonb payload,可选的 id 列作为 ON CONFLICT upsert 的键。	参考
output	pulsar	向 Apache Pulsar 主题生产消息。	参考
output	qdrant	经 REST API 把批次行作为 Qdrant 点(point)upsert:一个向量列、可选的 id 列,其余全部列作为 payload。	参考
output	redis	把消息写入 Redis:stream、list 或 pub/sub 通道。	参考
output	sql	把记录批量插入 MySQL 或 PostgreSQL 数据库,支持可选的 upsert(ON DUPLICATE KEY UPDATE / ON CONFLICT DO UPDATE)以实现幂等写入。	参考
output	stdout	把每条消息写到控制台。适用于调试与演示。	参考
processor	arrow_to_json	把 Arrow RecordBatch 转换为 JSON 字节负载(每行一个)。	参考
processor	arrow_to_protobuf	把 Arrow RecordBatch 序列化为 Protobuf 线路格式字节。	参考
processor	batch	在转发前按条数、大小或时间间隔对消息分批。	参考
processor	embedding	通过 OpenAI 兼容的 embeddings API 对文本列做批量向量化,并把向量追加为 FixedSizeList(Float32) 列。	参考
processor	json_to_arrow	把 JSON 字节负载解析为推断出 schema 的 Arrow RecordBatch。	参考
processor	llm	把文本列的每一行发送到 OpenAI 兼容的 chat completions API,并把补全结果追加为 Utf8 列,采用有界且保序的并发。	参考
processor	milvus_search	在 Milvus 集合中检索每行向量的 top-k 最近邻,并把匹配结果追加为 JSON 数组文本列。逐行检索采用有界、保序的并发。	参考
processor	pgvector_search	在启用 pgvector 扩展的 PostgreSQL 表中检索每行向量的 top-k 最近邻,并把匹配结果追加为 JSON 数组文本列。	参考
processor	protobuf_to_arrow	把 Protobuf 线路格式字节解码为 Arrow RecordBatch。	参考
processor	python	对每个批次运行用户自定义的 Python 函数(带 PyArrow)。	参考
processor	sql	对每个批次运行 DataFusion SQL 查询。支持窗口函数以及与临时表的 join。	参考
processor	vector_search	在 Qdrant 集合中检索每行向量的 top-k 最近邻,并把匹配结果追加为 JSON 数组文本列。	参考
processor	vrl	对每个批次运行 Vector Remap Language(VRL)程序,实现安全的变换与富化。	参考
temporary	redis	以 Redis 为后端的临时查找存储(单节点或集群),通过 codec 读取。	参考

新增或移除组件时,请在同一个 pull request 中同时更新 JSON 清单与其详细页面。