DataFlow-GOAI

基于 OpenDCAI 团队自主发起并持续维护的 DataFlow 系列开源项目，并集成 AgentScope AI AgentTeams 的企业级 Governed Agent DataOps 平台。

DataFlow-GOAI 将本团队自研的 DataFlow、 DataFlow-WebUI 和 DataFlow-Agent 组合为统一的可独立安装代码库， 再接入高 Star、持续开发的 AgentTeams，提供 数据画像、Pipeline 编排、策略检查、受控执行、独立验收、人工审批、发布回滚和审计证据等 完整能力。

项目归属

DataFlow、DataFlow-WebUI 和 DataFlow-Agent 均为 OpenDCAI 团队发起并持续维护的开源项目， 代码分别公开托管于对应 GitHub 仓库。DataFlow-GOAI 在这组自研项目的基础上继续研发， 整合 AgentTeams 与治理服务，形成面向企业 AI 数据生产的完整平台。它建立在团队已有的 数据基础设施成果之上，并将其升级为可协同、可验证、可审计的 Agent 生产系统。

项目默认采用 local-first 运行方式，不需要云账号或商业模型。三个已有工程基线和 GOAI 新增层都保存在同一 Git 仓库，安装过程不会静默切换到其他目录或 PyPI 上的同名实现：

不可变来源、License 与修改边界见三个 snapshot 文档和 第三方披露。installers/checks/check_monorepo.py 会自动检查三套源码、 固定版本、文件完整性、单仓库结构以及禁止 PyPI DataFlow 回退。

场景、价值与可复制性

平台内置两个可执行生产场景：

• Agent 轨迹数据生产：12 个合成任务经真实 AgentExploreGenerator 生成工具调用轨迹； Pipeline v1 故意保留解析错误与幻觉工具，独立 Verifier 拒绝后由 Leader 创建 v2，使用 TrajectoryFilter 接受 8 条合格轨迹并保存 4 条 Badcase 及拒绝原因。
• SFT 训练数据治理：支持 8 条快速样例与 2,000 条现场数据，真实执行 DataFlow 空格规范化、PII 脱敏、空值过滤和哈希去重算子，输出逐算子收据、逐条数据变换和质量报告。

两个场景共享 Agent 角色、风险等级、Skill/MCP 契约和 Evidence Graph。Failure Lab 还可 复现 PII 泄漏后的 v2 重规划、未注册算子的 fail-closed 拒绝，以及发布回归后的自动回滚。 场景数据、验收阈值和诚实披露边界见 场景手册。

核心能力

• DataFlow 执行引擎：组合可复现的数据清洗算子与 Pipeline，并保存输入、输出和执行哈希。
• Scenario Center：以任务目标、数据集和故障模式启动 SFT 或 Agent 轨迹数据生产。
• 多 Agent 治理：由 Steward Lead、Data Profiler、Pipeline Engineer、Compliance Guardian 和 Quality Verifier 分工协作。
• Agent 轨迹数据：支持工具调用轨迹的生成、树搜索、评估、选择、过滤与修复。
• Pipeline 版本闭环：Verifier 拒绝 v1 后，失败证据直接驱动 Leader 重规划与 v2 复验。
• Data Inspector：展示 Accepted、Modified、Badcase 样本及其变换或拒绝原因。
• 治理门禁：采用 L0–L3 风险等级，执行与验收分离，L2 发布必须经过人工审批。
• 可观测与审计：统一记录 Trace、结构化事件、前后指标、产物、审批和回滚状态。
• 轨迹数据资产：以同构 SQL Schema 追踪 Run→Task→Trajectory→Evaluation→Refinement→Release→Downstream Evaluation；默认 SQLite 明确降级，可切换 PolarDB MySQL，并提供可信经验检索。
• 隔离数据库实验：可选接入 PolarDB Agentic Database Branch，在一次性 Branch 中验证 Text2SQL/数据修复正负轨迹，结束后删除且不 Merge 回源。
• 开放集成：通过 REST 与 MCP 暴露算子、数据集、Pipeline 和治理运行能力。
• 可分发 AgentTeams 资源：提供 Worker、Team、Skill 和部署配置。

多 Agent 技术基点

AgentTeams v1.2.2 是本项目的跨 Agent 协同控制面，不是一个可选名称或外围适配器。它 通过 Manager、原生 Worker/Team CR、Team Leader Project/Task 能力、Matrix 房间和 MinIO 共享文件负责角色编排、任务拆解、上下文传递、协同执行与状态追踪。GOAI 治理 服务将 AgentTeams 的 Team、Worker、Project、Task、Room 和 Matrix Event 标识投影为 可审计 run evidence。真实任务 ID 与每个单调递增 DAG 版本由 Leader 在 projectflow/taskflow 成功后登记；普通 Task 失败采用保留旧尝试并新增 replacement，质量 失败再追加 redesign/reexecution/recheck，均不由后端生成 Agent 风格事件模拟。

原有 DataFlow/LangChain 能力保留在单 Agent 内部：LangChain 可用于 Worker 的推理链和 工具选择，DataFlow/DataFlow-Agent 负责数据与轨迹执行，并通过 Skill/MCP 提供稳定能力； 二者不再承担跨 Agent 的成员关系、委派、共享任务状态或团队通信。逐项框架能力映射、 原生执行链路和事件 Schema 见 AgentTeams 协同设计。

静态 Agent Identity 清单 完整记录角色、能力、边界与 Trace 字段；Skill 清单 覆盖用途、输入输出、调用条件、依赖、 失败处理、安全和复用。逐条实现位置和必须现场取证的边界见 GOAI 要求覆盖矩阵。

系统架构

flowchart LR
    U[Operator] --> AT[AgentTeams Manager / Team]
    AT -->|Project DAG / Task / Matrix| W[Workers]
    W --> S[Reusable Skills]
    S --> MCP[DataFlow MCP]
    MCP --> DF[DataFlow Pipelines]
    MCP --> DFA[DataFlow-Agent Operators]
    W -->|AgentTeams context-bound events| G[Governance Service]
    G --> E[Trace · Metrics · Artifacts]
    E --> A[Trajectory Asset Store / PolarDB]
    E --> UI
    UI -->|Approval / Rollback| G

完整的组件边界、状态机和安全模型见 治理架构。 轨迹资产 Schema、可信经验准入和可选 Branch 隔离执行见 PolarDB 轨迹资产设计。

快速开始

要求：Python 3.10–3.12。运行完整 WebUI 还需要 Node.js 20+ 和 npm。

git clone https://github.com/Qmeiyi/DataFlow-GOAI.git
cd DataFlow-GOAI

python3.10 -m venv .venv
source .venv/bin/activate

./install.sh --profile webui --check
./install.sh --profile webui
./run.sh backend

浏览器打开 http://127.0.0.1:8011/#/m/goai，即可进入 Agent Data Foundry 工作台。 默认主场景是“Agent 轨迹数据生产 + 质量失败自动重规划”。运行后按顺序查看 Mission、 Agent Workspace、Pipeline、Data Inspector、Evaluation 和 Governance / Evidence；质量通过后 点击人工批准即可完成受控发布。

安装器提供三个 Profile：

运行 ./install.sh --list 查看详情，或阅读 安装文档。

本地治理工作流

仓库提供一个基于合成客服数据的完整工作流，用于验证 DataFlow 执行、质量门禁、 人工审批、回滚和 Agent 轨迹过滤。生成的文件会写入已被 Git 忽略的 examples/governance/output/。

./scripts/run-governance-workflow.sh

完成后可打开 examples/governance/output/report.html，并检查 trace.jsonl、 metrics.json、evidence.final.json 和 artifact-manifest.json。详细参数见 工作流示例。仓库同时保存一组由同一脚本生成并经过本机 路径便携化处理的 examples/governance/expected/ 样例输入输出、Trace、Metrics、报告和 SHA-256 清单；它用于复现基线，不冒充真实 AgentTeams 或 LLM 调用。

也可以只运行客服数据 Pipeline：

PYTHONPATH=backend python examples/governance/customer_support_pipeline.py

AgentTeams 集成

agentteams/ 包含 AgentTeams v1.2.2 agentteams.io/v1beta1 Worker/Team 声明、角色 配置、8 个 Skill 与可分发 Worker 包。Team Leader 使用 AgentTeams 原生 Project/Task 能力维护 DAG 和委派；Worker 通过 Matrix、MinIO 共享引用与 DataFlow MCP 协作。构建和 部署方式见 AgentTeams 集成指南。

./scripts/build-agentteams-packages.sh
./scripts/apply-agentteams-team.sh

本地 DataFlow 工作流证明数据执行、门禁和证据链可复现；实时 AgentTeams 验收还应在实际 环境保留 Team/Worker 状态、全部 Project/Task 计划版本、Matrix timeline、MinIO 引用和 GOAI evidence。仓库明确区分两者，不用本地回放伪造真实多 Agent 协同。

工程完整性

开发与验证

# Python 测试
cd backend && python -m pytest -q
cd .. && PYTHONPATH=DataFlow:DataFlow-Agent python -m pytest -q \
  DataFlow-Agent/test/test_agentic_explore.py

# 前端构建（使用仓库锁定的 Yarn 依赖）
cd frontend && corepack yarn install --frozen-lockfile && corepack yarn build

# 或从源码同时构建前端与后端并启动统一服务
cd .. && docker compose -f docker-compose.agentteams.yml up -d --build

# 仓库与 AgentTeams 资源检查
cd ..
python3 installers/checks/check_monorepo.py
python3 installers/checks/check_agentteams.py
make check

更多测试入口和预期结果见 验证指南。

仓库结构

DataFlow/                   DataFlow 1.0.10 固定源码快照
DataFlow-Agent/             Agent 轨迹算子、沙箱客户端与测试
backend/                    FastAPI、MCP、注册表与治理服务
frontend/                   DataFlow-WebUI 与 GOAI 治理驾驶舱
agentteams/                 Worker、Team、Skill 与分发包
examples/governance/        可执行治理工作流与合成数据
docs/governance/            架构、能力、运维和测试文档
installers/                 安装 Profile、生成器与一致性检查
scripts/                    启动、构建、工作流与部署脚本
skills/canonical/           DataFlow 开发 Skill 的唯一源码

安全边界

WebUI 默认没有身份认证，运行 Pipeline 等同于执行本机代码，因此服务默认只监听 127.0.0.1。DataFlow-Agent 默认仅启用 Mock 沙箱；HTTP、本地代码和 Shell 需要分别 显式开启。共享或生产部署必须增加认证、TLS、网络隔离、容器或 VM 执行隔离、最小权限 凭据与备份恢复策略。完整说明见 安全与运维。

来源与许可证

项目采用 Apache License 2.0。内置上游源码版本、本地修改范围、第三方组件、数据来源 与模型/API 边界见 THIRD_PARTY.md 和 NOTICE-GOAI.md。

维护计划

项目按固定上游 commit 管理 DataFlow、DataFlow-Agent 和 DataFlow-WebUI；任何基线升级都 必须同步 snapshot/License 披露并通过 monorepo、MCP、AgentTeams、后端、前端和端到端 工作流检查。Skill 与事件 Schema 采用版本化演进，安全边界变化必须提供回滚路径。后续 重点是实际 AgentTeams 场景回归、OpenTelemetry/AgentLoop exporter 和更多数据治理基准； 不会用模拟结果替换可复现基线。