Neuro

AI 知识库以及动态文档生成

简述: Neuro 是一个用于构建 AI 驱动知识库并自动生成项目文档的 .NET 组件集合，包含向量化、分词、向量存储抽象与样例 API。

目标:

• 提供可扩展的向量化与向量存储接口，方便集成不同模型与存储后端
• 支持基于文档与向量检索的知识库构建
• 支持根据知识库和代码自动生成或更新项目文档

关键特性:

• ONNX 向量化器（Neuro.Vectorizer）：基于 ONNX 模型生成文本 embedding，内置输出选择启发式规则
• 分词器适配器（Neuro.Tokenizer）：封装 Microsoft.ML.Tokenizers 的 tiktoken 风格接口
• 向量存储提供者（Neuro.Vector）：支持通过工厂注册不同提供者并以 DI 方式注入
• EF Core 集成（Neuro.EntityFrameworkCore）：包含软删除、租户过滤与审计规则
• 示例 API（Neuro.Api）：演示如何启动服务、注入组件与初始化数据库
• 文档转换器（Neuro.Document）：将文档转换为 Markdown 以供索引与渲染

架构概览:

• 模块化设计：每个功能模块为独立项目，通过扩展方法进行 DI 注册（AddVectorStore、AddVectorizer 等）
• 提供者工厂模式：VectorStoreFactory 注册并创建命名提供者，支持灵活替换存储后端
• 向量化器策略：在加载 ONNX 模型后，优先选择 pooled 输出，次选 last_hidden 的均值池化，最后回退到任意 float 张量并展平

运行与开发:

• 要求：.NET 10 SDK
• 构建：dotnet build Neuro.slnx
• 运行示例 API：cd src\Neuro.Api && dotnet run（默认 SQLite，Data Source=neuro.db）
• 测试：dotnet test（某些向量化器测试依赖 ONNX 模型，需 git lfs pull 获取 models/bert_Opset18.onnx）
• 注意：向量化器模型与大文件使用 Git LFS 管理，避免将模型直接提交到仓库

扩展与二次开发指南:

• 添加向量存储提供者：实现 IVectorStore 并通过 VectorStoreFactory.RegisterProvider 注册，同时提供 services.AddVectorStoreProvider 的扩展
• 添加分词器/向量化器：实现 ITokenizer / IVectorizer 并在对应的 Extensions 中注册
• 文档自动生成：使用 Neuro.Document 提取、转换文档为 Markdown，结合向量索引与检索生成说明或更新 README

已知限制与设计决策:

• TiktokenTokenzierAdapter 仅支持通过 EncodingName 创建编码器，不支持本地编码文件路径（EncodingFilePath）
• AutoInitDatabase 使用 EnsureCreated()，默认不启用 EF Migrations
• ONNX embedding 输出采用启发式选择，新增模型可能需要调整选择策略

贡献与路线图:

• 短期：完善文档生成模板、增加 Markdown->知识片段的拆分器与注释提取器
• 中期：增加更多向量存储后端（Faiss、Milvus、Pinecone）、引入增量索引与同步任务
• 长期：集成 LLM 写作助手用于生成完整设计文档与变更日志