Umi-OCR AI OCR 插件

🚀 项目简介

本插件为 Umi-OCR 提供 26+ 主流AI服务商 的OCR功能，支持云端和本地AI服务的视觉识别API。作为离线OCR的强力补充，为用户提供更高精度、更广泛语言支持的智能文字识别服务。

📋 关于 Umi-OCR

Umi-OCR 是一款免费、开源、可批量的离线OCR软件，基于 PaddleOCR 开发。它具有以下特点：

• 🆓 完全免费：无需付费，无广告，开源软件
• 📱 界面友好：现代化的图形界面，操作简单直观
• 🔄 批量处理：支持批量图片OCR，提高工作效率
• 🌐 多语言支持：支持中文、英文、日文、韩文等多种语言
• 🔌 插件系统：支持扩展插件，功能可定制
• 💻 跨平台：支持Windows、Linux等操作系统

🌟 支持的 AI 服务商

🌐 云端服务商

🏠 本地服务商（离线识别）

💡 自定义地址功能：Ollama、LM Studio 和 llama.cpp 均支持自定义 API 地址，您可以：

• 🌐 连接到局域网内其他机器上的 Ollama/LM Studio/llama.cpp 服务
• ⚡ 在配置较低的机器上运行 Umi-OCR，连接到高性能机器上的 AI 服务
• 🔧 灵活部署，充分利用现有硬件资源
• 📡 支持远程AI服务，实现分布式OCR处理

📊 对比识别效果

设置界面

识别图片："对于及其复杂的手写信息，也能完美识别"

本地PaddleOCR识别效果，结果很差劲

WechatOCR识别效果，结果很差劲

AI OCR(模型：gemini 2.5 flash)识别效果，非常完美

✨ 功能特点

📦 安装要求

1. Umi-OCR软件：需要安装 Umi-OCR v2.0+
2. AI服务API密钥：需要获取对应服务商的API密钥
3. 网络连接：需要能够访问对应的AI服务，国外模型通常需要魔法上网才行

🛠️ 安装步骤

1. AIOCR-releases中下载最新版本插件
2. 将压缩包中的AIOCR文件解压至 Umi-OCR 的插件目录：

   UmiOCR-data/plugins/
   

3. 重启 Umi-OCR 软件
4. 在OCR引擎选择中找到 "AI OCR（云端）"

⚙️ 配置说明

1. 配置插件

首次配置（推荐一次性配置所有服务商）：

1. 在Umi-OCR中选择 "AI OCR（云端）"
2. 在全局设置中配置所有你要使用的服务商：
   • 填写 OpenAI API密钥和模型（如需要）
   • 填写 Gemini API密钥和模型（如需要）
   • 填写其他服务商的配置（如需要）
   • 密钥池（可选）：在任一服务商的API密钥框中填写多个密钥，用逗号、分号或换行分隔，插件会自动轮询使用，分摊请求压力（适合高频使用多个账号的场景）
3. 选择当前要使用的AI服务商并点击应用修改
4. （可选）自定义提示词：在全局设置中可修改"纯文字识别 Prompt"和"含坐标识别 Prompt"，根据特定场景优化识别效果。默认提示词适用于大多数情况，无需修改。
5. 速率限制（可选）：若使用有严格频率限制的服务商（如"每分钟60次请求"），可在全局设置-高级中设置"每分钟最大请求数"（令牌桶限速，建议设为服务商限额的80%左右，0表示不限制），插件将主动控制单位时间内的请求总数，最大程度避免429错误。
6. 在局部设置中选择"识别策略"：
   • 双通道：AI高精度识别（含位置版）：输出带坐标的文本，适合PDF等文档识别。
   • 仅AI高精度识别：直接输出纯文本，不含坐标，适合只需要文本信息的识别。
7. 在局部设置中选择"输出格式"：
   • 仅文字：输出纯文本结果。
   • 文字+坐标：输出带位置坐标的文本。
   • Markdown格式：以Markdown格式直接输出识别结果，保留标题、列表、表格等结构。PaddleOCR-VL-1.6和PP-StructureV3原生支持Markdown输出（PaddleOCR-V5原生不支持此功能）。
8. 设置参数：
   • 裁剪边缘补白 ： 2 px
   • 最大识别框数 ： 30–100 （按图片复杂度与成本权衡）
   • 并发识别数 ： 3–6 （视本机与服务商速率）,Paddle系列和MinerU系列上限为2
   • 最小框面积 ： 0 或 100–500 px^2 （有小字场景建议 0 ）

日常使用：

• 只需在"当前AI服务商"下拉菜单中切换并点击应用修改即可
• 无需重新输入API密钥和模型
• 所有配置都会自动保存

2. 开始识别

• 使用截图OCR、批量OCR等功能
• 插件会自动调用对应的AI API进行识别

⚠️ 注意事项

1. API成本：AI API按使用量计费，请注意控制使用频率
2. 网络要求：需要稳定的网络连接访问AI服务
3. 图像大小：建议设置合适的最大图像尺寸以控制成本
4. 隐私安全：图像会直接上传到服务商服务器进行处理，插件作者不会得到你的任何图片和信息
5. 速度限制：云端API可能有速度限制，不适合大量并发请求
6. 模型选择：不同模型的精度和成本不同，请根据需求选择
7. 中文变体保留：当语言为“自动/中文”时，插件已在提示词中明确禁止简繁转换、全角/半角转换和字符归一化；繁简混排保持混合状态；逐字抄写不重写。
8. Linux/macOS 双通道：内置本地检测器（ONNX Runtime 库）为 Windows 专属。Linux/macOS 下双通道模式会自动回退为 AI 直出（AI 服务不受影响）；如需启用双通道，可自行通过 pip 安装 onnxruntime 与 opencv-python 后重启。也可在识别策略中直接选择"仅AI高精度识别"。

🔑 API密钥获取

硅基流动 (SiliconFlow)

1. 访问 硅基流动
2. 注册账号并获取API密钥
3. 支持多种开源视觉模型

豆包 (Doubao)

1. 访问 火山引擎
2. 开通豆包服务并获取API密钥
3. 字节跳动自研多模态模型

OpenAI

1. 访问 OpenAI Platform
2. 登录账号并创建API密钥
3. 复制生成的密钥

Google Gemini

1. 访问 Google AI Studio
2. 登录Google账号
3. 创建新的API密钥

xAI Grok

1. 访问 xAI Console
2. 注册并获取API密钥

阿里云百炼 (Alibaba)

1. 访问 阿里云百炼平台
2. 开通百炼服务并获取API密钥
3. 支持通义千问系列视觉模型

智谱AI (ZhipuAI)

1. 访问 智谱AI开放平台
2. 注册账号并创建API密钥
3. 国产大模型，多模态能力强

OpenRouter

1. 访问 OpenRouter
2. 注册账号并创建API密钥

Groq

1. 访问 Groq Console
2. 注册账号并获取API密钥
3. 高性能推理平台，速度极快

魔搭 (ModelScope)

1. 访问 魔搭社区
2. 注册账号并获取访问令牌 (Access Token)
3. 阿里达摩院开源AI平台

腾讯混元 (Hunyuan)

1. 访问 腾讯混元大模型平台
2. 注册账号并获取API密钥
3. 腾讯自研多模态模型，支持图片理解，兼容OpenAI协议
4. 默认API地址：https://tokenhub.tencentmaas.com/v1
5. 支持模型：hy-vision-2.0-instruct、hunyuan-t1-vision-20250916、youtu-vita 等

Mistral AI

1. 访问 Mistral Platform
2. 注册账号并创建API密钥
3. 欧洲AI公司，视觉模型优秀

浦源书生 (Intern)

1. 访问 书生·浦语平台
2. 注册账号并获取API密钥；可自行申请更多Token
3. 学术界AI平台，多模态能力强

Kimi（月之暗面）

1. 访问 Kimi 开放平台
2. 注册账号，在 API Keys 页面创建API密钥
3. 月之暗面AI平台，支持视觉模型，长文本处理能力强
4. 默认API地址：https://api.moonshot.cn/v1
5. 支持模型：kimi-k2.6、kimi-k2.5 等

NVIDIA NIM

1. 访问 NVIDIA NIM
2. 注册账号并获取API密钥
3. NVIDIA高性能推理平台，视觉模型优秀
4. 默认API地址：https://integrate.api.nvidia.com/v1
5. 支持模型：moonshotai/kimi-k2.6 等

小米MiMo

1. 访问 Xiaomi MiMo API开放平台
2. 使用小米账号登录，在 控制台-API Keys 创建API密钥
3. 小米自研AI模型，支持图片理解
4. 默认API地址：https://api.xiaomimimo.com/v1
5. 如购买了Code套餐，可使用专属地址：https://token-plan-cn.xiaomimimo.com/v1

Longcat AI

1. 访问 Longcat AI 开放平台
2. 注册账号（国内用户手机号注册，海外用户手机号或邮箱注册），在 API Keys 页面创建API密钥
3. 美团旗下AI平台，兼容OpenAI和Anthropic API格式，每日免费Token额度
4. 默认API地址：https://api.longcat.chat/openai/v1
5. 支持模型：LongCat-Flash-Chat、LongCat-Flash-Thinking、LongCat-Flash-Lite 等

Agnes

1. 访问 Agnes 开放平台
2. 注册账号并创建API密钥
3. 兼容OpenAI API格式，支持视觉识别
4. 默认API地址：https://apihub.agnes-ai.com/v1
5. 支持模型：agnes-2.0-flash 等

讯飞星辰 (MaaS)

1. 访问 讯飞开放平台，在「服务管控」页面开通对应模型服务
2. 从服务管控页面获取 APIKey 和对应服务的 ModelID
3. 兼容 OpenAI API 格式，支持图像理解多模态识别
4. 默认API地址：https://maas-api.cn-huabei-1.xf-yun.com/v2（2026年1月10日后发布服务的用户）；存量用户可使用 http://maas-api.cn-huabei-1.xf-yun.com/v1
5. 注意：讯飞平台模型名需使用xop前缀格式，与其他平台不同：
   • xoppaddleocrv16（PaddleOCR-VL-1.6，默认）
   • xophunyuanocr（HunyuanOCR）
   • DeepSeek-OCR 暂不支持 API 调用

百度飞桨OCR

1. 访问 AI Studio 获取 Access Token
2. 支持模型：PP-OCRv6 / PaddleOCR-VL-1.6 / PP-StructureV3
3. 已切换为异步解析模式，只需填写 Token 即可使用
4. 每位用户每日对同一模型的解析上限为3000页，超出将返回429错误；可自行申请更多页数

MinerU

1. 访问 MinerU官网：(https://mineru.net/apiManage/token)
2. 注册账号并免费获取API TOKEN和模型名称，如 pipeline（默认）/vlm(推荐) /MinerU-HTML等
3. 每个账号每天享有 600 页最高优先级解析额度，超过 600 页的部分优先级降低
4. 单个文件大小不能超过 200MB,文件页数不超出 600 页（“批量文档”和“批量OCR”可无视此约束）

🏠 本地服务安装指南

Ollama (完全离线)

1. 安装Ollama：

   # Linux/macOS
   curl -fsSL https://ollama.ai/install.sh | sh
   
   # Windows
   # 从 https://ollama.ai 下载安装包
   

2. 下载视觉模型：

   # 下载llava模型（推荐）
   ollama pull llava
   
   # 或下载其他视觉模型
   ollama pull llava:7b
   ollama pull bakllava
   

3. 启动服务：

   ollama serve
   # 服务将在 http://localhost:11434 启动
   

4. 在插件中配置：

   • 服务商：选择 "Ollama (本地)"
   • 模型：填入已下载的模型名（如 llava）
   • 默认API地址（可修改）：http://localhost:11434/api
   • API密钥：留空即可

LM Studio (图形界面)

1. 下载安装：

   • 访问 LM Studio官网
   • 下载并安装适合您系统的版本

2. 下载模型：

   • 在LM Studio中搜索并下载支持视觉的模型
   • 推荐：llava-1.5-7b-hf, llava-1.6-34b-hf

3. 启动本地服务器：

   • 在LM Studio中点击"本地服务器"
   • 选择已下载的视觉模型
   • 启动服务器（默认端口1234）

4. 在插件中配置：

   • 服务商：选择 "LM Studio (本地)"
   • 模型：填入LM Studio中加载的模型名
   • 默认API地址（可修改）：http://localhost:1234/v1
   • API密钥：留空或填入"not-needed"

llama.cpp (高性能推理)

1. 安装llama.cpp：

   • 从 llama.cpp Releases 下载适合您系统的版本
   • 或通过包管理器安装

2. 下载视觉模型：

   • 从 Hugging Face 等平台下载支持视觉的 GGUF 模型文件
   • 推荐：LLaVA、Qwen-VL 等视觉模型的 GGUF 量化版本

3. 启动服务：

   llama-server -m <模型路径> --host 0.0.0.0 --port 8080
   # 服务将在 http://localhost:8080/v1 启动（OpenAI兼容API）
   # 如需设置API密钥：llama-server -m <模型路径> --api-key your-secret-key
   

4. 在插件中配置：

   • 服务商：选择 "llama.cpp (本地)"
   • 模型：填入加载的模型名称
   • 默认API地址（可修改）：http://localhost:8080/v1
   • API密钥：如启动时设置了 --api-key 则填写对应密钥，否则留空

🔒 本地服务优势

• 完全离线：无需网络连接，数据不上传
• 隐私保护：所有处理在本地完成
• 免费使用：无API调用费用
• 自主控制：可选择和定制模型

📝 版本历史

• v3.0.7：✨ 新增 - 新增「自定义OpenAI兼容 (Custom)」服务商（社区建议 #35）。可填写任意 OpenAI 兼容的 API 地址（如 vLLM、One API、new-api 中转、自建服务等），请求将发送到 {API地址}/chat/completions，API 密钥与模型名均可自定义。修复 i18n.csv 空行导致翻译表加载失败的问题。
• v3.0.6：🚀 重大更新 - 新增令牌桶速率限制（主动避免429限流）与API密钥池轮询（社区建议 #12）。全局设置新增"每分钟最大请求数"（0=不限制）；任意服务商的API密钥框支持填写多个密钥（逗号/分号/换行分隔）自动轮询；429重试改为指数退避。修复Linux/macOS下OCR返回空的问题（#28）：检测器不可用时自动回退AI直出，AI服务（如Ollama）始终被正常调用。
• v3.0.5：🔧 修复 - 修正讯飞星辰平台模型名：使用 xop 前缀格式（xoppaddleocrv16、xophunyuanocr），注明 DeepSeek-OCR 暂不支持 API 调用。
• v3.0.4：✨ 新增 - 添加讯飞星辰（MaaS）平台支持（兼容 OpenAI API 格式，默认模型 PaddleOCR-VL-1.6，默认地址 https://maas-api.cn-huabei-1.xf-yun.com/v2，支持 DeepSeek-OCR、HunyuanOCR 等模型）。
• v3.0.3：✨ 新增 - 添加 Agnes 平台支持（兼容 OpenAI API 格式，默认模型 agnes-2.0-flash，默认地址 https://apihub.agnes-ai.com/v1）。
• v3.0.0：🚀 重大更新 - 双通道模式全面升级！将本地检测模块从基于C++的PP-OCRv3替换为基于ONNX的PP-OCRv6，速度更快、精度更高、体积更小（约40MB）。新增检测器版本和模型大小配置项，用户可选择Small/Medium/Tiny模型。修复检测模块遮蔽AI识别结果的问题：检测器现在仅负责文本块定位，不再返回识别文本，识别任务完全交由AI完成。新增腾讯混元（Hunyuan）平台支持；移除无问芯穹（Infinigence）平台（官方已停止个人用户服务）。
• v2.9.9：在各功能板块的"文字识别(AI OCR)"设置顶部新增"当前AI服务商"快捷切换，默认跟随全局设置，也可直接选择服务商覆盖（选择后全局设置同步更新），无需频繁打开全局设置即可切换服务商。
• v2.9.8：百度PaddleOCR模型升级：将默认模型从PP-OCRv5升级至PP-OCRv6，API端点和请求格式保持不变，所有原有功能（文档扭曲矫正、文档方向分类、文本行方向矫正等）均可继续使用。
• v2.9.7b：修复阿里云百炼平台识别速度极慢的问题：将请求方式从DashScope原生API（/services/aigc/multimodal-generation/generation）切换为OpenAI兼容模式（/compatible-mode/v1/chat/completions），与阿里云官方推荐方式一致，响应速度从数分钟降至正常水平。同时优化HTTP客户端连接复用机制，HTTPClient改为复用同一个opener实例，避免每次请求都重建TLS握手和TCP连接，所有平台的多API调用场景（如双通道纠错回退）均受益。
• v2.9.7a：修复NVIDIA NIM平台报错 'Api' object has no attribute '_get_ocr_prompt' 的问题：_send_nvidia_nim_request方法调用了不存在的_get_ocr_prompt()，修正为接收上游已构建好的prompt参数。
• v2.9.7：新增Markdown格式输出选项，所有平台均可选择以Markdown格式直接输出识别结果；PaddleOCR-VL-1.6和PP-StructureV3原生支持Markdown输出，无需裁剪即可获取完整Markdown结构；Markdown模式下保留所有符号（包括#标题），仅文字和文字+坐标模式不受影响。新增llama.cpp本地服务商支持；Ollama平台API地址开放为用户可自定义。
• v2.9.6：更新PaddleOCR-VL至1.6版本，移除PaddleOCR-VL和PaddleOCR-VL-1.5支持，保留高级功能供VL-1.6使用；全面废弃PaddleOCR系列所有模型的同步解析模式，统一使用异步解析模式。
• v2.9.5：新增Kimi（月之暗面）、NVIDIA NIM和Longcat AI平台支持；PaddleOCR系列全部切换为异步解析模式，适配官方API变更；PaddleOCR配置简化为仅需填写Token。
• v2.9.4：完善LM Studio本地服务配置，新增自定义API地址支持；新增小米MiMo平台及其专属Base URL支持（Code套餐用户可使用专属地址）；暴露提示词窗口，允许用户自定义纯文字识别和含坐标识别的提示词。
• v2.9.3：增加Paddle系列和MinerU系列功能开关，提供更强大的识别功能；以Markdown为输出格式（Paddle系列和MinerU系列）时，默认去除所有的结果中的"#"; 修正文档说明。
• v2.9.2：增加GLM-OCR和MinerU；默认关闭所有平台的"深度思考"功能；略微优化了识别结果与文字不对齐的表现。
• v2.9.1：增加PaddleOCR-VL-1.5，效果更好，默认关闭版面识别，默认开启Markdown美化，输出文本更美观。
• v2.9.0：增加PP-StructureV3功能，对复杂版面内容解析更精准。默认开启版面识别，默认开启Markdown美化，输出文本更美观。
• v2.8.0：增加PaddleOCR-V5以及PaddleOCR-VL功能。
• v2.7.0：调整双通道策略，现在双通道:AI高精度识别(含位置版)识别精度更高、识别速度速度更快。
• v2.6.0：🚀 重大更新 完美解决大模型OCR无法文字对齐的问题！新增并完善双通道识别，通过本地PaddleOCR检测识别真实坐标，再用所用AI模型识别文本，识别文字与原图文字完美对齐！并发识别、框数限制、本地高分直接采用、裁剪补白等参数可调，整图识别速度较之前版本更快。
• v2.5.0：🎉 社区贡献更新 - 新增5个AI服务商支持！添加Groq（高性能推理）、魔搭ModelScope（阿里达摩院）、Mistral AI（欧洲AI）、浦源书生Intern（学术界AI），大幅扩展AI服务商选择。优化本地服务自定义地址功能。
• v2.4.0：🚀 重大更新 - 新增本地离线识别支持！添加Ollama、LM Studio本地服务商，支持自定义API地址，完全离线OCR成为可能。优化识别文字对齐，现在识别后的文字与原图位置只有轻微偏移。
• v2.3.0：新增阿里云百炼和智谱AI支持，更新所有服务商默认模型，优化界面布局，移除重试次数配置（内置3次）
• v2.2.0：支持一次性配置所有服务商，切换时无需重新输入API密钥和模型
• v2.1.0：增加支持硅基流动、豆包视觉模型
• v2.0.0：重构为多厂商AI OCR插件，支持OpenAI、Gemini、xAI、OpenRouter
• v1.2.0：支持Gemini 2.5 Flash和Pro预览版模型，优化识别精度
• v1.1.0：增加多语言支持，优化错误处理
• v1.0.0：初始版本，支持Gemini OCR功能

💖 支持

如果这个插件对您有帮助，请考虑：

• 给项目点个星⭐
• 分享给更多需要的人
• 提供反馈和建议
• 参与项目贡献

---

感谢使用 Umi-OCR 多厂商 AI OCR 插件！