DSH Marketplace

ModLens:视觉与 OCR 插件

liustack/modlens

为纯文本模型架起视觉桥梁:粘贴图片,输出结构化 JSON 证据(OCR、版面、语义)。

4,409134TypeScriptMIT源码

安装

把 modlens 装进 DeepSeek Harness

装到哪

npm 方式

直接拉已发布的 tarball,不用克隆整个仓库,也不需要额外配置。如果你用的是别的 profile,把 `web` 换成对应的名字。

GitHub 方式 · npm 包

从 GitHub 装会执行项目自己的构建脚本,而 pnpm 默认拦着不让跑——先跑一次这条命令,pnpm 会打印出要加到 ~/.dsh/profiles/web/pnpm-workspace.yaml 里 `allowBuilds` 下面的那个 key。

我们跑过之后

我们跑过,装得上

这里每条命令都在一次性容器里、对着干净 profile 真跑过,结果取自 harness 自己的记录,不是读源码猜的。 最近一次 11 天前,DeepSeek Harness 0.2.2-rc.1.

挂进你的 README

实测可装 — dshmarketplace

给维护者的:badge 取这条 listing 最近一次 sandbox 实测的结果,重跑之后它自己会变,读者点开就是这页的完整记录。

安装前须知

装 modlens 之前,先看这几条

  • 源码在这里: liustack/modlens——已进入社区精选库,DSH 自带的插件市场就是从这儿装的。
  • 开源协议:MIT。

安全

装 modlens 会执行什么

构建脚本

我们这次实装里没有构建脚本被拦。

来源:我们在沙箱里的实装,DeepSeek Harness 0.2.2-rc.1,11 天前。

安装钩子

package.json 里没有 preinstall / install / postinstall 脚本。

来源:最近一次同步时读到的 GitHub 上的 package.json。prepare 没有记录——它只在从 GitHub 装时执行,被 pnpm 拦下时会出现在「构建脚本」那一行。

README 里提到

shell 命令(bash、exec、spawn 之类)

来源:对 README 做的关键词匹配,只提示它可能碰到什么,不是代码分析。

这不是安全审计。上面是一次实装记录加两次文本扫描,没有人替你读过这个插件的代码。插件带着你 agent 的权限在跑。

AI 锐评

是什么 — 给 DeepSeek Harness 里的纯文本模型处理直接粘贴的图片,产出带 OCR、阅读顺序版面和实体关系的结构化 JSON。

谁该装 — 用 DeepSeek-V4-Flash、DeepSeek-V4-Pro、GLM-5.3 或 MiMo Pro 在 DeepSeek Harness 里核对界面截图、扫描件时,模型看不见图,缺转写和版面证据。日常已经开在 GLM-5.3-Flash 这类被确认带原生视觉的路由上的人不必装,插件会跳过它们,粘贴仍走原来的多模态通道。

注意 — 实测在全新 profile 里能装上并被注册进 profile。读图走本机已有的 Claude Code、Codex、OpenCode、Pi 登录,或 Antigravity CLI、Gemini、OpenAI 兼容密钥;免费 Gemini 一次约 5–10 秒,逗号分隔密钥会在鉴权、限流或配额失败时轮换。它会执行 shell 命令;屏幕截取热键不在本包,要另找 dsh-screenshot。

锐评 — 装。不写 hook、不改 DeepSeek Harness 配置、不跑本地代理,卸了只删一个文件夹,这个可逆性够我放进常用 profile。

grok-4.6 写的,只当参考,不当结论。里面说装得上或装不上,是在干净 profile 里真跑过的;其余都是读仓库读出来的。以实际运行为准。

modlens 是做什么的

Image tiles pass through a lens and provider channels, converging into structured data blocks.

modlens 是一个 DeepSeek Harness 插件,为无法直接处理图片的 DeepSeek 和 GLM 纯文本模型提供视觉读取通道。它接收聊天中粘贴的图片或图片路径,通过 modlens_read_image 生成结构化 JSON 证据,包括 OCR、按阅读顺序排列的版面区域、实体和关系。普通粘贴流程中,宿主会把图片放入私有临时文件,并将路径交给 composer;选择 (modlens vision) 模型后,缩略图仍保留在消息里,插件会在请求时把图片转换为证据。它会发现元数据明确标记为纯文本模型的 provider route,并为其创建包装后的 (modlens vision) 条目;原生支持视觉的模型则继续使用自身的粘贴处理。

它适合需要读取截图、文档或其他图片,但当前模型只有文本能力的 agent,前提是至少有一个可用的视觉引擎。README 说明它可以使用 Gemini API、OpenAI-compatible endpoint、Anthropic API,或复用 Claude Code、Codex、OpenCode、Pi 中已有的登录。终端访问需要审查:配置和运行过程中可能检查本地 harness CLI,并调用获准使用的登录路线;粘贴图片也会经过本地临时文件。如果模型本身已经支持视觉、图片不能发送到外部引擎,或没有可用的 API 与本地 CLI,就不应使用它。

modlens 的文档

行为说明

modlens_read_image 是提供给纯文本模型的原生工具。粘贴图片时,宿主可以把私有临时文件路径放入 composer;选择 (modlens vision) 条目时,缩略图会保留在消息中,并在请求时转换为证据。聊天中也可以直接提供图片路径。输出用于让模型依据图片内容回答,并包含 OCR、版面区域、实体和关系等结构化信息。

模型路由

插件只接管元数据明确确认是纯文本 DeepSeek 或 GLM 模型的 provider route,并为每条路线添加包装后的 (modlens vision) 条目。已确认的视觉模型会自动排除,未确认的模型保持不变。README 给出的标准条目包括 DeepSeek-V4-Flash (modlens vision) 和 DeepSeek-V4-Pro (modlens vision);opencode-go、zai 等额外路线也可以获得自己的条目。

视觉引擎

README 记录了六个内置 provider 和四个可复用的本地 agent CLI。已列出的 provider 包括需要 Gemini API key 的 gemini-api,需要 key、baseUrl、model 的 openai,以及需要 Anthropic API key 的 anthropic。antigravity-cli 在登录后可作为无 key 通道。复用 Claude Code、Codex、OpenCode 或 Pi 的登录前会询问许可;读取结果会标明消耗了哪一方的 quota。

终端访问

配置会检查本地可用凭据,并在复用前征求许可。README 给出的登录命令是 agy。因此需要同时审查本地 CLI、凭据和发送给所选 provider 的图片数据。

根据项目自己的文档整理,会跟着上游更新。两边对不上时以源码仓库为准—— 去 GitHub 看原始 README

同一分类

modlens 的同类插件

10k

给纯文本模型补视觉:describe_image 把本地路径/URL/附件图片交给可配置的 OpenAI 兼容视觉端点,进会话的只有返回文本。

没有一行式安装命令——这个插件在一个大仓库的子目录里,也没发 npm 包。

GitHub 源码TypeScript2 天前

AI 锐评

dsh-tool-describe-image

是什么 — dsh-tool-describe-image 是纯文本模型的图像描述工具。支持将本地路径、URL或附件发送至配置的 OpenAI 兼容视觉端点,仅返回文本进入会话。

谁该装 — 在使用 DeepSeek Harness 的纯文本模型处理图像附件时,用户适合安装此插件。 使用支持原生视觉模型的用户可以选择不安装,因为他们的模型有内置图像处理能力。

注意 — 在全新 profile 中安装并注册测试通过,未发现明显的坑。 静态检查未发现任何问题。

锐评 — 我会装,因为它让纯文本模型在会话中处理图像输入。

grok-4.6 写的,只当参考,不当结论。里面说装得上或装不上,是在干净 profile 里真跑过的;其余都是读仓库读出来的。以实际运行为准。去看源码
1详情

esp32-iphone-agent

onehumanbeing

4.4k

Let an AI model use a real iPhone with a $7 ESP32: AirPlay eyes, USB HID hands, any OpenAI-compatible vision model. No Mac, no developer account, no jailbreak.

我们跑过,装得上

GitHub 源码Swift11 天前

AI 锐评

esp32-iphone-agent

是什么 — 经 ESP32-S3 把 iPhone 画面交给兼容 OpenAI 的视觉模型,并用 USB HID 点按、滑动和输入。

谁该装 — 在 DeepSeek Harness 里跑兼容 OpenAI 的视觉模型,要把「设重复闹钟并保存」这类步骤做到真机 iPhone 上,同时不走 Mac、开发者账号和越狱。低于 iOS 18、或没有已烧录固件的 ESP32-S3,不必装:没有接收端,链路接不起来。

注意 — 板子会开热点当 AirPlay 接收端,手机要开 AssistiveTouch,模型请求走蜂窝;视觉接口的 API key 或 token 得自备,运行中会执行 shell 命令。指针是相对位移,应用会甩动指针再在画面里校正。在全新 profile 里可以装上并被 DeepSeek Harness 注册。

锐评 — profile 注册成功只说明插件能进 harness,不说明真机已被驱动;我会先看 TestFlight 里镜像和点击是否已经稳定,再决定放不放进 profile。

grok-4.6 写的,只当参考,不当结论。里面说装得上或装不上,是在干净 profile 里真跑过的;其余都是读仓库读出来的。以实际运行为准。去看源码
2源码

为纯文本模型"看图“设计更好的视觉工具箱和技能,支持多图理解,图片问答,前端UI还原、GUI 自动化等,并可选无缝接入多个主流agent,直接识别粘贴图片| A vision toolkit and skill designed for text-only llms — image Q&A, long-screenshot OCR, frontend UI restoration, and GUI automation, with optional seamless integration for Codex, Claude Code, Pi, Oh My Pi, and OpenCode

我们跑过,装得上

GitHub 源码Python1 个月前

AI 锐评

agent-vision-toolkit

是什么 — 给纯文本 agent 配看图 CLI 和 skill,做多图问答、长截图 OCR、前端还原和 GUI 自动化。

谁该装 — 在 DeepSeek Harness 里用 DeepSeek 对着设计稿或产品截图改前端、操作 GUI 时,模型吃不到像素。主 agent 已经是多模态、对话里贴图就能问能改的人,用不上这层 CLI。

注意 — 实测在全新 profile 里能装上并被 harness 注册。从 GitHub 源码安装,能力通过 shell CLI 提供。粘贴图要无缝进对话需另内部署本地代理;DSH 的 10 个结构化视觉工具在 dsh-vision-toolkit submodule 中,不初始化就没有。

锐评 — 我装,因为我要的是 harness 补眼,不是为了看图去换掉 DeepSeek。

grok-4.6 写的,只当参考,不当结论。里面说装得上或装不上,是在干净 profile 里真跑过的;其余都是读仓库读出来的。以实际运行为准。去看源码
1源码

为纯文本 Agent 提供视觉能力:内置免 Key 视觉链 + 像素级视觉工具(看图问答、定位、裁剪、像素对比、取色、OCR、矢量化、抠图、截图);粘贴图片即可用。

我们跑过,装得上

npm 包JavaScript24 天前

AI 锐评

dsh-vision-router

是什么 — 给 DeepSeek Harness 上的纯文本 agent 接识图链路和像素工具,composer 开启 Vision 后贴图即可调用。

谁该装 — 你在 DeepSeek Harness 里用纯文本模型处理报错截图、给 UI 控件定位、做 OCR 或设计稿对比,但当前聊天模型吃不进图片。图像不能出机、也不打算自己接视觉后端的人不必装。

注意 — 实测在全新 profile 里能装上,并被 harness 注册。默认会把原图或裁剪、视觉提示和相关请求元数据发到云端视觉提供方,新装还开着匿名 OVHcloud 回退,免 key 并不等于离线。运行过程中会执行 shell 命令。

锐评 — 我会装进日常用的 profile:要的是可重复的 tool turn,不是多一个能看图的聊天窗口。

grok-4.6 写的,只当参考,不当结论。里面说装得上或装不上,是在干净 profile 里真跑过的;其余都是读仓库读出来的。以实际运行为准。去看源码
1详情

让纯文本模型处理视觉任务:粘贴图片后自动切换到 Vision Toolkit 变体,支持图片问答、多图比较、长截图 OCR、截图还原前端 UI、元素定位与像素对比。默认无需 API Key——图片经作者自建的免费服务处理,每台机器每天 100 张;也可改为指向自己的服务商。

DeepSeek Harness 0.2.2-rc.1 拒装最新版

npm 包TypeScript23 天前

AI 锐评

dsh-vision-toolkit

是什么 — 给纯文本模型贴图后切到 Vision Toolkit 变体,做图像问答、多图对比、长图 OCR、截图还原 UI、元素定位和像素 diff。

谁该装 — 在 DSH Web 里用纯文本模型改界面或排障,材料只是贴进会话的截图。 已经固定使用带视觉的模型、不会切回纯文本的人不必装。

注意 — 实测 DeepSeek Harness 0.2.2-rc.1 会在安装前拒掉目前所有版本,因为声明的 DSH 范围不含该版本。默认图片走作者托管的免费服务,每机每日 100 次,也可改成自己的 provider。

锐评 — 我会挂着等作者更新 DSH 范围,而不是放弃或强装最新版。

grok-4.6 写的,只当参考,不当结论。里面说装得上或装不上,是在干净 profile 里真跑过的;其余都是读仓库读出来的。以实际运行为准。去看源码
详情

dsh-browser

omdsh-dev

809

Chrome sidebar extension that lets DeepSeek Harness operate your browser directly, no vision capabilities required. 一款 Chrome 侧边栏扩展程序,可让 DeepSeek Harness 直接操控您的浏览器,无需视觉能力。

我们跑过,装得上

GitHub 源码TypeScript1 个月前

AI 锐评

dsh-browser

是什么 — dsh-browser 是一个 Chrome 侧边栏插件,让 DeepSeek Harness 能直接操控浏览器页面,无需视觉能力。

谁该装 — 在使用 deepseek-v4-flash 模型执行网页点击、表单填写和导航任务的用户适合装它。 不需要浏览器交互的人无需安装此插件。

注意 — 安装需提供 API key 或 token,会执行 shell 命令。从源码安装时需手动允许构建脚本。沙箱实测在全新 profile 中通过。基准测试显示端到端平均延迟 5.32 秒,比 Playwright 基线快约 20%。

锐评 — 不装,因为它只提供浏览器工具而不包含 multimodal 截图功能,若任务不需要这类操作则无需额外插件。

grok-4.6 写的,只当参考,不当结论。里面说装得上或装不上,是在干净 profile 里真跑过的;其余都是读仓库读出来的。以实际运行为准。去看源码
2源码