← 返回列表

通过微调+MCP让小模型也能拥有大模型一样的知识

单站 冲鸭安全 发布 Sun, 19 Apr 2026 10:01:00 +0800 入库 2026-11-18T16:58:12

原创 huoji 2026-04-19 10:01 北京

前言

在训练duckgpt之前,我认为未来端点推理一定是主流的,因为大模型在服务器上跑,大是大,确实性能可以,但是太贵了,未来LLM一定是软件一样分发到各家各户而不是在云端集中推理。

在写了上一篇文章后,我继续的对大模型进行训练

《[2026]从0训练自己的AI大模型(下)》

https://key08.com/index.php/2026/04/05/3136.html

经过不断的努力,我成功的让一个duckgpt变得非常聪明,通过蒸馏/SFT微调/强化学习agent能力,现在他长得像GPT+claude的组合了,而且逻辑思维能力基本跟GPT+claude差不太多:

duckgpt:

深度思维链思考:

逆向分析:

浏览器使用能力:

代码工程能力:

如果对这个感兴趣,在这篇文章留言”想看精调”,我会单独出一期如何通过精调(sft+rl场景+dpo)让模型具有agent能力并且提高智商

看起来很不错对吧,实际用也很不错,但是到前几天我发现了一个问题,参数量太小了,很多东西他都不懂。

什么东西是硬伤?

对于LLM来说,可以简单理解,模型参数量=脑容量。而模型行为可以被各种训练,比如我们可以做DPO去优化模型的行为,我们可以做GRPO让模型学会调用工具,强迫模型进行深度思考找到正确答案,我们可以搞SFT/lora去让模型蒸馏GPT/CLAUDE的能力让他们在某些领域的智商显著提高。但是我们没办法解决一件事,就是模型因为参数量的问题,他的知识面和深度永远比不过大模型

你可以说我们可以通过,扩展预训练去给模型增加知识啊? 但是这个其实是有问题的,模型参数就这么大,扩展预训练代表模型一定会遗忘一些东西,另外成本很大,现在网络信息变化那么快,每几个月来一次吃不消。

所以有什么办法解决呢?

Reseach MCP

回想以前纯手工时代写代码,搞二进制,写内核的时候,我们在干什么? 在每天没日没夜的查询资料,通过谷歌,github找代码抄。所以就那一个问题,为什么我们不搞一个模型用的”谷歌”呢?并且小模型是有工具调用能力的,他完全可以通过工具调用能力去弥补自己的知识面的问题。

第一版我就做了一个模型搜索引擎,有问题让模型先搜索一下网页,效果嘛….一般,对于了解新闻可以,但是对于专业领域还是太欠缺了,甚至是有害: 因为模型会无条件相信工具的结果,而我们的工具通过API调用,查到的居然是C某DN这种网站,质量直线下滑。

因此,我做了一个非常简单的mcp research,也不是我做的,vibe coding的,他本质上是通过duckduckgpt+AI聚合+知识库的东西,你可以简单理解为,他是一个搜索引擎,并且还内置一个AI,这个AI会根据skills去整理搜索引擎的内容,并且访问具体的网站,然后给报告。与其他的”deepresearch”不同的是,他是为代码设计过的

简单的例子,当我们问,WFP的时候,通过MCP,找到了对应的资料

还会带例子输出,参考资料

还会推荐要继续查询什么

然后模型会继续接着追问,一个场景会出现三四个知识库,这些知识库会保存起来,并且按时间过期,超过X天自动过期重新更新:

本质上,这个就是一个大号的,本地模型的专用搜索引擎,你甚至是可以接一个大模型,让自己本地的GPT,去问云端的GPT代码怎么写,问题怎么做。这样理论上能最大减少幻觉。

懒惰是最大的问题

再然后,我发现了另外一个问题,本地的GPT,比如QEWN或者DUCKGPT,都是“懒惰”的,意思是他们不会主动的调用工具。比如duckgpt或者qwen3.5 27b/35b在用户完全没提示的时候,无论MCP怎么写提示词让他调用,在没用户提示或者系统提示词的情况下,这些都很少调用这个MCP,即便是错误的环境下,也很少调用MCP,而且即便是用户提示调用,也是第一次调用,然后自己写代码出现幻觉了(代码怎么改都改不了),也不会调用MCP进行搜索。

然后去看源码,给出结论:

微调模型

因此,我对duckgpt进行了额外的微调,简单来说,就让大模型自己合成了一个简单的数据集吗,合成的办法看我之前的帖子:

(这个微调没有用DPO,我只用了lora,因为我觉得没必要那么费劲)

我们没办法知道模型是否幻觉,但是我们能让模型更倾向于主动调用research工具

弄完后,模型终于主动的开始调用工具了:

mcp里面的AI的结论:

(这种保守是非常正确的,不能胡编,只依赖证据)

不过还有瑕疵,AI会变得很保守,表现为问啥都会搜一下,所以之后可能做一下DPO让AI区分哪些是直接回答哪些是复杂问题找资料。不能这么傻大粗的做提示词+微调去做。

结论

我目前用得很爽,所以分享给大家:

https://github.com/huoji120/mcp-research

原文链接:https://mp.weixin.qq.com/s?__biz=MzkyOTc0NDY2Nw==&mid=2247486179&idx=1&sn=943541d40bc4c713cc28342cff756a97