我试了10个开源对话AI，最后只留了这一个在电脑里

说实话，最开始我对那些开源对话机器人没抱太大希望，毕竟现在大厂搞的闭源模型一个比一个猛，GPT、Claude这些东西已经够好用了，谁还折腾自己部署？但后来我发现,有些事情你还真得自己动手。

比如你写文章的时候，想让它帮你整理思路，结果动不动就“抱歉，我无法回答这个问题”，或者你想让它处理点隐私数据，心里又悬着一块石头，倒不是说人家会偷你东西,但总归膈应。

于是我就开始翻GitHub，找那些能下载到本地跑的开源对话机器人，这一找，嘿,还真发现不少好东西。

先说一个坑吧，有些所谓的“开源项目”，其实就是把别人模型的API包了一层皮，你下载回来还得联网，还得自己去申请Key，这种就没什么意思了，还不如直接用网页版，我想要的，是那种真正能下下来,断网也能聊的玩意儿。

最开始试了个叫Alpaca的变体，中文名叫羊驼的那个，怎么说呢，跑是能跑，但对话感觉特别“机械”，你问它“今天心情怎么样”，它跟你说“作为一个AI，我没有情感”，这种回答，说实话，谁爱看啊？你要写文章用这种机器人对话截图,读者秒懂是AI。

后来又试了个叫ChatGLM的早期版本，这玩意儿中文能力倒是不错，但占用内存实在是太离谱了，我那台16G的笔记本，跑起来风扇呼呼响，跟起飞似的，写个文章还得先听它抗议十分钟,受不了。

再后来，我找到了一个叫Ollama的东西，不是模型，是把模型打包好的工具，有点像App Store，你装好它之后，想用哪个模型就下载哪个，命令行一敲就完事，关键是它还能跑一些特别小但效果不错的模型，比如Phi-3、Qwen2，这些家伙体积不大，但对话已经很自然了，至少不会上来就说“我是AI”。

我试了几轮，最后留下来的其实是一个叫Qwen2-1.5B的，你没看错，1.5B，也就是15亿参数，放到现在动不动上千亿的大模型圈子里，这简直就是个弟弟，它真的好用，装完才1个G左右，普通电脑跑起来贼流畅，对话风格也不僵硬，偶尔还能跟你贫两句，我把它的回答截图丢到文章里,评论区好几个人都没看出来是AI写的。

你要让它写一篇两千字的深度分析，那确实难为它，但是用来润色文案、起标题、整理思路，绰绰有余，而且本地部署最大的好处是什么？隐私，我接了一些客户的定制内容，有些数据不想过云端，本地跑完就删,踏踏实实。

对了，下载的时候注意一点，GitHub上很多项目，记得看清楚有没有带模型文件，有些项目只有代码，模型得自己去huggingface下，新手容易搞混，最好找那种一键安装包,省心。

最后说句大实话，别被那些跑评测榜单的数据唬住了，参数再大的模型，不能本地跑，对你写文章来说就没用，真干活的时候，稳定、流畅、不给你整幺蛾子,比什么都强。

反正我现在电脑里就留了这一个，其他都卸载了，写文章的时候开着它，边聊边改，效率提高不少，你也试试,说不定就回不去了。

（免费申请加入）AI工具导航网

相关标签： # 对话ai机器人开源下载