飞牛fnOS是由骨灰级玩家团队倾心打造的NAS系统,融合AI本地端模型,致力于为家庭和企业提供高效、安全的存储解决方案。
扫码关注公众号
点击蓝字 关注我们
update
周四好呀!各位飞牛玩家们
之前牛牛发布飞牛NAS
本地部署大模型教程
很多朋友体验到了
自己的第一个本地大模型
但是由于需要配置docker
配置N卡环境之类的
对小白用户依然存在一定门槛
看到大家体验大模型的热情
作为主打人性化的飞牛
这不得赶紧安排!
就在刚刚!
应用中心上线Ollama应用
手动安装,内置图形化界面、
N卡运行环境
真正的“幼儿园级别”易用性!
下面牛牛就给大家展示一下
安装方法与运行效果
文章末尾有
开源阿里 QwQ-32b 模型
与Deepseek-671b 满血版对比
喜欢看视频的可以直接点击
本攻略全程不含一句代码
即使是5岁的小朋友
也可以在飞牛NAS使用本地模型!
主打一个全民AI!
教程开始
第一步,打开应用中心安装Ollama
第二步,打开Ollama注册开始使用
教程结束
这里开个玩笑
其实到这里,进入页面就可以直接使用1.5b的deepseek模型了
但是接下来,我们要测试的是 QwQ:32b
开始测试QwQ本地部署
QwQ以32b的大小,
直接比肩DeepSeek671b
这让家庭用户
本地部署完整版大模型
成为可能!
20G模型直接下载到本地!
安装完成,开始对比测试
我们先测试了一个简单的问题
模型非常正经的回答了问题,与deepseek基本一致
但是我们发现4060ti的显存不够,导致完全靠CPU+内存在跑模型,但是结果也还不错
事到如今,我们直接上强度!
我们咨询QwQ一个谜语:
“左边绿,右边红,左右相遇起凉风。绿的喜欢及时雨,红的最怕水来攻。打一个字”
从结果来看,QwQ比较准确的推理出了这个字谜
接下来,我们直接咨询QwQ一个数学逻辑题
“3,10,15,26,下一个数字是多少?”
这个问题的推理难度就大多了,思考的过程花费了非常多时间,但是本地纯靠CPU跑的QwQ与在线的deepseek的处理结果也基本一致。看运算过程,会发现这两个AI的推理能力非常强!都给出了答案。
对于这个结果,牛牛是非常震撼的!
如果观察仔细的朋友可以发现,QwQ在已经得到正确结果之后,依然反复确认有没有其他解法,来完善回答。
--- Deepseek在线671b模型分析过程如下 ---
向下滑动查看
--- QwQ本地32b模型分析过程如下 ---
向下滑动查看
不严谨对比总结
后续我们又对比了一些其他问题,两个模型的推理过程。
整体来看,QwQ这个模型的推理能力确实比肩R1,分析的过程已经超过了很多傻瓜模型,但是对个人设备的性能要求还是有点门槛,性能不够的设备回答速度会比较慢。
本地性能不够的情况下,单个问题的回答时间非常长,可能需要3-10分钟才能完成一个回答。但是从推理的过程的完整性来看,潜力非常大。
最后,短短一个月时间,模型从大模型万亿级别,降到671b,又优化到32b,按照这个发展的速度,或许未来大家每个人的飞牛NAS上都会有自己的私人模型。
在不久的将来,我们的NAS除了作为媒体、存储中心之外,也会成为家庭的知识中心,人人拥有贾维斯的时代或许不会远了。
对本地大模型部署感兴趣的朋友赶紧 去飞牛应用中心,搜索Ollama体验吧!
\ | /
★
各大平台已入驻,欢迎关注!
关注视频号
抖音(新账号)
快手号关注
关注小红书
B站
公众号关注
END