这篇著述，我们来玩点花的！
放在几年前念念玩NAS，一块J1900 J4125就能豪恣百分之八九十的需求了。
但放在今天各家国产厂商不竭在nas上卷成立，n5105这类平台放在现时市集上说真话齐仍是算是有点落后了，我们玩家关于NAS的需求亦然越来越高。从一起头的存储、伙同、下载、汉典访谒这类比拟基础的功能，到现时齐在玩的影视劳动、docker容器、臆造机各样各样的软件劳动齐念念塞进一台小小的NAS里。
不错说巴不得用着低功耗U，干着志强的活是吧
那我们这篇著述，来整点能弥散榨干NAS性能的活！在NAS中部署谎言语模子，得到一个随处随时的个东谈主问答助手
为什么聘请NAS部署谎言语模子那其实好多小伙伴比拟狐疑，为什么要聘请NAS来部署呢？用我方的PC部署不能么？
使用NAS部署主要照旧因为这类确立是7x24不阻隔地运行，念念要用的期间平直投入webui界面就行。然则PC部署的话，如若你能接受你的电脑不关机运行其实亦然莫得问题的。
另外部署在NAS中，运算啥的齐是在腹地进行，不错灵验保护个东谈主秘密安全。
同期也莫得在线AI那样严格的审查机制。就拿问答大模子刚出来那会儿，知名的“奶奶症结”，现时使用在线AI基本上问不出来秘钥了。
然则如若使用较早少许的问答模子，照旧能问出来秘钥的。
以致在一些版块的模子中，不需要借助奶奶的神力，平直问就能生成一串秘钥。
诚然你念念问点雅瞻念的片子也不是不能昂。不外在线的大模子这类“不太正当”的东西基本上就别念念了。念念要体验一下“竣工”谎言语模子的小伙伴，不妨不错随着我们在腹地部署一下。
念念要在腹地部署谎言语模子，最初即是需要一台性能强悍的NAS确立，这里我们演示着实立是来自极空间的家用旗舰NAS Z423，搭载了迁移端锐龙5825U处理器，出厂自带32G内存，这个成立在现时制品NAS中算得上越过强悍了！
部署进程这一次部署我们经受docker容器部署Ollama，底下来看到细心的成立进程
掀开Docker，镜像，仓库，自界说拉取，输入这一滑代码ghcr.io/open-webui/open-webui:ollama。这个镜像比拟大，拉取的时分比拟长，我个东谈主提议在晚上睡眠的期间拉，这么一觉睡起来就拉取好了。我这里拉完花了五六个小时（晕
拉取完镜像，双击镜像起头部署容器，在基本缔造处珍贵取消勾选性能结束，调用核显不错勾选（履行测试勾选跟不勾选调用核显，对CPU的占用判袂不大
接下来缔造文献夹映射，文献夹旅途处按照图中映射两个文献夹即可
终末缔造一下端标语，腹地端口填一个莫得被占用的，容器端口默许就好了。
平直点应用 完成容器的部署，在容器省略处恭候清晰正常就阐明镜像正常运行了。
底下掀开浏览器，输入极空间的IP + :端标语，就能投入webui界面。首次使用需要缔造下不停员账号以及密码。那由于我们这个是弥散腹地运行的，是以这里的注册也不需要邮箱考证，整一个我方比拟好记的密码就好。
那需要珍贵的是，在这个界面运滚动时创建的是不停员账号。
如若如若创建其他用户账号，需要投入到缔造内创建或者掀开这个允许创建用户的开关。
进来后不错看到系数的界面即是华文的，如若你的界面不是华文的，在缔造处将话语调动成华文即可。
诚然现时这个界面进行发问，是不会有任何恢复的，因为我们仅仅部署好了docker镜像，还莫得部署问答模子。接下来我们来看模子的部署。
模子的聘请
在现时的华文大模子中，名轮番一的开源大模子应该即是通义千问Qwen2.5了，该模子包含了0.5B~72B的不同规格。
这里讲明下这个B是什么理由，在部署进程中，这个B代表的即是使用确立的内存。比如0.5B，代表至少需要0.5GB的内存智商运行，32B则代表最少需要32B的内存。如若内存太小，在部署模子的期间，则会出现报错。
这里我们演示就使用qwen2.5 7B，相对来说恢复速率也快，同期对性能条款也不算高。
我们这使用SSH部署模子的要领，在Docker容器省略界面，点击SSH，我们这部署Qwen2.5 7B，就平直输入Ollama run qwen2.5 7B，恭候拉取部署完成。
如若你念念部署其它的模子，也不错投入ollama，找一些我方念念要部署的模子，比如我们搜索meta的llama3，聘请模子的参数，将侧边的号令行，输入到容器的SSH中就会自动拉取部署了
恭候SSH中清晰success就暗示部署完成，现时不错平直在末端中平直发问，诚然也能投入webui界面进行发问。
投入webui界面，在左上方聘请模子，念念用哪个就平直聘请谁就行。我们这里演示千问，模子的聘请处就聘请qwen就好。
发问的问题方面，我们以我方的履行使用情况演示下，比如查一些CPU的参数，就能诓骗问答大模子快速获取谜底。
那像我们还作念视频，有期间需要谋整齐个剧本，然则没啥好的灵感，这期间也能诓骗问答大模子得到一些不同的灵感。
此外皮应用平淡的代码讲明方面，我们也测试了下，除了能给出代码，还能及时展现编译出来的界面，不错说功能上越过高大了。
其他方面就靠人人的念念象力了
在运行的期间，我们掀开进度监控看下，这个CPU占用照旧比拟高的。
在webui界面，还提供有下载选项，在侧边也不错聘请将其下载下来，风物不错聘请JSON、TXT、PDF。
那有的小伙伴会有疑问，念念要在外网下使用大模子是不是还要搞穿透反代之类的，这里十分保举极空间自带的这个汉典访谒功能，只需要在汉典访谒内输入内网确立的IP以及端口，在外网下就能平直访谒，不需要反代，越过的便捷。那这里我们输入webui的ip+端标语，这么在外网环境下也能访谒家中NAS运行大模子了。
那么好了，以上即是本篇著述的一起内容啦~诸君小伙伴也不错自行部署起来望望哦。
让我们下篇著述
再会~开云kaiyun中国官方网站
