如何在CPU跑deepseek-r1 671b大模型？

DeepSeek-R1大模型这段时间非常火爆。网上的教程很多，但是他们大部分都是在GPU中推理的。那么这期我计划使用CPU来推理。因为英伟达显卡太贵了，对于个人还是公司来说，成本都太高了。本期研究目的纯属个人爱好，如果大家觉得这篇文章对你有用，可以转发给你的好朋友，不妨点点赞，你的点赞。

服务器中部署大模型DeepSeek-R1

最近这个国产大模型deepseek-r1非常火，那么这篇文章主要讲述如何在公司内部服务器或者个人电脑中部署一个属于自己的大模型。deepseek-r1的模型有很多，这里演示给大家部署的是14b参数量的大模型。

Ubuntu部署LangChain-Chatchat

本篇文章主要讲述如何利用大模型来构造公司内可商用的本地知识库问答系统，利用的是LangChain和向量数据库以及默认使用清华大学训练的大模型来进行本地知识库问答系统的搭建。