==每月免费使用 10000 分钟 GPU:利用腾讯 Cloud Studio 在云端搭建大模型。==
打开 https://cloud.tencent.com/ 根据提示登录,然后根据自己情况勾选所需模型。接下来以 olloma 为例,如图所示勾选 olloma ,然后新建基础型空间。
通过终端查询目前已安装的本地大模型。使用命令如下:
ollama list
默认安装的模型为:llama3:latest
登录 olloma 官网,选择所需的大模型,以 deepseek-r1:32b
为例,在 IDE 终端输入 ollama pull deepseek-r1:32b
,等待模型下载成功。
以下面的 Python 程序为例,
from ollama import chat
from ollama import ChatResponse
response: ChatResponse = chat(
model='deepseek-r1:32b',
messages=[
{'role': 'user', 'content': '你是谁?'},
]
)
print(response['message']['content'])
终端运行结果如下
测试发现 16g 显存运行32b 模型还是有些困难,重新下载个 14b 的试试…………