xChar

背景

==每月免费使用 10000 分钟 GPU:利用腾讯 Cloud Studio 在云端搭建大模型。==

搭建 AI 空间

打开 https://cloud.tencent.com/ 根据提示登录,然后根据自己情况勾选所需模型。接下来以 olloma 为例,如图所示勾选 olloma ,然后新建基础型空间。

image

image

进入 IDE 环境

通过终端查询目前已安装的本地大模型。使用命令如下:

ollama list

默认安装的模型为:llama3:latest

安装所需的本地大模型

登录 olloma 官网,选择所需的大模型,以 deepseek-r1:32b 为例,在 IDE 终端输入 ollama pull deepseek-r1:32b,等待模型下载成功。

image

image

创建 Python 程序,开始大模型体验之旅

以下面的 Python 程序为例,

from ollama import chat
from ollama import ChatResponse

response: ChatResponse = chat(
    model='deepseek-r1:32b',
    messages=[
        {'role': 'user', 'content': '你是谁?'},
    ]
)

print(response['message']['content'])

终端运行结果如下

image

最后

测试发现 16g 显存运行32b 模型还是有些困难,重新下载个 14b 的试试…………

Loading comments...