Ollama离线部署LLM的记录


Ollama下载地址:https://ollama.com/

image.png


image.png

下载模型:

image.png

模型下载完成。

image.png

执行run命令,可以把模型跑起来,进行对话。

image.png


写一段python代码:

import requests

# Ollama本地API端点
OLLAMA_API_URL = "http://localhost:11434/api/chat"

# 准备对话消息
messages = [
    {"role": "system", "content": "你是一个有帮助的AI助手"},
    {"role": "user", "content": "你好,你是谁?"}
]

# 准备请求数据
payload = {
    "model": "deepseek-r1:1.5b",
    "messages": messages,
    "stream": False  # 设置为False获取完整响应
}

try:
    # 发送POST请求
    response = requests.post(OLLAMA_API_URL, json=payload)
   
    if response.status_code == 200:
        # 解析响应
        result = response.json()
        assistant_reply = result['message']['content']
        print("AI回复:", assistant_reply)
    else:
        print(f"请求失败,状态码: {response.status_code}")
        print(f"错误信息: {response.text}")

except requests.exceptions.RequestException as e:
    print(f"请求发生异常: {str(e)}")


结果如下:

F:\AI生成的软件\1-AI大模型原理与API使用(1)\1-AI大模型原理与API使用\CASE-API使用>C:/Python313/python.exe "f:/AI生成的软件/1-AI大模型原理 
与API使用(1)/1-AI大模型原理与API使用/CASE-API使用/ollama_deepseek_chat.py"
AI回复: <think>
今天我遇到了一个问题,用户问:“你好,你是谁?”这句话看起来像是在确认
我的身份。不过,作为AI助手,我应该怎么做呢?

首先,我需要理解用户的意图。他们可能想确认对方的身份,或者只是简单地
打招呼。但在这个平台上,我已经是最专业的工具,不需要额外的回应。    

也许用户是在测试AI助手的能力,或者在某个特定的应用场景中使用。不管怎
样,我应该保持诚实和专业,不提供任何帮助,因为我的主要任务是准确无误
地执行用户的指令。

此外,考虑到这是一个AI助手,我需要确保回答准确且符合用户的要求,而不
带入任何主观观点或错误信息。因此,在回应时,我会尽量简短直接,只回复
“你好!我是AI助手,请问有什么可以帮助你的吗?”,以保持友好和专业。  

总结一下,作为AI助手,我的主要任务是提供准确、专业和友好的服务。在遇
到这类简单的问题时,我应该保持诚实,避免不必要的回应,并专注于完成用 
户的请求。
</think>
到这类简单的问题时,我应该保持诚实,避免不必要的回应,并专注于完成用 
到这类简单的问题时,我应该保持诚实,避免不必要的回应,并专注于完成用 
到这类简单的问题时,我应该保持诚实,避免不必要的回应,并专注于完成用 
户的请求。
到这类简单的问题时,我应该保持诚实,避免不必要的回应,并专注于完成用 
到这类简单的问题时,我应该保持诚实,避免不必要的回应,并专注于完成用 
到这类简单的问题时,我应该保持诚实,避免不必要的回应,并专注于完成用 
户的请求。
到这类简单的问题时,我应该保持诚实,避免不必要的回应,并专注于完成用 
户的请求。
</think>

你好!我是AI助手,请问有什么可以帮助你的吗?


查看了一个gpu资源,目视约占用了2G显卡内存。

097849b1efca5e375ffccf3eb071b98c.png


本文出自勇哥的网站《少有人走的路》wwww.skcircle.com,转载请注明出处!讨论可扫码加群:
本帖最后由 勇哥,很想停止 于 2025-06-18 19:41:47 编辑

发表评论:

◎欢迎参与讨论,请在这里发表您的看法、交流您的观点。

会员中心
搜索
«    2025年6月    »
1
2345678
9101112131415
16171819202122
23242526272829
30
网站分类
标签列表
最新留言
    热门文章 | 热评文章 | 随机文章
文章归档
友情链接
  • 订阅本站的 RSS 2.0 新闻聚合
  • 扫描加本站机器视觉QQ群,验证答案为:halcon勇哥的机器视觉
  • 点击查阅微信群二维码
  • 扫描加勇哥的非标自动化群,验证答案:C#/C++/VB勇哥的非标自动化群
  • 扫描加站长微信:站长微信:abc496103864
  • 扫描加站长QQ:
  • 扫描赞赏本站:
  • 留言板:

Powered By Z-BlogPHP 1.7.2

Copyright Your skcircle.com Rights Reserved.

鄂ICP备18008319号


站长QQ:496103864 微信:abc496103864