❌

阅读视图

发现新文章，点击刷新页面。
↗️

HuggingChat 发布 macOS 客户端｜Hugging Face 的聊天机器人

✇小众软件
作者 青小蛙

HuggingChat 是一款 Hugging Face 发布的聊天机器人，很像 ChatGPT，内置了开源大语言模型。最近发布了 macOS 客户端，非常初始版本，可以直接在桌面上进行对话。@Appinn

HuggingChat 发布 macOS 客户端｜Hugging Face 的聊天机器人

Hugging Face 是什么？

Hugging Face 是一个托管了多种预训练模型（包括大语言模型）的平台/社区，用户可以使用和部署这些模型、创建 AI 应用，而无需深厚的技术背景。并且提供从模型托管、开发工具到在线部署的全流程支持，简化了 AI 技术的应用。

HuggingChat 是什么？

HuggingChat 长得像 ChatGPT，用起来也差不多，目前的 macOS 客户端非常基础，不过仅有 6.87 MB 大小。

提供一个快捷键进行呼出提问，并且直接在屏幕上显示内容。内置了几款模型：

    HuggingChat 发布 macOS 客户端｜Hugging Face 的聊天机器人 16

    目前并不支持自定义，需要登录 Hugging Face 账号。

    获取

    • GitHub
    • 目前并没有提供源码

    原文：https://www.appinn.com/huggingchat-mac/

    相关阅读

    ©2023 青小蛙 for 小众软件 | 加入我们 | 投稿 | 订阅指南
    3659b075e72a5b7b1b87ea74aa7932ff
    点击这里留言、和原作者一起评论

    [ 点击前往获取链接 ]

    ↗️

    AnythingLLM – 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天

    ✇小众软件
    作者 青小蛙

    AnythingLLM 是一款可以在本地电脑一件运行 LLM 大语言模型的跨平台桌面客户端，支持 Windows、macOS、Linux，支持自选模型，也可以从软件内下载模型。它还支持嵌入模型、语音、转录，最重要的是可以实现完全离线，不依托任何云服务。@Appinn

    AnythingLLM - 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天

    在《LM Studio – 有电脑就能用，傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问》中，@路人甲乙丙 留言回复称：

    这款其实不算傻瓜，AnythingLLM 才是，多平台，单文件安装。模型下载内部选，集成了 Ollama，支持中文界面。

    Ollama 官网推荐的 Win 平台下全都试了，论便利首选 AnythingLLM，可 Github 或官网下载，全免费。

    AnythingLLM

    与 LM Studio 类似，AnythingLLM 也是一款适合在自己电脑里部署 LLM 的工具，但功能更丰富一些，比如在 AnythingLLM 的嵌入首选项中，你可以选择 LM Studio 作为嵌入引擎提供商。

    只需要在 LM Studio 打开 Server，AnythingLLM 就会自动识别：

    AnythingLLM - 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天 14

    对了，我在 AnythingLLM 中，导入了之前测试 LM Studio 的时候下载的模型。很方便。

    来看一下开发者提供的视频：

    安装之后，AnythingLLM 回来一波对话，给你介绍如何使用：

    AnythingLLM - 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天 15

    设置模型

    你需要为 AnythingLLM 设置模型，包括首选模型、向量数据库、嵌入模型、语音、转录模型。

    默认情况下，AnythingLLM 自带了模型，不过也可以根据需要自己下载模型：

    AnythingLLM - 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天 16

    上图中 Official Models 里就有很多模型，下载速度还有点快，也是很奇怪。

    在工作区中，可以上传文件，这样这些文件就变成了你的向量数据库，相当于对着文档提问。

    但青小蛙使用内置的模型测试，发现似乎效果很不好，答非所问，也不知道它在想什么。

    AnythingLLM - 真·一键运行本地 LLM 大语言模型｜全离线操作：与文档聊天、与 AI 聊天 17

    还是说，模型选择有问题。

    青小蛙觉得，对比在线大语言模型，即开即问、上传文档直接问，本地的大语言模型在使用门槛上存在至少有1个小时的入门学习时间。虽然 AnythingLLM 已经把安装门槛降低到了0，但是模型的选择使用是个很大的槛，就看各位是否愿意继续深入研究了。

    获取

    原文：https://www.appinn.com/anythingllm/

    ©2023 青小蛙 for 小众软件 | 加入我们 | 投稿 | 订阅指南
    3659b075e72a5b7b1b87ea74aa7932ff
    点击这里留言、和原作者一起评论

    [ 点击前往获取链接 ]

    ↗️

    LM Studio – 有电脑就能用，傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问

    ✇小众软件
    作者 青小蛙

    LM Studio 是一款将目前主流大模型 LLM 元素打包在一起​的工具，可以让你在自己的电脑上，“0门槛”运行本地大语言模型 LLM，并且用起来就像 ChatGPT 那样。支持 Windows、macOS、Linux。@Appinn​

    LM Studio - 有电脑就能用，开源、傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问

    傻瓜、一站式部署本地大语言模型，大概就是打开电脑 > 双击运行程序 > 开始提问 > 获得 AI 回答这样三步走。

    LM Studio

    我觉得 LM Studio 就是这样的软件，它长这样：

    LM Studio - 有电脑就能用，傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问 10

    你唯一需要操心的事情，就是挑选模型，然后下载使用，就好了。

    不过整个软件的难点也在这里，因为…目前的主流模型托管网站 huggingface 它不能访问 😂

    于是，用镜像也不是不行。

    下载模型

    直接在目前可用的镜像网站 HF-Mirror 搜索你需要的模型，比如 Meta-Llama-3.1-8B-Instruct-GGUF，然后找到对应的 Files 页面，挑选你需要的模型，点击那个下载按钮

    LM Studio - 有电脑就能用，傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问 11

    最终，你将得到一个类似 Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf 的文件，很大，一般都好几个 GB。

    安装模型

    LM Studio 默认的模型保存路径在 C:\Users\appinn.cache\lm-studio\models，可以更换：

    LM Studio - 有电脑就能用，傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问 12

    不过这里注意，你需要使用 ${Publisher}/${Repository}/${ModelFile}这样的路径结构，如上图第二个红色框框，需要将手动下载的 .gguf 模型文件保存在路径的两级文件夹下才能正确识别。

    然后，就能提问了。会自动使用你的 CPU、GPU…

    本地 LLM 服务器

    LM Studio 也支持 OpenAI 类的服务器，即可以在第三方服务器上使用这个 LLM，就像使用 OpenAI API 一样，只不过这里的 API 服务器是你自己的。

    和 OpenAI 一样，使用过 /v1/chat/completions 、 /v1/completions 、 /v1/embeddings 即可。

    LM Studio - 有电脑就能用，傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问 13

    获取

    原文：https://www.appinn.com/lm-studio/

    相关阅读

    ©2023 青小蛙 for 小众软件 | 加入我们 | 投稿 | 订阅指南
    3659b075e72a5b7b1b87ea74aa7932ff
    点击这里留言、和原作者一起评论

    [ 点击前往获取链接 ]

    ❌