AnythingLLM 是一款可以在本地电脑一件运行 LLM 大语言模型的跨平台桌面客户端，支持 Windows、macOS、Linux，支持自选模型，也可以从软件内下载模型。它还支持嵌入模型、语音、转录，最重要的是可以实现完全离线，不依托任何云服务。@Appinn

在《LM Studio – 有电脑就能用，傻瓜、一站式部署本地大语言模型｜然后，像 ChatGPT 那样提问》中，@路人甲乙丙 留言回复称：

这款其实不算傻瓜，AnythingLLM 才是，多平台，单文件安装。模型下载内部选，集成了 Ollama，支持中文界面。

Ollama 官网推荐的 Win 平台下全都试了，论便利首选 AnythingLLM，可 Github 或官网下载，全免费。

AnythingLLM

与 LM Studio 类似，AnythingLLM 也是一款适合在自己电脑里部署 LLM 的工具，但功能更丰富一些，比如在 AnythingLLM 的嵌入首选项中，你可以选择 LM Studio 作为嵌入引擎提供商。

只需要在 LM Studio 打开 Server，AnythingLLM 就会自动识别：

对了，我在 AnythingLLM 中，导入了之前测试 LM Studio 的时候下载的模型。很方便。

来看一下开发者提供的视频：

安装之后，AnythingLLM 回来一波对话，给你介绍如何使用：

设置模型

你需要为 AnythingLLM 设置模型，包括首选模型、向量数据库、嵌入模型、语音、转录模型。

默认情况下，AnythingLLM 自带了模型，不过也可以根据需要自己下载模型：

上图中 Official Models 里就有很多模型，下载速度还有点快，也是很奇怪。

在工作区中，可以上传文件，这样这些文件就变成了你的向量数据库，相当于对着文档提问。

但青小蛙使用内置的模型测试，发现似乎效果很不好，答非所问，也不知道它在想什么。

还是说，模型选择有问题。

青小蛙觉得，对比在线大语言模型，即开即问、上传文档直接问，本地的大语言模型在使用门槛上存在至少有1个小时的入门学习时间。虽然 AnythingLLM 已经把安装门槛降低到了0，但是模型的选择使用是个很大的槛，就看各位是否愿意继续深入研究了。

获取

• 官网

原文：https://www.appinn.com/anythingllm/

[ 点击前往获取链接 ]

LM Studio 是一款将目前主流大模型 LLM 元素打包在一起​的工具，可以让你在自己的电脑上，“0门槛”运行本地大语言模型 LLM，并且用起来就像 ChatGPT 那样。支持 Windows、macOS、Linux。@Appinn​

傻瓜、一站式部署本地大语言模型，大概就是打开电脑 > 双击运行程序 > 开始提问 > 获得 AI 回答这样三步走。

LM Studio

我觉得 LM Studio 就是这样的软件，它长这样：

你唯一需要操心的事情，就是挑选模型，然后下载使用，就好了。

不过整个软件的难点也在这里，因为…目前的主流模型托管网站 huggingface 它不能访问

于是，用镜像也不是不行。

下载模型

直接在目前可用的镜像网站 HF-Mirror 搜索你需要的模型，比如 Meta-Llama-3.1-8B-Instruct-GGUF，然后找到对应的 Files 页面，挑选你需要的模型，点击那个下载按钮

最终，你将得到一个类似 Meta-Llama-3.1-8B-Instruct-Q4_K_M.gguf 的文件，很大，一般都好几个 GB。

安装模型

LM Studio 默认的模型保存路径在 C:\Users\appinn.cache\lm-studio\models，可以更换：

不过这里注意，你需要使用 ${Publisher}/${Repository}/${ModelFile}这样的路径结构，如上图第二个红色框框，需要将手动下载的 .gguf 模型文件保存在路径的两级文件夹下才能正确识别。

然后，就能提问了。会自动使用你的 CPU、GPU…

本地 LLM 服务器

LM Studio 也支持 OpenAI 类的服务器，即可以在第三方服务器上使用这个 LLM，就像使用 OpenAI API 一样，只不过这里的 API 服务器是你自己的。

和 OpenAI 一样，使用过 /v1/chat/completions 、 /v1/completions 、 /v1/embeddings 即可。

获取

• 官网

原文：https://www.appinn.com/lm-studio/

相关阅读

• New Tab Studio – 可高度自定义的新标签页扩展[Chrome]
• Google Earth Studio 初体验，10分钟创建漂亮的地球视频素材
• Google Earth Studio – Google 官方发布用「卫星图像」制作动画视频工具
• SQLite Studio – 一个开源的网页版 SQLite 数据库浏览器
• 制作 Google Earth Studio 大片不求人，自己就能图片转视频

[ 点击前往获取链接 ]

SearchGPT 是 OpenAI 准备发布的「新搜索功能的原型，利用人工智能模型的优势，通过清晰且相关的来源为你提供快速答案」，可以理解为一款可以从网络获取信息的 GPT 产品。目前正在申请加入候补名单之中。@Appinn

青小蛙理解的 SearchGPT，大概可以：

• 用中文搜索英文内容/反之
• 可以后续继续提问
• 具有来源链接，不再黑箱

对于内容发布商，发布了 OAI-SearchBot 爬虫用于搜索，完整的用户代理字符串： 

Mozilla/5.0 AppleWebKit/537.36 (KHTML, like Gecko); compatible; OAI-SearchBot/1.0; +https://openai.com/searchbot)

加入候补名单

• https://chatgpt.com/search

需要 ChatGPT 账号。

原文：https://www.appinn.com/searchgpt-waitlist/

相关阅读

• 可以期待一下：Meta – 一个用于视觉学习的笔记工具

[ 点击前往获取链接 ]

OpenAI 昨天发布了最新的「最具成本效益的小型型号」GPT-4o mini，它在 MMLU 上得分 82%，目前优于 GPT-4，比 GPT-3.5 Turbo 便宜 60% 以上。@Appinn

以上两组数据来自 OpenAI 昨天的博客文章《GPT-4o mini: advancing cost-efficient intelligence》。

性能

其他一些数据还有：

• GPT-4o mini 在 MMLU 上得分 82%，目前优于 GPT-4
• 比 GPT-3.5 Turbo 便宜 60% 以上
• 在 API 中支持文本和视觉（接受文本或图像输入并输出文本）
• 128K 上下文，最多16K输出
• 与 GPT-4o 共享改进标记器，处理非英语文本更经济
• 截至 2023 年 10 月的知识

未来还将支持文本、图像、视频和音频输入和输出。

API 价格

开发者为每 100 万个输入代币支付 15 美分，为每 100 万个输出代币支付 60 美分（大约相当于一本标准书的 2500 页）。

喜闻乐见的对比环境

GPT-4o mini 在文本智能和多模态推理方面的学术基准上超越了 GPT-3.5 Turbo 和其他小型模型，并支持与 GPT-4o 相同范围的语言。它还在函数调用方面表现出强大的性能，使开发人员能够构建获取数据或与外部系统执行操作的应用程序，并且与 GPT-3.5 Turbo 相比，提高了长上下文性能。

推理任务：

GPT-4o mini 在涉及文本和视觉的推理任务上优于其他小型模型，在文本智能和推理基准 MMLU 上得分为 82.0%，而 Gemini Flash 为 77.9%，Claude Haiku 为 73.8%。

数学和编码能力：

GPT-4o mini 在数学推理和编码任务方面表现出色，优于市场上以前的小型模型。在 MGSM 上，测量数学推理，GPT-4o mini 得分为 87.0%，而 Gemini Flash 为 75.5%，Claude Haiku 为 71.7%。

GPT-4o mini 在衡量编码性能的 HumanEval 上得分为 87.2%，而 Gemini Flash 的得分为 71.5%，Claude Haiku 的得分为 75.9%。

多模态推理：

GPT-4o mini 在多模态推理评估 MMMU 上也表现出强劲的性能，得分为 59.4%，而 Gemini Flash 为 56.1%，Claude Haiku 为 50.2%。

目前已可以使用

目前已经可以在 API 中使用 gpt-4o-mini 模型名称， GPT-4o mini 比 GPT-3.5 Turbo 更便宜、功能更强大。

原文：https://www.appinn.com/gpt-4o-mini/

相关阅读

• OpenAI 发布新版 GPT-4、GPT-3.5，部分降价 25%，以及支持长达 20 页上下文的 GPT-3.5-16K ，旧版本今年 9 月份将被弃用
• OpenAI 发布新旗舰模型 GPT-4o，实时处理音频、视觉和文本
• Monica：那个可以白嫖 GPT-4 的工具，发布了 Windows、macOS 客户端，系统级别的 ChatGPT
• Opera Mini 5 发布
• GPT-4 面向所有 OpenAI API 付费用户开放使用

[ 点击前往获取链接 ]

最新版本的 Chrome Dev 集成了大语言模型 Gemini Nano，可以让用户无限量、离线使用（需额外下载1.2GB 模型文件）。但目前只能通过控制台使用，非常的麻烦。于是有同学就做了一个网页，可以直接调用模型，像普通 AI 一样使用 Chrome Dev 内置的模型，但门槛颇高。@Appinn

如何内置 Gemini Nano？

Gemini Nano 曾经是 Google 想要内置到手机中的模型，现在先进入了 Chrome，但依旧需要 1.2GB 的模型文件。

步骤（门槛颇高）

缺一不可：

1. 需要 Chrome (Dev / Canary) 127 以上版本
2. 设置 Chrome 语言为 English US
3. 开启(Enabled) chrome://flags/#prompt-api-for-gemini-nanoSelect
4. 开启（Enabled BypassPrefRequirement） chrome://flags/#optimization-guide-on-device
5. 进入 chrome://components ‘Check for Update’ on Optimization Guide On Device Model to download the model. If you don’t see Optimization Guide, ensure you have set the flags correctly above, relaunch your browser, and refresh the page.

使用（两种方式）

然后，就可以直接用了。

注意由于是本地模型，所有数据都不上传的。但是，这个网页本身还没离线，需要上网。

ChromeAI

来自发现频道，开发者 @vine_chen 自荐，直接打开网页就能用：

• https://chromeai.org/

Chrome AI 扩展

在研究的时候，意外搜到了这个扩展，用起来也挺不错的，可以方便的在浏览器侧边栏打开对话框：

这个扩展可以做到关闭 Wi-Fi 之后可用。

• Chrome 商店

你们就看着选一个用吧。

注意模型略大，下载门槛较高。

原文：https://www.appinn.com/chrome-ai-for-gemini-nano/

相关阅读

• Google 发布了「他们规模最大、能力最强的 AI 模型」 Gemini
• Gemini Pro 多语言版已上线 Bard，支持中文（简体/繁体）
• Chrome 4.0，用扩展武装它
• Gemini: The Duplicate Finder – 重复文件查询[OS X 限免]
• New Tab Reloaded – 找回最熟悉的 Chrome 新标签页

[ 点击前往获取链接 ]

ChatGPT 的 macOS 客户端在不久前就泄漏了出来，通过一些各种方式可以使用。现在终于向所有用户开放下载，Plus 用户也可以登录使用。注意目前需要 macOS 14+ 以上系统，以及 Apple Silicon (M1 以上芯片）才可以运行。@Appinn

ChatGPT for macOS 主要功能

• 快捷键 Option + 空格 呼出
• 拖拽上传文件
• 内置截屏（整个应用程序）
• 内置拍照
• 语音对话（四种语音风格）

获取

• 官网
• 直接下载（OpenAI 提供）

另外，Windows 版本将在今年内发布。

原文：https://www.appinn.com/chatgpt-on-your-mac/

相关阅读

• 618 正版软件大促 5 折起，80+ 款软件特价，51 款历史低价
• 一个简单的 ChatGPT Chrome 扩展，可以帮你自动填写答案
• Apple 教你 16 种 iPhone 7 拍照技巧，人人都是摄影师
• ChatGPT 增强：支持 PDF 上传、转换为 Markdown 格式，自动提问[Chrome 开发中]
• ChatGPT for Google – 在 10 大搜索引擎结果旁边显示 ChatGPT 结果，支持 Google、百度、Bing、DuckDuckGo 等[Chrome/Firefox]

[ 点击前往获取链接 ]

Claude 是由 Anthropic 开发的一款对话式人工智能模型，今天刚刚发布了 Claude 3.5 Sonnet，并称「Claude 3.5 Sonnet 提高了行业的智能水平，在广泛的评估中优于竞争对手模型和 Claude 3 Opus，并且具有我们中级模型 Claude 3 Sonnet 的速度和成本」，目前已经可以在 Claude 和 iOS 应用中免费使用。@Appinn

Claude 目前有三种模型，质量从高到低依次是：Opus、Sonnet、Haiku，价格从高到低则是反过来的。

Claude 3 家族

anthropic 还说：Claude 3.5 Sonnet 的运行速度是 Claude 3 Opus 的两倍。

它在把握细微差别、幽默和复杂指令方面表现出显着进步，并且在以自然、相关的语气编写高质量内容方面表现出色。

新的 Artifacts 特色功能

在 Claude.ai 的 Feature Preview（特色功能预览）中，打开 Artifacts 后，如果对话过程中产生了代码，则会单独出现在一个对话框中，不会融入对话，让你抄写代码更简单

更多内容，原文在这里：Claude 3.5 Sonnet

相关阅读

• Claude 2 发布，仅次于 GPT-4，支持同时上传 5 个文件进行 AI 处理
• 一键保存全文到 Obsidian 以及本地快照、自动标注，适合新用户的简悦 Obsidian 配置库
• WordPress 6.1 “Misha” 发布
• BundleHunt 2023 年第一个 Mac 捆绑包：48 款 Mac 软件特价
• 付费 AI 的免费替代方案：免费人工智能工具

[ 点击前往获取链接 ]