编者注:本文属于《AI 解密》系列栏目,该系列的目的是让技术更加简单易懂,从而解密 AI,同时向 GeForce RTX PC 和 NVIDIA RTX 工作站用户展示全新硬件、软件、工具和加速特性。
随着生成式 AI 不断发展并加速推动行业变革,一个由 AI 爱好者组成的社区正在努力尝试各种方法,将强大的技术整合到常见生产力工作流中。
支持社区插件的应用能够帮助用户探索如何利用大语言模型 (LLM) 改善各种工作流。NVIDIA RTX 加速的 llama.cpp 软件库可以作为本地推理服务器,让 RTX AI PC 用户轻松利用本地 LLM。
此前我们介绍了如何利用 Brave 网络浏览器中的 Leo AI 优化网页浏览体验。今天,我们介绍热门写作与笔记应用Obsidian,该应用采用 Markdown 标记语言,适用于为多个项目保存繁琐且相互关联的记录。该应用支持具备额外功能的社区开发插件,包括让用户可以将 Obsidian 连接到本地推理服务器的插件,如 Ollama 或 LM Studio。
要将 Obsidian 与 LM Studio 连接,用户只需点击左面板上的 “Developer” (开发者) 图标以启用 LM Studio 中的本地服务器功能,加载下载的任何模型,启用 CORS (跨域资源共享) 开关,然后点击 “Start” (开始)。请记住 “Developer” (开发者) 日志控制台中的 chat completion URL (默认为 “http://localhost:1234/v1/chat/completions”),因为插件需要此信息才能连接。
接下来,打开 Obsidian 并进入 “Settings” (设置) 面板。点击 “Community plug-ins” (社区插件),然后点击 “Browse” (浏览)。与 LLM 相关的社区插件众多,但最热门的两个插件是 Text Generator 和 Smart Connections。
- Text Generator 有助于在 Obsidian 资料库中生成如研究课题笔记和摘要等内容。
- Smart Connections 可用于询问与 Obsidian 资料库内容相关的问题,例如多年前保存的一个复杂琐碎问题的答案。
每个插件都有各自的 LM Server URL 输入方式。
对于 Text Generator,打开设置,将 “Provider profile”(服务配置) 设置为 “Custom”(自定义) 选项,然后将整个 URL 复制到 “Endpoint”(端点) 字段中。对于 Smart Connections,启动插件后打开设置。在界面右侧的设置面板中,将模型平台设置为 “Custom Local (OpenAI Format)”(本地自定义 (OpenAI 格式))。然后,在 LM Studio 的相应字段中分别输入 URL 和模型名称 (如 “gemma-2-27b-instruct”)。字段填写完成后,插件将开始运行。如果用户想知道本地服务器端的运行情况,LM Studio 用户界面还可以显示所记录的活动。
借助 Obsidian AI 插件实现工作流变革
Text Generator 和 Smart Connections 插件都让人无法拒绝生成式 AI。
例如,一个用户计划去月球城这个虚拟目的地度假,希望征集各种活动想法。用户可以“在月球城做什么”为标题写一篇新笔记。因为月球城是一个虚拟地点,因此发送给 LLM 的问题需要一些额外说明来指导它做出回复。点击 Text Generator 插件图标,模型将生成一个旅程活动清单。
通过 Text Generator 插件,Obsidian 将请求 LM Studio 生成一条回复,此时 LM Studio 将运行 Gemma 2 27B 模型。借助用户电脑中的 RTX GPU 加速,模型可快速生成一个活动清单。
或者,假设多年后,这个用户的朋友想去月球城,想了解餐厅信息。用户不记得具体的餐厅名称,但只要之前有过记录就可以查看资料库中的笔记(Obsidian 将一系列笔记称为“资料库”)。
用户无需手动查找所有笔记,可以使用 Smart Connections 插件询问与其资料库中笔记以及其他内容相关的问题。插件使用同一个 LM Studio 服务器对请求做出回复,并提供从用户笔记中找到的相关信息,以协助完成此流程。插件利用名为“检索增强生成”的技术实现此功能。
塑造生产力的未来
虽然这只是一些有趣的示例,但将这些功能使用一段时间之后,用户就可以体验到它们为日常工作带来的优势及其对工作效率的提升。通过这两种 Obsidian 插件,社区开发者和 AI 爱好者可以利用 AI 改善 PC 体验。
面向 Windows PC 的 NVIDIA GeForce RTX 技术可运行数千种开源模型,开发者可以将其整合到他们的 Windows 应用中。
将 Obsidian 整合到您的工作流中,详细了解 LLM、Text Generation 和 Smart Connections 的强大功能,享受 RTX AI PC 带来的加速体验。
生成式 AI 正在改变游戏、视频会议和各类互动体验。请订阅《解码 AI》时事通讯,我们每周都会将新鲜资讯直接投递到您的收件箱。