Ollama

Ollama是一款专业实用的大型语言模型本地化运行工具，采用轻量级框架，运行时不占用过多系统资源。Ollama兼容性好，提供丰富命令，支持查看帮助、拉取及删除模型、检查状态等全面的模型管理与推理功能。Ollama实现了本地化部署，既保障隐私又便捷高效，满足用户进行模型管理需求。

Ollama软件特色

      1、简化部署：Ollama目标在于简化在 Docker 容器中部署大型语言模型的过程，使得非专业用户也能方便地管理和运行这些复杂的模型。

      2、轻量级与可扩展：软件作为轻量级框架，Ollama占用资源少，可扩展性好，允许用户根据需要调整配置，以适应不同规模的项目和硬件条件。

      3、API支持：Ollama提供了一个简洁的 API，使得开发者能够轻松创建、运行和管理大型语言模型实例，降低了与模型交互的技术门槛。

      4、预构建模型库：软件包含一系列预先训练好的大型语言模型，用户可以直接选用这些模型应用于自己的应用程序，无需从头训练或自行寻找模型源。

      5、模型导入与定制：从 GGUF 导入：支持从特定平台(如GGUF，假设这是一个模型托管平台)导入已有的大型语言模型。从 PyTorch 或 Safetensors 导入：兼容这两种深度学习框架，允许用户将基于这些框架训练的模型集成到 Ollama 中。

Ollama下载安装

      1、在本站下载Ollama压缩包，解压后运行ollamasetup.exe，弹出安全警告，点击“运行”。

      2、点击“install”开始安装，片刻后就能安装完成。

Ollama更新日志

      v0.23.2

      发生了哪些变化

      ollama launch 由于第三方集成功能仅限于Anthropic模型使用，因此该版本不再包含Claude Desktop。

      使用ollama launch claude-desktop --restore可以将Claude Desktop恢复到正常状态。

      现在，/api/show类型的响应已被缓存起来，这使得平均延迟时间减少了约6.7倍。这样一来，像VS Code这样的集成工具的加载速度也会随之提升。

      在管理发布集成时，备份流程得到了优化。

      MLX运行器中，图像生成的效果更为清晰美观。