运行时、模型与硬件¶

Koharu 会为实际使用的功能准备所需原生库和模型文件，并非所有依赖都包含在发布包中。

运行时选择¶

启动时会检测硬件，并按以下顺序为 ML 栈选择统一设备：

1. Apple 芯片 macOS 上的 Metal
2. 检测到兼容 NVIDIA 驱动时的 CUDA
3. 检测到支持的 AMD 目标时的 ROCm/HIP
4. 可用的 Vulkan 设备
5. 无可用加速路径时的 CPU

最终可用性还取决于操作系统、驱动、模型后端及对应平台是否发布了原生包。CPU 回退是正常行为，它优先保证正确性而不是速度。

下载内容¶

• Torch、llama.cpp 与 diffusion 原生运行时包
• 固定版本或受版本管理的模型文件
• 本地翻译选择的 GGUF 量化文件

运行时包位于操作系统缓存目录下的 koharu/packages。项目数据位于 Documents/Koharu，设置位于 ~/.koharu/config.toml。

下载先在临时位置完成，再发布到缓存。失败或中断后，可以在下次启动或再次使用模型时重试。

资源监控¶

编辑器会显示主机内存、计算利用率和模型驻留状态。模型按需加载并可保留以供复用。下一阶段需要更多内存时，Koharu 可能卸载空闲模型。

较小的本地模型量化节省内存与磁盘，但通常存在质量取舍。建议从中等量化开始，而不是直接选择磁盘能容纳的最大文件。

同一个包反复失败时，请保存完整错误并查看故障排除。