ランタイム、モデル、ハードウェア¶

Koharu は使用する機能に必要なネイティブライブラリとモデルファイルを準備します。すべてがリリースパッケージに含まれているわけではありません。

ランタイム選択¶

起動時にハードウェアを検出し、ML スタックで共有するデバイスを次の順で選びます。

1. Apple シリコン macOS の Metal
2. 対応 NVIDIA ドライバーがある場合の CUDA
3. 対応 AMD ターゲットを検出した場合の ROCm/HIP
4. 利用可能な Vulkan デバイス
5. アクセラレーターを使用できない場合の CPU

実際の利用可否は OS、ドライバー、モデルのバックエンド、そのプラットフォーム向けネイティブパッケージに依存します。CPU フォールバックは異常ではなく、速度より正しさを優先する動作です。

ダウンロードされるもの¶

• Torch、llama.cpp、diffusion のネイティブランタイム
• 固定またはバージョン管理されたモデルファイル
• ローカル翻訳で選択した GGUF 量子化

ランタイムは OS のキャッシュディレクトリ下の koharu/packages に保存されます。プロジェクトは Documents/Koharu、設定は ~/.koharu/config.toml に分離されています。

ダウンロードは一時領域で完成させてからキャッシュへ公開します。失敗や中断があれば、次回の起動またはモデル使用時に再試行できます。

リソース監視¶

エディターはホストメモリ、計算使用率、モデル常駐状態を表示します。モデルは遅延ロードされ、再利用のために常駐できます。次のステージにメモリが必要な場合、アイドル中のモデルが解放されることがあります。

小さい量子化はメモリと保存容量を減らしますが、品質とのトレードオフがあります。最初から最大ファイルを選ばず、中程度の量子化から試してください。

同じパッケージが繰り返し失敗する場合は、完全なエラーを保存してトラブルシューティングへ進んでください。