Status: Unter Beobachtung
Warum wir darüber sprechen: Dieser inoffizielle Community-Hack gewinnt an Zugkraft. Er nutzt den DMA-BUF-Pfad von CUDA, um System-RAM und NVMe-Speicher als erweiterten VRAM einzubinden.
Was wir wissen:
- Das Projekt nutzt den dokumentierten, aber wenig verbreiteten Pfad cudaImportExternalMemory, um Modelle zu laden, die die physische VRAM-Kapazität übersteigen (Quelle: GitLab).
- Nutzerberichte vom 14. März 2026 bestätigen, dass eine RTX 5070 mit 12 GB erfolgreich ein GLM-4.7-Modell mit 32 GB geladen hat (Quelle: User Reports).
- Die Leistung wird stark durch die Bandbreite von PCIe 4.0/5.0 begrenzt: Bei Modellen über 30 GB ergeben sich 2–5 Tokens pro Sekunde (Quelle: GitLab).
- Es arbeitet auf der Ebene der CUDA-Speicherzuweisung und läuft neben den offiziellen Nvidia-Treibern, statt sie zu ersetzen (Quelle: Project Readme).
- Das Risiko eines instabilen Systems ist hoch, da der Linux-Kernel bei intensivem Memory Mapping den OOM-Killer auslösen kann (Quelle: HN).
Die offenen Fragen:
- Wie die Leistung mit DDR5 skaliert, ist nicht dokumentiert. Die aktuellen Benchmarks konzentrieren sich vor allem auf DDR4-3600 (Quelle: GitLab).
- Ob Windows oder WSL2 unterstützt werden, ist derzeit unbestätigt oder fehlt in der Dokumentation.
Wir aktualisieren diesen Artikel, sobald uns mehr Daten vorliegen. Bis dahin ist Vorsicht geboten.