LLMFit : Le Guide Complet pour Trouver Quels LLMs Tournent sur Votre Hardware
Des centaines de modèles. Une commande. LLMFit est un outil terminal en Rust qui évalue quels LLMs tournent sur votre RAM, CPU et GPU. Détection hardware, scoring multi-dimensions, support MoE, intégration Ollama/llama.cpp. 12 900+ étoiles.
Qu'est-ce que LLMFit ?
Outil terminal (TUI + CLI + REST API) qui répond à : "Quels LLMs puis-je tourner sur mon matériel ?"
- Licence : MIT — Étoiles : 12 900+ ⭐ — Langage : Rust
Fonctionnalités
- Détection hardware — NVIDIA multi-GPU, AMD ROCm, Intel Arc, Apple Silicon, Ascend NPU
- Scoring 4D — Qualité, Vitesse, Fit, Contexte (pondérations par use-case)
- Quantization dynamique — Q8_0→Q2_K, meilleure qualité qui rentre
- Support MoE — Mixtral, DeepSeek-V2/V3 (expert offloading)
- Estimation vitesse — Basée sur bande passante GPU (~80 GPUs)
- Plan Mode — "Quel hardware me faut-il pour ce modèle ?"
- 3 interfaces — TUI interactif, CLI, REST API
- Intégration Ollama/llama.cpp — Détection + téléchargement
Comparaison
| Fonctionnalité | LLMFit | llm-checker | Ollama |
|---|---|---|---|
| Focus | Matching hardware→modèle | Benchmark réel | Runtime LLM |
| Étoiles | 12.9K ⭐ | 1.4K ⭐ | 164K ⭐ |
| TUI | ✅ | ❌ | ❌ |
| Multi-GPU | ✅ | ❌ | ✅ |
| MoE | ✅ | ❌ | ✅ |
| Scoring 4D | ✅ | ❌ | ❌ |
| Plan Mode | ✅ | ❌ | ❌ |
| Tourne les modèles | ❌ Recommande | ✅ Via Ollama | ✅ |
Quand choisir LLMFit : Savoir quels modèles tournent avant de télécharger.
Quand choisir llm-checker : Benchmark réel via Ollama.
Quand choisir Ollama : Tourner les LLMs, pas les choisir.
Conclusion
LLMFit résout le problème "quel modèle tourner" avec scoring 4D, quantization dynamique, MoE, et Plan mode. Rust, 50 releases, 12.9K étoiles.
