NanoChat: الدليل الشامل لأداة تدريب LLM بـ $100 من Karpathy

NanoChat هو أبسط أداة تدريب LLM من Andrej Karpathy. درّب GPT-2 بـ ~$48 (ساعتان على 8×H100)، ثم تحدث معه عبر واجهة ChatGPT. مؤشر واحد (--depth). 45,300+ نجمة، Python، MIT.

على GitHub

---

ما هذا؟

خط أنابيب LLM كامل: tokenization → تدريب مسبق → SFT → RL → تقييم → واجهة دردشة. GPT-2 كلف ~$43,000 في 2019 — NanoChat: $48.

• النجوم: 45,300+ ⭐ — الفروع: 5,996 — المساهمون: 47

---

خط الأنابيب

1. Tokenizer — تدريب BPE
2. تدريب مسبق — CORE score، BPB
3. SFT + RL — ضبط دقيق + تعلم معزز
4. تقييم — ARC، GSM8K، MMLU، HumanEval
5. دردشة — واجهة ويب + CLI + تنفيذ Python

---

مؤشر --depth الوحيد

--depth 26 = GPT-2 (~$48). جميع المعلمات تُحسب تلقائياً.

---

المقارنة

الميزة	NanoChat	nanoGPT	LitGPT
خط أنابيب	6 مراحل	تدريب مسبق	Pre + SFT
مؤشر واحد	✅	❌	❌
واجهة دردشة	✅	❌	✅
تكلفة GPT-2	~$48	~$100s	متغير

متى تختار: خط أنابيب chatbot كامل من Karpathy.

---

الخلاصة

درس Karpathy المتقن. 45.3K نجمة، $48 لـ GPT-2.

استكشف على GitHub