TurboGPT: 22KiB Model, 13 Saniyede Eğitim

📰 Hikayesi ve Doğuşu

Büyük Dil Modellerini eğitmek devasa veri merkezlerini ve milyonlarca doları gerektirirken, bağımsız geliştirici lostmsu işi tamamen farklı bir boyuta taşıdı. minGPT projesinden ilham alan geliştirici, ev ortamında transformer mimarileriyle deney yapmayı sevenler için sıfırdan saf C++ ve CUDA tabanlı bir çözüm arayışına girdi ve TurboGPT doğdu.

⚡ Nasıl Çalışıyor & Mimari Detaylar

Proje, Python ekosisteminin getirdiği katmanları tamamen ortadan kaldırarak doğrudan CUDA C++ üzerinde çalışıyor. Byte seviyesinde (byte-level) çalışan mini bir transformer mimarisi sunan yapı; Windows'ta Visual Studio 2022 C++ araçları ve CUDA 13.4 gerektirirken, Linux tarafında NixOS ile kolayca derlenebiliyor. Çalışma anında model, optimizer, scheduler ve trainer durumlarını tek bir checkpoint dosyasında toplarken, TensorBoard uyumlu loglama altyapısıyla da performans takibine olanak tanıyor.

💡 Neden Radarımıza Girdi?

Yapay zeka dünyasında her şeyin devasa modellere evrildiği bir dönemde, saf CUDA ile yazılmış 22KiB'lık bir çekirdeğin 13 saniyede eğitime başlaması mühendislik harikası. Donanıma bu kadar yakın çalışabilmesi, derin öğrenmenin matematiksel altyapısını low-level seviyede anlamak isteyenler için eşsiz bir laboratuvar ortamı sunuyor.

🚀 Nasıl Denenir & Kaynaklar

Projeyi kendi sisteminizde test etmek ve kaynak kodlarını incelemek için GitHub deposunu ziyaret edebilirsiniz. Windows için build.ps1 betiğini kullanabilir, Linux/NixOS üzerinde ise nix-build -o build/nix-result komutuyla derleme işlemini tamamlayarak Hacker News veri setleri üzerinde eğitim koşturabilirsiniz.

GitHub - TurboGPT Deposu