Janus: Tek Go Dosyasında Yerel LLM Gücü

📰 Hikayesi ve Doğuşu

Yerel büyük dil modellerini (LLM) kendi bilgisayarında çalıştırmak isteyen geliştiricilerin karşısına genellikle devasa Python kütüphaneleri, karmaşık CUDA bağımlılıkları veya Docker konteynerleri çıkar. Bağımsız geliştirici Maverick617, bu operasyonel yükü ortadan kaldırmak amacıyla Janus projesini hayata geçirdi. Amaç son derece net: Çift tıklamayla veya tek bir komutla ayağa kalkan, Python ya da harici servis gerektirmeyen, doğrudan donanımla konuşabilen kompakt bir yerel LLM çalışma ortamı yaratmak.

⚡ Nasıl Çalışıyor & Mimari Detaylar

Janus'un kalbinde, C/C++ tabanlı yüksek başarımlı llama.cpp kütüphanesi ve platformlar arası grafik API'si Vulkan yer alıyor. Sistem şu mimari prensiplerle işliyor:

• Çoklu Donanım Desteği: Vulkan arka ucu sayesinde sadece Nvidia değil; AMD Radeon ve Intel Arc ekran kartlarında da tam GPU hızlandırmasıyla .gguf formatındaki modelleri çalıştırabiliyor. GPU bulunmadığında ise doğrudan CPU moduna geçiyor.
• OpenAI Uyumlu Uç Noktalar: /v1/chat/completions ve /v1/models standartlarını destekleyerek Cursor, Cline veya yerel API tüketen herhangi bir arayüze anında entegre olabiliyor.
• Gömülü Araç Çağrısı (Tool Calling): Dahili Go çekirdeği dosya okuma/yazma, kabuk komutları çalıştırma, PDF/Word belgesi işleme ve Tesseract ile OCR yapma yeteneklerini model döngüsüne entegre edebiliyor.
• Dahili Web Arayüzü: Modelleri sunucuyu kapatmadan anlık değiştirme (hot-swap), bellek ve prompt ayarlarını yönetme imkânı sunan sade bir kontrol paneline sahip.

💡 Neden Radarımıza Girdi?

Piyasada Ollama ve LocalAI gibi popüler çözümler bulunsa da Janus, tek bir Go ikili dosyası (binary) halinde derlenebilmesi ve bağımsız Vulkan desteğiyle ayrışıyor. Özellikle Nvidia tekelinin dışında kalan AMD ve Intel GPU sahipleri için ekstra bir sürücü cehennemi yaşamadan yerel LLM deneyimi sunması projeyi son derece pratik kılıyor. Bellek tüketimini minimumda tutarak yapay zekâ ajanları için hafif bir altyapı sağlaması Weezir Radar'ın dikkatini çekti.

🚀 Nasıl Denenir & Kaynaklar

Projeyi çalıştırmak için sisteminizde Go 1.22+ kurulu olması yeterli. Depoyu klonladıktan sonra Windows üzerinde .\build.ps1 betiği derleme adımlarını ve gerekli Vulkan DLL dosyalarını otomatik olarak hazırlıyor:

git clone https://github.com/Vibra-Ingenn/Janus.git
cd Janus
.\build.ps1

Dahili modelget yardımcı aracıyla Hugging Face üzerinden Llama 3.2 gibi GGUF formatlı bir modeli indirip .env dosyasındaki model yolunu belirterek sunucuyu saniyeler içinde başlatabilirsiniz. Detaylı dokümantasyona ve kaynak kodlarına geliştiricinin GitHub deposundan erişebilirsiniz.