cobanov/PS5LM

Neden yükseliyor

Bir gün yaşında 27 yıldız almış; PS5 üzerinde yerel LLM çalıştırma fikri ve gösterilebilir demo dikkat çekici. Ancak son 28 günlük commit ve farklı yazar verisi ölçülmediğinden ilginin sürdürülebilirliği ve geliştirme temposu hakkında kanıt yok.

Problem

Yerel LLM’leri konsolda çalıştırmak isteyenlerin PS5’in sınırlı payload belleği ve platforma özgü çalıştırma engelleriyle karşılaşmasını hedefliyor.

Çözüm

llama.cpp’yi PS5’e port ediyor; tek bir `ps5lm.elf` payload’ı üzerinden model indirme ve sohbet arayüzü sunuyor, ayrıca konsolda OpenAI API uyumlu bir sunucu çalıştırabiliyor. README’ye göre mevcut sürümde 1.6 GB’a kadar küçük modeller destekleniyor.

Yenilik

llama.cpp’yi PS5 payload ortamına taşıması, tek bir modele özel GPU kernel’leri yazmak yerine llama.cpp’nin model ve quantization desteğinden yararlanma yaklaşımı sunuyor. Bu, yeni bir LLM tekniği değil; dar bir platform için ilginç bir port.

Teknolojiler

• llama.cpp
• GGUF
• PS5 payload SDK
• LLVM
• C/C++
• OpenAI API

Riskler

• v0.1 erken aşamada; README mevcut sürümün küçük modellerle sınırlı olduğunu belirtiyor.
• Çalıştırmak için jailbreak ve firmware 7.00–13.60 aralığında uyumlu bir PS5 gerekiyor.
• Yaklaşık 1.6 GB bellek sınırı nedeniyle büyük modeller şu an pratik değil; GPU desteği yol haritasında.
• README’deki “any GGUF” iddiası, mevcut bellek ve sürüm sınırlamalarıyla birlikte değerlendirilmelidir; tüm modellerin konsolda çalışacağı gösterilmiş değil.
• Çok yeni olduğu için aktivite, bakım sürekliliği ve farklı kullanıcı ortamlarında güvenilirlik hakkında yeterli veri yok.