Havuz

A computer, compiled into the weights of a language model. An exact CPU inside Qwen3.5-4B, with Gated DeltaNet state as RAM.

Official repository for MemT-1.0

PS5LM, jailbreak yapılmış PS5 üzerinde llama.cpp tabanlı GGUF modellerini çalıştırmak için hazırlanmış bir homebrew payload’ıdır.

Neden yükseliyor · Bir gün yaşında 27 yıldız almış; PS5 üzerinde yerel LLM çalıştırma fikri ve gösterilebilir demo dikkat çekici. Ancak son 28 günlük commit ve farklı yazar verisi ölçülmediğinden ilginin sürdürülebilirliği ve geliştirme temposu hakkında kanıt yok.

halogen-flash-server, Qwen3.8-Flash-Next modelini AMD Strix Halo (gfx1151) donanımında çalıştırmak için özelleştirilmiş bir inference server'dır.

Neden yükseliyor · 32 günlük repo için 722 yıldız ve son 28 günde 99 commit dikkat çekiyor. README, belirli donanım üzerindeki ölçümleri ve ölçüm koşullarını açıklıyor; ancak performans iddiaları proje tarafından sunulmuş ve bağımsız doğrulama bilgisi burada yok. 99 commit'in tek yazardan gelmesi geliştirme hızını gösterirken bakım kapasitesine dair kanıtı sınırlıyor.

TokenSpeed, agentic workloads için LLM inference sunumunu hızlandırmayı ve istek yönetimini daha güvenli hale getirmeyi amaçlayan bir inference engine’dir.

Neden yükseliyor · 144 günde 2.178 yıldız ve son 28 günde 385 commit ile 20 farklı yazar, hem ilgi hem de yakın dönem geliştirme faaliyeti gösteriyor. README ayrıca PyTorch Ecosystem’e katılımı ve yeni model desteğini vurguluyor; performans iddiaları ise proje tarafından sunulan kıyaslamalara dayanıyor.

MAC, doğal dildeki tasarım brief’lerinden düzenlenebilir CAD parçaları ve deneysel olarak çok parçalı assembly’ler üretir.

Neden yükseliyor · 59 günde 1006 yıldıza ulaşması, doğal dilden CAD üretimine yönelik ilgiyi ve görsel olarak etkileyici parça/assembly demolarını yansıtıyor. Ancak README, assembly örneklerinin seçilmiş çıktılar olduğunu ve ölçülmüş prompt başarı oranı sunmadığını belirtiyor; 28 günde 22 commit olsa da farklı yazar sayısının 1 olması benimseme ve sürdürülebilirlik kanıtını sınırlıyor.

Slotstream, büyük bir MoE modelini SSD’den parça parça yükleyip yoğun kullanılan expert’leri bellekte önbelleğe alarak Apple Silicon Mac’lerde çalıştıran yerel bir inference engine’dir.

Neden yükseliyor · README, 48 GB M5 Pro üzerinde belirli koşullarda 15.86 tok/s ölçümü ve prompt işleme iyileştirmeleri yayımlıyor; son 28 günde 271 commit ve 5 farklı yazar da yoğun geliştirme faaliyetine işaret ediyor. Ancak proje yalnızca 30 günlük ve mevcut sürüm için nitelikli tam yanıt hızı ölçümünün hâlâ beklediği belirtiliyor.

Local AI app and inference engine for agents. Run open-weight LLMs locally — private, 100% offline on your computer. Join our Discord: https

SpeakMore：口述成文，划词即译。开源、免费的语音输入与翻译工具，支持 Mac 与 Windows：语音输入、语音翻译、划词翻译。兼容 Gemini、OpenAI、通义千问、DeepSeek、Kimi、智谱 GLM、MiniMax 及任意 OpenAI 兼容服务，语音输入亦

Qwen3.8-Flash-Next (125B MoE) up to 1M context on one or two RTX cards (tuned on 3080 10gb). A measured, tuned and benchmarked fork of Str

Black-box LLM distillation for any verifiable task, with text or image inputs: teacher API -> rejection sampling -> SFT -> eval -> GRPO

Source code of Local Code, a private AI agent for Mac, iPad and iPhone. Runs DeepSeek 4.1 on device, with Python, Node.js and a shell built

Kyojin: open-source engine that runs 100 GB-class open models (GLM-5.3, Qwen3.8, DeepSeek V4.1) on one desktop machine. AMD Strix Halo, NVID

Run MoE models bigger than your RAM. Frontier-size MoE on a phone, laptop, edge. Lossless, on stock llama.cpp. An adaptive streaming optimiz

🚀🚀 A multimodal System One decision model that gives calibrated answers to typed questions about screens, photos, video and text in one forw

Refusal removal as a loadable KV-cache graft — zero weight modification, no refusal-direction projection, fully reversible.

Pure-Rust inference engine for Qwen GGUF models (Qwen3 to Qwen3.8, dense and MoE up to 80B+). CUDA and Vulkan (NVIDIA, AMD), hybrid CPU+GPU

llama.cpp fork for significantly improved performance on Ampere generation Nvidia cards (especially RTX 3090 / 3090 Ti): example: 110+ tok/s

AI-enabled Intelligent Document Processing for Python: 12+ LLM backends, Pydantic schemas, self-hosted OCR (Nanonets-OCR2-3B), auto-schema d

帮你的 Claude Science 一键接入你自己的 API：DeepSeek / 通义千问 / 智谱 GLM / Kimi / MiniMax / 小米 MiMo / 硅基流动 / OpenRouter / 任意 OpenAI·Anthropic 兼容端点

Your car as a chat-room agent: Raspberry Pi 5 + dashcam + local AI. CodeWatch's sibling for the garage.

Downloadable models and conversion recipes for Apple's Core AI on iPhone and Mac. Chat, vision, speech and generative models with per-model

A native .NET LLM inference engine and agent runtime for GGUF models. TensorSharp provides a console application, a web-based chatbot interf

verl for a single consumer GPU. PPO, GRPO and on-policy distillation on NVIDIA GPUs.

An inference framework customized for AI MAX 395, compatible with both Linux and Windows, and supports deploying only qwen3.8-flash-next. Th

Fully uncensored, capability-enhanced abliteration of Qwen3.6-27B. NVFP4 + z-lab DFlash speculative decoding (n=12) on the unified ghcr.io/a

qwen2API çok dilli (i18n) fork'u • Multi-language (i18n) fork of qwen2API — WebUI artık Çince, İngilizce ve Türkçe / UI now in Chinese, Engl

Transformers for decision models: fine-tune, load and serve calibrated decsion-model on any Hugging Face model.

Diktafon is a private, open-source voice memo app that transcribes and summarizes your recordings entirely on your device — organized like c

A structured, versioned archive of adversarial prompt engineering techniques against Large Language Models — for AI safety research, red-tea

🔥🔥 The fastest inference engine for decision model

collabosm, kullanıcının Google Colab hesabında GPU başlatıp Qwen3.8 modellerini yerel uygulama ve OpenAI uyumlu API üzerinden kullanmasını sağlar.

Neden yükseliyor · 3 günlük bir repoda 87 yıldız dikkat çekici bir başlangıç; ancak yıldızların neden geldiği ve kullanıcıların uygulamayı gerçekten çalıştırıp çalıştırmadığı mevcut verilerden anlaşılamıyor. Son 28 günlük commit ve farklı yazar ölçümleri de yok.

Governed neural weight editing and coding model adaptation. Native Rust patches, exact rollback, LoRA, Claude Code routing, and reproducible

Local decision model with calibrated probabilities: send a state and yes/no, choice or score questions, get a probability for every option.

The fastest way to run Qwen3.8 27B on Strix Halo (gfx1151)

To know what models don't say out loud.

The fastest inference engine for Qwen3.8-27B on the NVIDIA RTX 5090: up to 500 tokens/s for one agent and up to 2,000 tokens/s for many, con

AI-assisted text editor for Windows with local LLM support, text rewriting, style improvement and Unicode cleanup.

Self-hosted decision model (selfjev-4b) with a Jev-compatible API: Python SDK, server, fine-tuning and RLCD.

DeepSeek-V4-Flash-0731 284B inference in ~25 GB of RAM / Qwen3.8-Next-Flash inference in ~15 GB of RAM on any M-series MacBook

Open-source alternative to TypeSafe's Jev: a System One style model layer that gives typed, calibrated decisions from any open-weights LLM i

OpenJev: open-source, local alternative to Jev. System-One decision models: typed questions in, calibrated probabilities out; general decisi

Turn any document or a whole zip into an interactive knowledge graph, using a self-hosted Qwen3.6-35B-A3B-MTP on a single NVIDIA L4

Qwen3.8-Flash-Next (180B MoE) on one 12-16 GB NVIDIA GPU, Linux or Windows. Own engine, own compression.

Give the agent "this" and he gets a real PC.

A 6.87 GiB GGUF build of Qwen 3.8 27B — full 27B quality on 8 GB RAM. 96.7% HumanEval, 92.9% MMLU retention, no distillation.

Hybrid GPU + CPU inference for mixture-of-experts models, written in Rust down to the CUDA kernels. A drop-in llama-server.

Use 30+ AI models (DeepSeek, Kimi, GLM, Claude, GPT-5.5, Gemini, Grok) in GitHub Copilot Chat - free via BYOK. No Copilot Pro needed.

Native AI assistant for macOS, built with SwiftUI and llama.cpp. Run local LLMs offline, work with PDFs, and create custom AI assistants. Op

Self-hosted voice gateway in Go that speaks the OpenAI Realtime (GA) WebSocket protocol and runs a cascaded ASR → LLM → TTS pipeline behind