Havuz

37 tok/s from Qwen3-Next-80B (48 GB) on a 32 GB laptop, 24 without drafts vs 2.8 for llama.cpp; reading 62 vs 16 tok/s. Faster than llama.cp

Local decision model with calibrated probabilities: send a state and yes/no, choice or score questions, get a probability for every option.

Running a 30B MoE LLM on CPU at 30-50+ tok/s with a 256K Context Window via Hybrid Mamba-2 SSM, L3 NTA Slicing, AVX-512 VNNI Tile Repacking

MOSS-TTS-Nano, düşük kaynaklı cihazlarda çok dilli konuşma üretimi ve voice cloning için tasarlanmış 100M parametreli bir TTS modelidir.

Neden yükseliyor · 170 günde 4.412 yıldız alması, çok dilli TTS'yi GPU gerektirmeden çalıştırma ve voice cloning özelliklerinin geliştiriciler için çekici olduğunu gösteriyor. Ancak son 28 günde 2 commit ve 1 farklı yazar olması, yıldız ivmesinin güncel geliştirme etkinliğiyle desteklendiğine dair sınırlı kanıt sunuyor.

kimi-k3-in-c, Kimi K3 modelinde inference çalıştırmayı hedefleyen bağımlılıksız bir C99 motorudur.

Neden yükseliyor · 57 günde 8.683 yıldız alması ve Kimi K3'ü 8 GB RAM'li CPU'da çalıştırma iddiası dikkat çekiyor; ancak son 28 gündeki 12 commit'in tek yazardan gelmesi, ilginin bağımsız teknik doğrulama veya geniş katkıcı tabanıyla desteklendiğini göstermiyor.

Train voice styles for Supertone/supertonic-3 model.

GLM-5.2, a 744 billion parameter mixture of experts model, in a pure C inference engine: quantized to int4, experts streamed from disk, depl

CPU-optimized LLM inference engine (C)

Low-memory C++20 LLM inference runtime for quantized GGUF models on CPU — mmap-backed weights, paged KV cache, Q4/Q8 kernels, and reproducib

Run the native 284B-A13B DeepSeek-V4-Flash-0731 LLM locally on one laptop CPU: pure C, 8 GB RAM minimum, no GPU, best TPOT 0.892 s/token, re

Summarize, explain, fact-check, or translate any text, URL, or file. No GPU. No cloud. One command

Evaan — a fully local, offline-capable AI companion chatbot built with Python & Hugging Face Transformers, running on Qwen2.5-0.5B-Instruct

Qwen3.8-27B on one laptop CPU: up to 2.52 token/s, 8 GB tested, no runtime accuracy loss. Native OpenAI-compatible API with function tools;

The best model under 200B at near 10 token/s exact batch throughput on a single laptop CPU, with an automatic 8 GB RAM path. Native C, no GP

CPU-first, eager-execution tensor/autograd runtime and LLM inference engine written in pure Zig

Tiny engine, immense models — run large MoE LLMs (gpt-oss, Mixtral, Qwen3-MoE) on ordinary machines by streaming experts from disk. OpenAI-c