Havuz

OpenLake, GPU tabanlı LLM inference ve training iş yükleri için dağıtık, kalıcı ve yüksek throughput hedefleyen bir storage engine'dir.

Neden yükseliyor · 154 günlük bir repo için 2.658 yıldız dikkat çekici; KV cache offload ve GPU kullanımını artırma gibi güncel, maliyetle doğrudan ilişkili bir altyapı sorununa odaklanıyor. Son 28 günde 16 commit var, ancak bunlar yalnızca 3 farklı yazardan geliyor. README'deki benchmark ve performans iddiaları proje tarafından yayımlanmış; verilen bilgiler bağımsız doğrulamayı göstermiyor.

Berth is a lightweight GPU resource manager written in Go. It controls which applications get access to your GPU, when they get it, and how

Uncensored DeepSeek-V4.1-Flash IQ2_XS on Google Colab

SiliconScope, Apple Silicon Mac’lerde sistem kaynaklarını ve özel hızlandırıcıları izleyen, ayrıca uzaktaki makineleri aynı panele ekleyebilen bir macOS monitörüdür.

Neden yükseliyor · 111 günde 966 yıldıza ulaşması ve son 28 günde 48 commit alması dikkat çekiyor; README’deki ANE ve memory-bandwidth ölçümleriyle uzaktaki makineleri tek panelde toplama özellikleri de ayırt edici bir kullanım vaadi sunuyor. Üç farklı yazar aktiviteye işaret etse de ekip genişliği sınırlı; yıldızlar tek başına benimseme veya kalite kanıtı değil.

Talos ağına bağlanıp yerel Ollama üzerinden açık model inference işleri çalıştıran bir GPU worker client.

Neden yükseliyor · 87 günde 686 yıldız almış; bu, kısa sürede görünürlük kazandığını gösteriyor. Ancak son 28 günde commit ve farklı yazar sayısı sıfır, dolayısıyla güncel geliştirme veya topluluk katkısı açısından destekleyici kanıt yok.

A MoE inference engine you can read in an afternoon.

🧱 Experimental library for building inference engines

Single-GPU LLM fine-tuning preflight: memory estimates, runnable LoRA/QLoRA recipes, and local measurements.

ModelSphere is an open-source LLM inference infrastructure designed to make production-grade model serving simple, efficient, and continuous

Glyd, model ağırlıklarını ve KV cache'i bit düzeyinde kayıpsız biçimde sıkıştırıp GPU'da kullanmayı hedefleyen bir compression yazılımıdır.

Neden yükseliyor · README, yaygın bir maliyet sorununa doğrudan yanıt verdiğini ve 32B ile 72B modellerde daha az GPU ile çalışmaya dair ölçümler sunuyor; ancak 9 günlük repoda 170 yıldız ve 474 commit'in yalnızca 2 farklı yazardan gelmesi, ilginin ve geliştirme temposunun geniş bir katkıcı tabanına dayandığını göstermiyor. Yükselişin kesin kaynağı veya bağımsız benimsenme verisi bilinmiyor.

A high-performance framework for training LLMs, VLMs, diffusion, and embodied models on NVIDIA GPUs and Kunlun XPUs. Supports Pi0.5, GR00T

Feel how fast a local LLM runs before you buy the hardware

collabosm, kullanıcının Google Colab hesabında GPU başlatıp Qwen3.8 modellerini yerel uygulama ve OpenAI uyumlu API üzerinden kullanmasını sağlar.

Neden yükseliyor · 3 günlük bir repoda 87 yıldız dikkat çekici bir başlangıç; ancak yıldızların neden geldiği ve kullanıcıların uygulamayı gerçekten çalıştırıp çalıştırmadığı mevcut verilerden anlaşılamıyor. Son 28 günlük commit ve farklı yazar ölçümleri de yok.

Run any local LLM engine, auto-tuned to your GPU — polished web UI + OpenAI/Anthropic-compatible API. Point Claude Code at your own machine

An open-source inference engine for AI functions in SQL

Serve your models fast on your own infra in 3 steps.

Self-hosted homelab dashboard in one container — GPU, local-AI VRAM, Docker, systemd, energy costs. Read-only MCP server so AI agents can ex

Turn any document or a whole zip into an interactive knowledge graph, using a self-hosted Qwen3.6-35B-A3B-MTP on a single NVIDIA L4

An agentic system that auto-optimizes LLM workloads on AMD GPUs.

Compute-for-memory research lab for running larger LLMs on memory-constrained consumer GPUs. Official website exvram.pro

Self-hosted vLLM made simple. Git-friendly YAML for models and profiles, full lifecycle from an intuitive CLI and TUI.

The Best TypeScript framework for fine-tuning

Real-time hardware and LLM inference monitoring — GPU, CPU, memory, and vLLM metrics streamed to a dashboard.

Fastest MoE/LLM inference runtime for consumer and edge Blackwell GPUs. SN74 on Gittensor.

Run your AI agents on machines you already own, as one private P2P mesh. OpenAI-compatible, sandboxed with Podman, signed reputation, no clo

Model Dispatch and Memory Allocator: an LLM inference engine for the hardware you own. Custom CPU, ROCm, Vulkan, CUDA, Metal and Level Zero

Can my GPU run this? Pick a GPU to get 3 fitting AI models, quantization, VRAM, speed ranges, and run commands. 한국어·English.

Declarative Python SDK for building AI inference platforms on Kubernetes — bare machines to a served model, composed rather than hand-assemb

A free textbook on building an LLM inference stack from scratch in Rust.

Self-hosted meeting transcription portal — speech-to-text, speaker diarization, LLM-corrected transcripts, structured summaries and Word min

Eve Agent V2 Unleashed — local-first autonomous AI coding agent powered by Ollama

🔥 AI agent that ports CUDA code to AMD ROCm using local LLMs — FastAPI + React + Ollama | Live: rocmporter-agent.vercel.app

MLOps — vLLM + LiteLLM + Portainer CE + Netdata. Case study song ngữ: kiến trúc, metrics, bài học vận hành. · Self-hosted LLM inference don

Which local LLMs can your computer run? Hardware-aware CLI, TUI and GUI: yes/slow/no verdicts and tok/s from your GPU VRAM and RAM, then ver

One GPU. Full LLM workflow. Real benchmarks. No cloud required.

First open-source TurboQuant KV cache compression for LLM inference. Drop-in for HuggingFace. pip install turboquant.

A narrative walk through 90 years of AI history, paper by paper. 66 chapters from Turing 1936 to Blackwell 2025.

Why is LLM inference slow — and how do you make it fast? A hands-on, first-principles course: roofline → KV cache → quantization → paralleli

One command spins up Qwen3.8-27B (abliterated, NVFP4) on a rented Blackwell GPU at ~150 tok/s and wires it into your local coding agent via

Benchmark llama.cpp on your own GPU/CPU boxes and compare against everyone else's — sweep runner, an sha256-keyed index of ~4M GGUF files, a

Lynn 原生 LLM 推理引擎 · W4A8/NVFP4 量化 · 自写 CUDA/Triton kernel · MoE · 投机解码 | Lynn-native LLM inference engine for NVIDIA Blackwell

Catch local LLMs spilling into the CPU. One run shows GPU placement, prefill, decode, memory, power and a verdict.

Local-first AI assistant for Windows: voice (Whisper+Piper), webcam vision, FLUX image gen, image-to-3D, memory, 80+ tools. OpenAI-compatibl

Unified KV-cache compression for LLM inference: 12 Python-native methods, guarded add-on composition and routing, analytical capacity simula

See every GPU in your lab in the terminal, the browser or a report — who holds each GPU, which ones sit idle. One Python file, nothing to in

The visual compute platform for AI and robotics — connecting agents, GPU workloads, simulation, training, and real robots through typed work

Grammar-aware adaptive speculative decoding for structured LLM output — custom CUDA/Triton kernels, 2.7× throughput on enum-heavy schemas

nvtop for vLLM — an interactive terminal dashboard for vLLM serving performance (concurrency, throughput, cache & KV memory, latency, spec-d

LLM Infra 工程实战 — 面向应用层工程师的 LLM 基础设施

A self-hosted, AWS-compatible cloud for your own hardware. Point the AWS CLI, SDKs, CloudFormation and Terraform at it to run Lambda, S3, RD