Havuz

A MoE inference engine you can read in an afternoon.

Uncensored DeepSeek-V4.1-Flash IQ2_XS on Google Colab

GPU-accelerated animated charts for React Native & Expo, built on React Native Skia + Reanimated. A modern successor to @rainbow-me/react-na

A blazingly fast programmatic video engine, made for agents.

System monitor for workstations, laptops and NAS — terminal UI and native GUI, many hosts over SSH. A btop alternative.

A virtual GPU hall: emulated switches, BMCs and GPUs with fault injection. Apache-2.0.

P104-100 (GP104) PCIe Gen2 x4 unlock tool for Windows. Gen1 x4 -> Gen2 x4: 0.78 -> 1.55 GB/s measured.

Berth is a lightweight GPU resource manager written in Go. It controls which applications get access to your GPU, when they get it, and how

Serve your models fast on your own infra in 3 steps.

Local speech-to-text at GPU speed: Parakeet, GigaAM and Whisper in pure Rust, as a library and an ollama-like CLI

Nuvex, Solana üzerinde ECVRF kanıtlarıyla doğrulanabilir randomness sunmayı hedefleyen, henüz erken aşamadaki bir oracle ve verifiable compute protokolüdür.

Neden yükseliyor · 137 yıldızın 1 günlük bir repoda dikkat çektiği görülüyor; ancak bunun nedenini mevcut verilerden çıkarmak mümkün değil. Son 28 günde 4 commit ve 1 farklı yazar var; bu nedenle yıldızlar tek başına benimsenme veya olgunluk kanıtı sayılmaz.

由 AI 自动完成 AutoDL 实例开关机的 Claude Code skill，含空闲自动关机、预算核对与用量记账

A fancy NVIDIA GPU monitor for the terminal. One Python file, no dependencies.

ModelSphere is an open-source LLM inference infrastructure designed to make production-grade model serving simple, efficient, and continuous

Compute-for-memory research lab for running larger LLMs on memory-constrained consumer GPUs. Official website exvram.pro

collabosm, kullanıcının Google Colab hesabında GPU başlatıp Qwen3.8 modellerini yerel uygulama ve OpenAI uyumlu API üzerinden kullanmasını sağlar.

Neden yükseliyor · 3 günlük bir repoda 87 yıldız dikkat çekici bir başlangıç; ancak yıldızların neden geldiği ve kullanıcıların uygulamayı gerçekten çalıştırıp çalıştırmadığı mevcut verilerden anlaşılamıyor. Son 28 günlük commit ve farklı yazar ölçümleri de yok.

Programmable, verifiable execution on Xbox Series X Developer Mode, with agent-native workflows, XVM, CPU/GPU runtimes and evidence-bound ex

Model Dispatch and Memory Allocator: an LLM inference engine for the hardware you own. Custom CPU, ROCm, Vulkan, CUDA, Metal and Level Zero

Glyd, model ağırlıklarını ve KV cache'i bit düzeyinde kayıpsız biçimde sıkıştırıp GPU'da kullanmayı hedefleyen bir compression yazılımıdır.

Neden yükseliyor · README, yaygın bir maliyet sorununa doğrudan yanıt verdiğini ve 32B ile 72B modellerde daha az GPU ile çalışmaya dair ölçümler sunuyor; ancak 9 günlük repoda 170 yıldız ve 474 commit'in yalnızca 2 farklı yazardan gelmesi, ilginin ve geliştirme temposunun geniş bir katkıcı tabanına dayandığını göstermiyor. Yükselişin kesin kaynağı veya bağımsız benimsenme verisi bilinmiyor.

Terminal fleet monitor for GPUs, NPUs, and 13 other accelerator kinds, from utilization down to which pod is using them.

Local desktop tool for managing multiple SSH servers: GPU/process monitoring, SFTP file manager and high-speed server-to-server transfer (El

High-performance native SSH client in Rust, GPU-rendered with GPUI: host manager, terminal, WinSCP-style SFTP and port forwarding. Rust 编写、G

Declarative Python SDK for building AI inference platforms on Kubernetes — bare machines to a served model, composed rather than hand-assemb

Persistent GPU jobs for AI agents. MCP + CLI, hardware-aware scheduling, Kaggle adapter, and recoverable artifacts for Codex and Claude Code

Reproduce Lium's LocalMaxxing leaderboard runs (7 boards, 20 Verified) on a rented Lium GPU in one script — vLLM/llama.cpp recipes, measured

Apache Arrow compute on Apple silicon GPUs through Metal: Arrow columns in unified memory, copy-free where the producer's buffers are page a

A native macOS terminal built in Swift, with Metal rendering, CJK input, and a dependency-free terminal core.

PantheonSim: GPU simulator for CUDA and ROCm. Run CUDA and HIP programs unmodified on a CPU, no GPU needed: simulated NVIDIA and AMD GPUs fo

Feel how fast a local LLM runs before you buy the hardware

Beautiful shader components, built on vgpu and TypeGPU. 100% Free, Zero config, one command setup.

Rust game engine for huge physics scenes: 10,000 GPU-simulated cubes at 2,000+ FPS on an RTX 3060. Vulkan, editor, deterministic replay, age

One command spins up Qwen3.8-27B (abliterated, NVFP4) on a rented Blackwell GPU at ~150 tok/s and wires it into your local coding agent via

Native macOS menu bar app for real-time CPU, GPU, temperature, power and fan monitoring — Apple Silicon and Intel.

A free textbook on building an LLM inference stack from scratch in Rust.

Public home for Metalterm — a GPU-rendered terminal for macOS. Downloads, release notes, bug reports, and feature requests

MLOps — vLLM + LiteLLM + Portainer CE + Netdata. Case study song ngữ: kiến trúc, metrics, bài học vận hành. · Self-hosted LLM inference don

Benchmark llama.cpp on your own GPU/CPU boxes and compare against everyone else's — sweep runner, an sha256-keyed index of ~4M GGUF files, a

🧱 Experimental library for building inference engines

Which local LLMs can your computer run? Hardware-aware CLI, TUI and GUI: yes/slow/no verdicts and tok/s from your GPU VRAM and RAM, then ver

See every GPU in your lab in the terminal, the browser or a report — who holds each GPU, which ones sit idle. One Python file, nothing to in

An open-source inference engine for AI functions in SQL

A lightweight, private system monitor that lives in your macOS menu bar. CPU, memory, battery, network, disk, GPU, temperature, fans. Zero t

Can my GPU run this? Pick a GPU to get 3 fitting AI models, quantization, VRAM, speed ranges, and run commands. 한국어·English.

How many simultaneous 4K transcodes can your GPU sustain? Multi-vendor (Intel/AMD/NVIDIA/CPU) benchmark for Unraid with HDR tone-mapping, su

Honeycomb Lab — hex map + OpenAI gateway control plane for a home AI fleet

Catch local LLMs spilling into the CPU. One run shows GPU placement, prefill, decode, memory, power and a verdict.

tty7, oturumları uygulama kapandıktan sonra da sürdüren; shell, SSH ve coding agent iş akışlarını bir araya getiren Rust tabanlı bir terminal workbench’tir.

Neden yükseliyor · 83 günlük yaşına karşın 1124 yıldız ve son 28 günde 320 commit, projeye belirgin ilgi ve yoğun geliştirme olduğunu gösteriyor. README’deki persistent sessions, agent desteği ve SSH özelliklerini tek bir terminal workbench’te birleştirmesi de dikkat çekici; ancak son dönemdeki 4 farklı yazar, geliştirme etkinliğinin sınırlı sayıda kişide toplandığını gösteriyor.

Talos ağına bağlanıp yerel Ollama üzerinden açık model inference işleri çalıştıran bir GPU worker client.

Neden yükseliyor · 87 günde 686 yıldız almış; bu, kısa sürede görünürlük kazandığını gösteriyor. Ancak son 28 günde commit ve farklı yazar sayısı sıfır, dolayısıyla güncel geliştirme veya topluluk katkısı açısından destekleyici kanıt yok.

🔥 AI agent that ports CUDA code to AMD ROCm using local LLMs — FastAPI + React + Ollama | Live: rocmporter-agent.vercel.app

Why is LLM inference slow — and how do you make it fast? A hands-on, first-principles course: roofline → KV cache → quantization → paralleli