A locally-hosted, API-independent sovereign AI — running on a single 4GB laptop GPU. Not a marketing narrative. An open ledger of resource allocation, hardware limits, and deterministic edge autonomy.
Enterprises cram capability into ever-larger monoliths. ORDIS distributes it — intelligence emerges from the system, not the weights alone.
An open-source base, prompt-engineered and wrapped in an original system. The novelty is the engineering, not the model.
| Core model | ~12B instruct (Gemma family), 4-bit — stock instruct weights carrying a persona/tool-orchestration system prompt (no merged fine-tune deployed yet; a dataset-tuned bake is in progress, see §5). Measured 5–8 tok/s, varying with concurrent background load. |
| Inference engine | llama.cpp / ollama (GGUF) — CUDA layer-offload, compiled for cc 8.6 |
| Quantization | Q4_K_M |
| Hardware | RTX 3050 Laptop — 4096 MiB (4 GB) · i5-11400H · 30 GB RAM |
| Core VRAM footprint | 18 of 48 layers GPU-resident (~3.4 GB), remainder CPU/RAM |
| Embeddings | nomic-embed-text — CPU-pinned (0 VRAM) |
| Host | Ubuntu 26.04 LTS · Docker container |
A ReAct agent loop over 264 real tools: executes actual bash, drives the physical machine (kernel uinput click/type), navigates a browser like an operator, writes + runs code — offline on 4 GB, bound to no external API.
ORDIS synthesizes new Python tools on demand — then syntax-checks, sandbox-tests, and rejects placeholder / fake-success stubs before registering. It grows itself, but refuses tools that only pretend to work.
Asked about its own state, it reads live telemetry — ollama /api/ps, nvidia-smi, its error log, its tool registry — and answers from measured reality. If it doesn't know, it says "I need to check my logs."
An engineered system, not a marketing narrative. It operates under strict, stated trade-offs.
This manifest is an open invitation to systems engineers.
The code is not a black box. It is an open ledger of resource allocation, hardware limits, and deterministic edge autonomy — built to be opened and verified, line by line.
Yerelde barındırılan, API'den bağımsız, egemen bir yapay zekâ — tek bir 4GB dizüstü GPU'sunda çalışıyor. Bir pazarlama anlatısı değil; kaynak dağıtımının, donanım sınırlarının ve deterministik uç-otonominin açık bir defteri.
Kurumlar yeteneği giderek büyüyen monolitlere tıkıştırır. ORDIS onu dağıtır — zekâ, yalnızca ağırlıklardan değil, sistemden doğar.
Açık kaynak bir taban, prompt-mühendisliğiyle özgün bir sistemle sarılmış. Yenilik modelde değil, etrafındaki mühendislikte.
| Çekirdek model | ~12B instruct (Gemma ailesi), 4-bit — stok instruct ağırlıkları üzerine persona/araç-orkestrasyon sistem promptu bindirilmiş (henüz gömülü bir ince-ayar YOK; veri-setiyle-ayarlanmış bir "bake" sürüyor, bkz. §5). GPU katman-offload ile ölçülmüş 5–8 tok/sn (eşzamanlı arka-plan yüküne göre değişir). |
| Çıkarım motoru | llama.cpp / ollama (GGUF) — CUDA katman-offload, cc 8.6 için derlendi |
| Kuantizasyon | Q4_K_M |
| Donanım | RTX 3050 Laptop — 4096 MiB (4 GB) · i5-11400H · 30 GB RAM |
| Çekirdek VRAM kullanımı | 48 katmanın 18'i GPU'da (~3.4 GB), gerisi CPU/RAM |
| Embedding | nomic-embed-text — CPU'ya pinli (0 VRAM) |
| Ana sistem | Ubuntu 26.04 LTS · Docker konteyneri |
264 gerçek araç üzerinde bir ReAct ajan döngüsü: gerçek bash çalıştırır, makineyi fiziksel sürer (çekirdek uinput tıkla/yaz), tarayıcıda operatör gibi gezer, kod yazıp çalıştırır — 4 GB'da çevrimdışı, hiçbir dış API'ye bağlı olmadan.
ORDIS talep üzerine yeni Python araçları sentezler — sonra kayıttan önce sözdizimi denetler, sandbox'ta test eder ve placeholder / sahte-başarı stub'larını reddeder. Kendini büyütür ama yalnızca çalışıyormuş gibi yapan araçları geri çevirir.
Kendi durumu sorulunca canlı telemetriyi okur — ollama /api/ps, nvidia-smi, hata logu, araç kaydı — ve ölçülmüş gerçekten cevap verir. Bilmiyorsa "loglarıma bakmam lazım" der.
Mühendislikle kurulmuş bir sistem, pazarlama anlatısı değil. Katı, açıkça belirtilmiş takaslarla çalışır.
Bu manifesto, sistem mühendislerine açık bir davettir.
Kod bir kara kutu değildir. Kaynak dağıtımının, donanım sınırlarının ve deterministik uç-otonominin açık bir defteridir — açılıp satır satır doğrulanmak üzere kurulmuştur.