Dense czy MoE: który otwarty model wybrać

Wybierz zły model open-weight w 2026 roku i nie stracisz punktu w benchmarku. Stracisz wydatek na sprzęt, miesiące integracji i jedyne audytowalne okno, jakie miałeś, zanim obowiązki AI Act dla systemów wysokiego ryzyka z załącznika III zaczną się stosować (od 2 grudnia 2027, po przesunięciu z 2 sierpnia 2026). Decyzja, która ma znaczenie, to nie "najwyższy wynik w rankingu". To wybór między architekturą dense a MoE, dopasowany do Twojego sprzętu, rodzaju pracy i jurysdykcji.

Dla kogo ten tekst: regulowane MŚP w Polsce (FinTech, ubezpieczenia, prawo, doradztwo, sektor publiczny) z osobą decyzyjną, która właśnie ma podpisać zamówienie na kartę graficzną i chce wiedzieć, czy odpowiedź brzmi "jeden duży model dense" czy "jeden rzadki MoE". Zła decyzja kosztuje więcej niż sama karta.

W skrócie. Wybór między modelem dense a MoE zaczyna się od VRAM, nie od benchmarków. Dense wygrywa w kodowaniu, długich dokumentach i dostrajaniu, MoE przy wielu równoległych użytkownikach i krótkich promptach. Dla firm z siedzibą w UE Llama 4 odpada ze względu na licencję, więc decyzję wyznaczają budżet sprzętowy, liczba użytkowników, długość kontekstu i jurysdykcja.

Stan na maj 2026; aktualizacja pomiarów w przygotowaniu.

Zacznij od VRAM, nie od benchmarków

Zanim porównasz architektury, sprawdź, ile pamięci faktycznie potrzebujesz. Te liczby pochodzą z pomiarów, nie z kart produktowych.

Z tej tabeli wynikają trzy twarde zasady.

Zasada 1: RTX 5070 Ti 16 GB nie pomieści Qwen3.6-27B przy żadnym sensownym kontekście. Plik Q4 waży ~16-18 GB, ale runtime z overheadem to już ~20 GB nawet przy 1 tys. tokenów. Dodaj KV cache i potrzebujesz jeszcze zapasu. Dla 27B dense planuj minimum 24 GB (RTX 4090), 32 GB dla komfortu (RTX 5090), albo 64 GB pamięci zunifikowanej (MacBook M4 Max), jeśli chcesz używać pełnego okna 262 tys. tokenów.

Zasada 2: MoE nie oszczędza VRAM. Wszystkie 35 mld parametrów Qwen3.6-35B-A3B muszą siedzieć w pamięci; aktywnych jest tylko 3 mld na token. Plik ~20-22 GB, runtime ~24-26 GB przed KV cache. Nie uruchomisz tego na karcie 24 GB.

Zasada 3: KV cache dla Qwen3.6-27B (hybryda DeltaNet + GQA) kosztuje 64 KB na token w BF16. Przy 8 tys. tokenów to 512 MB. Przy 32 tys. to 2,0 GB. Przy 128 tys. to 8,2 GB. Przy 262 tys. to 16,8 GB. To na dodatek do ~20 GB bazy. Dlatego karta 24 GB sprawdza się do kodowania (krótki kontekst), ale dławi się przy analizie długich dokumentów.

Architektura w 100 słowach

Model dense przepuszcza każdy token przez wszystkie wagi. Obciążenie obliczeniowe skaluje się z liczbą parametrów. Przewidywalny, łatwy do kwantyzacji, łatwy do dostrojenia. Stabilny układ KV cache.

Model Mixture-of-Experts (MoE) przepuszcza każdy token przez router, który wybiera N ekspertów z M (np. 8 z 256). Tylko wybrani eksperci wykonują pracę, więc obciążenie na token odpowiada dużo mniejszemu modelowi, ale cały bank ekspertów musi siedzieć w VRAM.

Konsekwencja: MoE daje tańsze obliczenia na token (szybsza inferencja, lepszy throughput) przy większym apetycie na VRAM niż dense o porównywalnej jakości. Kwantyzacja Q4 na MoE jest bardziej krucha, bo router jest wrażliwy na szum w wagach. Dense wygrywa przy kodowaniu, długich kontekstach, spójności i dostrajaniu. MoE wygrywa przy throughput dla krótkich promptów i wielu równoległych użytkowników.

Gdzie wygrywa dense

Kodowanie i praca z narzędziami

Sytuacja: Twój zespół pisze kod, uruchamia testy i odpytuje lokalnego asystenta. Model musi niezawodnie wywoływać narzędzia, utrzymywać kontekst repozytorium w zakresie 32-64 tys. tokenów i kwantyzować się przewidywalnie, tak by 4-bitowa waga nie rozbiła routera.

Wybór: Qwen3.6-27B dense w AWQ 4-bit lub Q4_K_M.

Sprzęt: RTX 4090 24 GB (ciasno, do ~32 tys. kontekstu), RTX 5090 32 GB (komfortowo) lub MacBook M4 Max 64 GB (najlepszy wybór, pomieści pełne 262 tys.).

Dlaczego: Qwen3.6-27B osiąga 77,2% na SWE-bench Verified i bije Qwen3.5-397B-A17B (76,4%) przy około piętnastokrotnie mniejszej liczbie parametrów (karta modelu Qwen). Model dense kwantyzuje się przewidywalnie i daje stabilne zachowanie przy wywoływaniu narzędzi, bo każda waga jest aktywna na każdym tokenie. Brak dryfu ekspertów, brak niestabilności routingu. Nuda to zaleta, nie wada.

vllm serve Qwen/Qwen3.6-27B-AWQ \
  --quantization awq \
  --max-model-len 65536 \
  --gpu-memory-utilization 0.90 \
  --enable-prefix-caching \
  --max-num-seqs 2

Kiedy NIE: jeśli musisz obsłużyć 10+ deweloperów równolegle z jednej karty, throughput wsadowy staje się wąskim gardłem i wygrywa MoE.

Analiza długich dokumentów

Sytuacja: analizujesz umowy, akta audytorskie, projekty aktów prawnych albo dokumentację medyczną liczącą setki stron. Model musi utrzymać 64-128 tys. tokenów kontekstu bez gubienia odniesień ze strony 1 przy odpowiadaniu o stronie 400.

Wybór: Qwen3.6-27B dense.

Sprzęt: MacBook M4 Max 64 GB lub RTX 5090 32 GB. RTX 4090 24 GB działa do ~32-48 tys. kontekstu; dalej KV cache zjada całą kartę.

Dlaczego: modele dense mają jeden, stabilny KV cache. Brak szumu przy przełączaniu ekspertów, brak zmian routingu zależnych od kontekstu. Natywny kontekst 262 tys. tokenów mieści cały kodeks cywilny plus akta klienta w jednym prompcie. Warstwy DeltaNet w Qwen3.6-27B utrzymują wzrost KV cache liniowy, a nie kwadratowy, więc 128 tys. jest praktyczne na 32 GB, a 262 tys. na 64 GB.

Kiedy NIE: jeśli Twoje dokumenty są krótkie (poniżej 8 tys.) i masz wielu równoległych użytkowników, MoE daje lepszy throughput.

Dostrajanie na własnych danych

Sytuacja: musisz dostosować model do swojej domeny (terminologia medyczna, cytowania prawnicze, wewnętrzne taksonomie) przy użyciu jednej karty i niewielkiego zbioru oznaczonych danych.

Wybór: Qwen3.6-27B dense.

Sprzęt: jeden A6000 48 GB lub jeden H100 80 GB.

Dlaczego: QLoRA na modelu dense to problem rozwiązany. Unsloth, Axolotl i standardowy PEFT działają od razu. Czas iteracji: dni. QLoRA na MoE wymaga expert-balancing loss, router rozregulowuje się pod adapterami niskiego rzędu, a wsparcie w narzędziach open-source jest częściowe. Czas iteracji: tygodnie, często z multi-GPU FSDP.

Kiedy NIE: jeśli masz już klaster multi-GPU i in-house ML engineera, który wcześniej wdrażał fine-tuning MoE. Większość MŚP nie ma takiego człowieka.

Gdzie wygrywa MoE

Wielu równoległych użytkowników i krótkie prompty

Sytuacja: wewnętrzny portal AI, 10-50 pracowników odpytuje równolegle: pisanie krótkich pism, przegląd zgłoszeń, Q&A, fragmenty kodu. Typowy prompt poniżej 8 tys. tokenów.

Wybór: Qwen3.6-35B-A3B (MoE, 256 ekspertów, 8 routed + 1 shared active).

Sprzęt: jeden NVIDIA RTX PRO 6000 96 GB, dwa NVIDIA RTX PRO 5000 48 GB, lub jeden RTX 5090 32 GB przy bardzo ciasnym batchu (niezalecane do produkcji).

Dlaczego: 3 mld aktywnych parametrów na token to dokładnie to, co pozwala vLLM z PagedAttention batchować 8-16 równoległych zapytań przy 200-400 ms TTFT. Continuous batching wykorzystuje fakt, że różne tokeny aktywują różnych ekspertów, co utrzymuje GPU w obciążeniu.

Kiedy NIE: jeśli użytkownicy wrzucają długie dokumenty (>32 tys.) lub masz tylko 24 GB VRAM. Model 35B w Q4 potrzebuje ~24-26 GB tylko na wagi, zanim doliczysz KV cache.

Throughput datacenter dla SaaS z około 100 płacącymi użytkownikami

Sytuacja: polski produkt SaaS, około stu płacących użytkowników, funkcje AI jako pierwszoklasowa część oferty, wdrożenie single-tenant w EU colo.

Wybór: Mistral Small 4 (119B-2603), MoE z 4 z 128 ekspertów aktywnych na token.

Sprzęt: jeden H200 141 GB lub dwa H100 80 GB w Q4 / FP8.

Dlaczego: Mistral raportuje około 40% niższą end-to-end latency względem Mistral Small 3 w konfiguracji zoptymalizowanej pod latency oraz do 3x więcej żądań na sekundę w konfiguracji throughput-optimized (karta modelu Mistral). 6,5 mld aktywnych parametrów to nie problem dla H200. Apache 2.0 oznacza brak ograniczeń komercyjnych w UE, w przeciwieństwie do Llama 4.

Kiedy NIE: jeśli nie masz przynajmniej jednego H200 albo pary H100 w air-gap (koszt wejścia 80-150 tys. EUR), nie jest to uzasadnione przy stu użytkownikach. Zostań na Qwen3.6-35B-A3B, dopóki ekonomia jednostkowa nie wymusi upgrade'u.

Trzy przykłady branżowe

Agencja interaktywna lub e-commerce (5-10 osób)

Budujesz strony na WordPressie i WooCommerce, piszesz własne integracje, realizujesz krótkie zadania programistyczne. Zespół jest mały, repozytoria nie są ogromne, a budżet na sprzęt to jedna stacja robocza.

Sprzęt: RTX 5070 Ti 16 GB. Model: Qwen3.5-9B lub Qwen3-14B dense (oba mieszczą się komfortowo w 16 GB przy Q4). Qwen3-14B oferuje 128 tys. tokenów kontekstu - wystarczająco dla większości repozytoriów i zadań kodowania, choć krótszy niż 262 tys. w Qwen3.6-27B. Zastosowanie: uzupełnianie kodu, debugowanie wtyczek, generowanie zapytań SQL, krótkie szkice treści. Do tego obciążenia nie potrzebujesz 27B; 8B dense przy Q4 na karcie 16 GB to praktyczny punkt wyjścia, który zostawia VRAM na system i IDE. RTX 5070 Ti to karta konsumencka bez ECC; to setup minimum viable, nie konfiguracja produkcyjna dla danych wrażliwych.

Doradztwo finansowe (20 osób)

Analizujesz dokumentację klientów, przygotowujesz wnioski o dofinansowanie i przetwarzasz poufne dane finansowe. Dokumenty są długie (100-300 stron), a zespół liczy 10-20 osób które odpytują model równolegle.

Sprzęt: NVIDIA RTX PRO 5000 48 GB lub dwa RTX 4090 24 GB. Model: Qwen3.6-35B-A3B MoE w Q4.

Zastosowanie dzieli się na dwa:

(a) Wewnętrzny portal AI z krótkimi promptami. Q&A, szkicowanie wniosków, krótkie sprawdzanie spójności - prompty poniżej 8 tys. tokenów, 10-20 równoległych użytkowników. MoE radzi sobie z tym dobrze. 3 mld aktywnych parametrów na token utrzymuje niskie opóźnienie pod obciążeniem.

(b) Analiza CAŁYCH dokumentów 100-300 stron. Przy około 500 tokenów na stronę dokument liczący 300 stron to około 150 tys. tokenów. To przekracza ~32-48 tys. kontekstu, które zmieścisz na karcie 48 GB z Qwen3.6-35B-A3B. Przy tym MoE musisz podzielić dokument na fragmenty i zaakceptować, że odniesienia między stronami mogą się zepsuć. Jeśli potrzebujesz pełnego dokumentu w jednym prompcie, przejdź na Qwen3.6-27B dense i planuj 48-64 GB VRAM. Trade-off jest jasny: MoE kupuje throughput dla wielu użytkowników, ale nie mieści całego pliku.

Jednoosobowa kancelaria adwokacka (1 osoba)

Analizujesz akta spraw liczące 500+ stron, tworzysz pisma procesowe i prowadzisz research orzecznictwa oraz kodeksów. Tajemnica zawodowa wyklucza chmurę. Potrzebujesz, by model pamiętał fakty ze strony 12 przy formułowaniu wniosków na stronie 480.

Sprzęt: MacBook M4 Max 64 GB lub RTX 4090 24 GB (z kontekstem ograniczonym do ~32-48 tys.). Model: Qwen3.6-27B dense w Q4. Zastosowanie: wczytywanie akt spraw, szkicowanie argumentacji, krzyżowe sprawdzanie z przepisami. Okno 262 tys. tokenów mieści pełne akta sprawy plus odpowiednie artykuły kodeksu cywilnego. Architektura dense ma tu znaczenie, bo spójność argumentacji prawniczej w 40-stronicowym piśmie jest niepodważalna; nie chcesz, by szum routingu zmieniał ton między akapitami.

Słoń w pokoju: Llama 4

Llama 4 Scout i Maverick są technicznie interesujące. Scout ma okno 10 mln tokenów. Maverick ma 128 ekspertów i bank 402 mld parametrów. Na każdej stronie z benchmarkami wyglądają jak oczywisty wybór 2026.

Nie są. Licencja Llama 4 Community License oraz Acceptable Use Policy Mety wprost nie przyznają praw do multimodalnych modeli Llama 4 osobom z miejscem zamieszkania ani firmom z głównym miejscem prowadzenia działalności w Unii Europejskiej. Ponieważ Llama 4 Scout i Maverick są natywnie multimodalne, polska JDG, sp. z o.o. ani żaden inny podmiot zarejestrowany w UE nie może zbudować produktu na tych wagach, nawet na własnym sprzęcie. Dla oceny zgodności z AI Act model, z którego Twoja jurysdykcja jest licencyjnie wyłączona, to nie "high risk obsłużone poprawnie". To "niezgodne od dnia zero".

Dla regulowanego MŚP w UE open-weights shortlist w maju 2026 to Qwen i Mistral. Nic więcej.

Drzewo decyzyjne

1. Czy masz siedzibę w UE? Jeśli tak, Llama 4 odpada. Idź dalej.
2. Czy Twoje główne zastosowanie to kodowanie lub praca z narzędziami? Jeśli tak, wybierz dense (Qwen3.6-27B).
3. Czy analizujesz dokumenty dłuższe niż 32 tys. tokenów lub tworzysz pisma wymagające spójności między sekcjami? Jeśli tak, wybierz dense (Qwen3.6-27B).
4. Czy masz 10+ równoległych użytkowników i krótkie prompty (poniżej 8 tys.)? Jeśli tak, wybierz MoE (Qwen3.6-35B-A3B).
5. Czy dostrajasz model na własnych danych? Jeśli tak, wybierz dense (Qwen3.6-27B).
6. Wszystko inne (chatbot, Q&A, krótkie zadania, duży ruch) → MoE (Qwen3.6-35B-A3B).

Mistral Small 4 wchodzi do gry, kiedy wyrośniesz z setupu single-node 48 GB i masz przynajmniej jeden H200 albo parę H100 w air-gap.

Co zweryfikować przed decyzją

1. Licencja vs jurysdykcja. Przeczytaj sam tekst licencji na karcie modelu, nie streszczenie. Zwróć uwagę na progi przychodowe, wyłączenia geograficzne i klauzule downstream-use. Llama 4 to oczywista pułapka.
2. Benchmark na Twoich danych, nie ich. SWE-bench Verified i MMLU są przydatne do rankingu, nie do przewidywania TTFT na Twoim repozytorium. Postaw vLLM z kandydatem, przepuść tydzień realnych promptów, zmierz.
3. Realny test KV cache. "262 tys. natywnego kontekstu" na karcie modelu nie oznacza 262 tys. na Twoim GPU. Zmierz footprint KV cache przy docelowym rozmiarze batcha i długości kontekstu, zanim zwymiarujesz sprzęt.
4. Plan upgrade'u za sześć miesięcy. Qwen wydaje nową generację mniej więcej co kwartał, Mistral co pół roku. Model, który wdrożysz w maju 2026, nie będzie tym, który uruchomisz w maju 2027. Upewnij się, że Twój stack serwujący (vLLM, bramka, schemat logów audytowych) jest agnostyczny modelu.
5. Logowanie zgodności z AI Act od dnia zero. Obowiązki dla systemów wysokiego ryzyka z załącznika III mają się stosować od 2 grudnia 2027 (wcześniej 2 sierpnia 2026), a automatycznie generowane logi takiego systemu mają być przechowywane co najmniej sześć miesięcy (art. 19 ust. 1 dla dostawców, art. 26 ust. 6 dla wdrażających). Zbuduj schemat logów zanim zbudujesz produkt.

Zamknięcie

Pytanie 2026 nie brzmi "dense czy MoE w abstrakcji". Brzmi: biorąc pod uwagę Twój budżet sprzętowy, Twoich równoległych użytkowników, Twoją długość kontekstu i Twoją jurysdykcję w UE, który model open-weight przeżyje zarówno rachunek za GPU, jak i audytora?

Dla większości regulowanych polskich MŚP w maju 2026 odpowiedź brzmi: Qwen3.6-27B dense do kodowania, długich dokumentów i pracy solo albo w małym zespole. Qwen3.6-35B-A3B MoE do wewnętrznych portali z krótkimi promptami i wieloma użytkownikami. Mistral Small 4 kiedy wyrośniesz w sprzęt klasy datacenter. Llama 4 jest poza stołem dla kupujących w UE.

Szerszy argument za trzymaniem wag na własnym serwerze żyje w Suwerenny AI - dlaczego teraz. Jeśli właśnie masz podpisać zamówienie na węzeł GPU i chcesz second opinion zanim to zrobisz, pogadajmy.