BezChmury launch:
6 miesięcy, 11B parametrów, local-first

Z sali weselnej do AI compliance

BezChmury nie zaczęło się od pomysłu na startup AI. Zaczęło się od pytań, które zaczęły padać przy stoliku, gdzie zwykle rozmawialiśmy o liczbie krzeseł na sali weselnej.

Przez kilka lat prowadziłem SEO dla Villa Mammy - sali weselnej w Nadarzynie pod Warszawą. To był dobry biznes: lokalny, mocno polski, z bardzo konkretnymi klientami. W kręgu rodzinnym i klienckim Villa Mammy było kilkoro księgowych. Pod koniec 2024 roku zaczęli zadawać pytania, które brzmiały coraz częściej tak samo: „Słuchaj, a Wy używacie tego ChataGPT? Dałbyś mu naszą pełną rozliczeniówkę?”. Albo: „Czy ja mogę wkleić tam JPK_V7M? Dane klienta? Dane mojego klienta?”.

Pierwsze testy ChatGPT-4 z polskimi fakturami dały trzy rzeczy. Po pierwsze - halucynacje. Model był pewny, że KSeF działa od 2024 roku, podczas gdy w rzeczywistości obowiązkowy KSeF został przesunięty harmonogramem etapowym (duzi podatnicy 1 lutego 2026, małe podmioty od 1 kwietnia 2026). Po drugie - brak wiedzy o FA(3), najnowszej strukturze logicznej e-Faktury obowiązującej w 2026 roku. Po trzecie - najgorsze: każde pytanie z konkretnym NIP-em klienta to był transfer danych do serwerów OpenAI w USA.

Schrems II z 2020 roku unieważnił Privacy Shield. Data Privacy Framework z 2023 roku to częściowo go zastąpił, ale nie wszyscy główni dostawcy są w nim potwierdzeni jako certyfikowani - na 1 maja 2026 roku status OpenAI i Anthropic w DPF wymaga weryfikacji per provider. To znaczy, że w najgorszym scenariuszu polski księgowy wysyłał do amerykańskiego centrum danych dane klienta, których w ogóle nie miał prawa nikomu pokazać.

W Q4 2024 i Q1 2025 zacząłem szukać polskich modeli językowych. Patrzyłem na PLLuM (projekt zakończony 31 grudnia 2024 - model dostępny, ale roadmap zamknięty), na Trurl (good, ale nie dla naszych use case), i wreszcie na rodzinę Bielik ze SpeakLeash. BezChmury 11B wyglądał na coś zupełnie innego niż reszta: open-weights, polski tokenizer, polski zespół, polskie dane treningowe. Decyzja nie była nawet trudna - pytanie brzmiało nie „czy budować na BezChmury 11B”, tylko „jak szybko zacząć”.

Sześć miesięcy treningu na 2× RTX 5090

Świadomie nie wrzucam tu wykresów loss / wykresów eval / liczb procentowych z benchmarków. Powód jest prosty - dla rodziny BezChmury 11B v3 nie znalazłem publicznie potwierdzonego zestawu standardowych benchmarków, którymi mógłbym rzetelnie porównać moją wersję dotreningowaną do baseline'u. Zamiast wymyślać liczby, opisuję metodologię. Chętnym pokażę pełne raporty pod NDA.

Stage 1 - mega 2B warm-up (Q4 2025)

BezChmury 11B bazowo trenowany jest na ogólnym polskim. My dokładamy bardzo wąską, domenową wiedzę: KSeF, ZUS, VAT, JPK, RODO, kodeksy. Jeśli wjedziemy w model agresywnym SFT bez warm-up, ryzykujemy catastrophic forgetting - model „zapomni” podstawowy polski, żeby zrobić miejsce dla nowej wiedzy.

Stage 1 to delikatne LoRA z parametrami: LR 1.0–1.2e-5, LoRA r=32, krótki przebieg. Zadanie: nauczyć model „klimatu” domeny BezChmury bez ruszania bazowych wag.

Stage 2 - supervised fine-tuning (Q1 2026)

Pełny SFT na 41 016 parach treningowych. Dataset zbudowany ręcznie + półautomatycznie z trzech źródeł: oficjalna dokumentacja KSeF/ZUS/VAT, własny korpus pytań od księgowych (Villa Mamma + sieć), oraz syntetyczne wzbogacenia generowane przez większe modele z weryfikacją po polsku.

Parametry Stage 2: LR 3.0–3.5e-6, 1 epoka, sekwencja długa (chunking + multi-chunk + hierarchia + map-reduce + explicit uncertainty). Eksperyment canary A/B: dwa LR-y jednocześnie na dwóch GPU, 7B Mini i 11B v3 obok siebie - dwa razy szybciej niż sekwencyjnie.

Stage 2.5 - anti-forgetting

Krótki pass z LR 1.0e-6, replay generalnej wiedzy polskiej (90% PL / 10% EN). Cel: gdy SFT okaże się zbyt agresywny, ten etap przywraca część bazowej wiedzy bez psucia świeżych umiejętności. Insurance przeciw catastrophic forgetting.

Stage 2.6 - targeted microfact pack (Q2 2026)

Pakiet 2 000 par podzielony na 5 bloków: (1) IKE/IKZE anti-stale - naprawia stałe halucynacje na limitach; (2) fresh facts top fails - najczęstsze błędy z eval probe; (3) no-EN - twardo blokuje EN „leak” w odpowiedziach po polsku; (4) long-context PL grounding - pełne polskie konteksty; (5) retention - zabezpieczenie wcześniejszych etapów.

Parametry: LR 6e-7 (11B) / LR 8e-7 (Mini), 1 epoka. Powód, dla którego ten etap musiał się pojawić - wcześniejsze próby Stage 3 DPO dały regresję (Mini EN-leak: 12 → 21 GORZEJ). DPO uczy preferencji, nie wbija liczb. Mikrofakty wymagają SFT.

Stage 3 - DPO (opcjonalny, lekki)

Direct Preference Optimization, parametry LR 5e-7, beta 0.1. Dla v3 jest to etap opcjonalny i lekki - SpeakLeash już zrobił po swojej stronie DPO-P (114k par) i GRPO (143k par), więc nie dublujemy ich pracy. Robimy tylko domenowe „dopieszczenie” na ~1,5–3k par BezChmury.

Hardware i thermal

Trenujemy na dwóch RTX 5090. Tj Max chipa to 90°C, soft throttle rozpoczyna się przy ~87–88°C - i to są realne liczby, nie 83°C jak na starszych GPU. Power asymetryczny: 500W na GPU 0 i 550W na GPU 1 (GPU 0 historycznie ma gorszą termikę, dochodziło do 92°C peak).

Najtańszy thermal upgrade całego setupu to nie była dodatkowa karta, tylko Vornado #1 jako intake. Wpięty pod biurko jako wymuszony chłodny powiew dał nam −13°C przy jednoczesnym +25% power budget. Plan na lato 2026: drugie Vornado i klimatyzacja Cool 16°C → docelowo 575W/575W.

Każda zmiana w środowisku PC robiona jest na żywo - bez restartu maszyny. Powód praktyczny: 8× 32 GB DDR5 to zestaw memory training-friendly, ale wyjmowanie kości po reboocie potrafi zająć godziny. systemctl reload > restart każdego dnia.

Co dalej - Q2–Q4 2026

Roadmap jest świadomie ostrożny. Wpisuję tylko to, co umiem już dziś technicznie zrealizować - żadnych „nice to have” bez pokrycia w kodzie.

Q2 2026 - pricing public + 100 betatesterów

Cztery pakiety wchodzą publicznie: KSeF Lite (1 490 zł), KSeF Private (4 990 zł), Księgowy Private (9 990 zł), RODO Pro Bundle (14 900 zł). Update Packs roczne 990–5 990 zł. Wariant Enterprise on-prem od 49 900 zł (custom scoping pod NDA). Program Beta - 100 miejsc: 30 dni darmowego trialu KSeF Private, onboarding 1:1 ze mną, wpływ na priorytety roadmap Q3.

Q3 2026 - BezChmury Mobile (Bielik Minitron 7.35B)

Wariant Bielik-PL-Minitron-7B-v3.0-Instruct (-33,4% vs 11B) jako baza dla wersji mobilnej. Target: starsze laptopy 8–12 GB RAM. Use case: quick lookup poza biurem (kontrola w terenie, telefon do klienta z windą, szybkie sprawdzenie kodu KSeF na komórce po Wi-Fi do laptopa).

Q4 2026 - BezChmury Pro 11B v3.1

Plan zakłada update do BezChmury 11B v3.1, gdy taka wersja zostanie wydana przez SpeakLeash (data nieznana, śledzimy bielik-papers). Update pack roczny dla obecnych klientów Pro: nowy SSoT (zmiany VAT, nowe kody błędów), nowe weights jeśli baseline się zmieni. Roadmap explicit „NOT committed” - decyzja zapadnie research-driven, nie by date.

2027 i dalej

ISO 27001 - droga zaplanowana, certyfikacja w toku w 2027. Enterprise on-prem multi-tenant - wdrożenia dla większych podmiotów (sieci kancelarii, duże biura rachunkowe 10+ pracowników). EN locale - wsparcie języka angielskiego w UI dla polskich firm z międzynarodowymi klientami. Wszystko to są kierunki, nie obietnice.