Przejdź do treści
ecbyts

← Wszystkie aktualności

Inżynieria

Jak ecbyts tworzy własny model językowy ECBT

Szacowany czas czytania: 4 min

  • Przewodnik

Kompaktowy model PyTorch ECBT rozdziela w podwójnym torze interpretację tekstu, ścisłe obliczenia narzędzi i luki danych bez wymyślania liczb.

Jak ecbyts tworzy własny model językowy ECBT: okładka z ikonami sztucznej inteligencji, danych, reguł i analizy technicznej.

Ogólne modele językowe generują gładkie opisy, ale zawodzą w trzech punktach kluczowych dla inżynierii środowiska: zgadują wartości pośrednie w bilansach masy, pomijają brakujące kampanie pomiarowe i wymagają wysyłania poufnych plików na zewnętrzne serwery. Od lipca 2026 roku ecbyts rozwija w czystym PyTorch własny model ECBT pod bliźniaki cyfrowe i hydrogeologię.

Dlaczego dane środowiskowe potrzebują własnego modelu językowego

Przy analizie wieloletnich serii z dziesiątków otworów łączących mg/L oraz m3/d zwykłe czaty mieszają jednostki i uzupełniają puste miejsca statystycznym prawdopodobieństwem tekstu. Bez bezpośredniego przypięcia do pomiaru każda wygenerowana liczba traci wiarygodność techniczną.

Drugą barierą jest pamięć sprzętu i pochodzenie danych. Wielkie modele otwarte wymagają wieloprocesorowych klastrów GPU, a biurowe stacje mają mało pamięci VRAM. Brak własnego stosu uniemożliwia także audyt licencji danych, maskowanie danych osobowych i ochronę zbioru testowego przed przeciekiem.

Jak ecbyts to rozwiązuje

Jak ecbyts tworzy własny model językowy ECBT: Rdzeń PyTorch i podwójny tor rozdzielają analizę tekstu od ścisłych obliczeń danych.

W ponad 2 100 commitach inżynierskich repozytorium ECBT bada architekturę hybrydową łączącą GatedMLA i liniową uwagę rekurencyjną KDA z routingiem Mixture-of-Experts (MoE), skalowaniem YaRN oraz predykcją wielotokenową (MTP). Praktycznie zespół skupił się na kompaktowych wariantach: ~394M modelu `student`, gęstym profilu 206,2M oraz teście `tiny` o skali 274K.

Podstawą jest Podwójny Tor rozdzielający wagi neuronowe (Kolumna A) od deterministycznej warstwy systemowej (Kolumna B). Model rozpoznaje intencję, odczytuje bloki `[Fonte N]`, wskazuje braki i proponuje wywołania JSON. Przeliczanie jednostek, ładunek dobowy (`C x Q / 1000`) i limity prawne liczy wyłącznie deterministyczny backend, dlatego model nigdy nie jest źródłem prawdy rachunkowej.

Pomiary własnym tokenizerem wykazały, że prosta reguła `znaki/4` zaniża objętość techniczną nawet o 23,39%, dlatego wprowadzono dzielenie cyfra po cyfrze. Każdy podzbiór przechodzi kontrolę licencji, izolację 21 196 rekordów testowych (9,77%) oraz automatyczne maskowanie danych (`[CPF_1]`, `[EMAIL_1]`, `[TEL_1]`).

W praktyce

16 listopada 2026 roku, po poprawieniu dwukrokowego przesunięcia etykiet w pętli treningu i usunięciu powtarzalnych szablonów dostrajania, gęsta ścieżka od zera o skali 206,16M parametrów zakończyła sondę 4 850 kroków na 1,271 mld tokenów. Strata BPB spadła stabilnie z 2,8395 na starcie do 1,7229 przy 500M, 1,6142 przy 1B oraz 1,4871 przy 1,271 mld tokenów, dowodząc realnego uczenia języka, natomiast czysty test 3-shot bez dostrojenia uzyskał 0,25% (1/400) z powodu pętli powtórzeń typowych poniżej 3 do 4 mld tokenów.

Na podstawie tej jawnej diagnozy dwujęzyczna kuracja (portugalski i angielski) poszerza zbiór z 1,8 do 4,5 mld tokenów edukacyjnych (2,7 mld nowych tokenów z sumami SHA-256 i ochroną pamięci `resource_guard`) przed pełnym uczeniem wstępnym i zróżnicowanym dostrajaniem na 6 000 przykładów.

Testy na punkcie kontrolnym `v4d` (393,6M parametrów) obrazują zysk podwójnego toru. W zestawie 400 zadań odizolowanych czyste wagi wzrosły z 9,0% do 21,75% (87/400), a pełny system deterministyczny (Kolumna B) osiągnął 59,50% (238/400). Na świeżym podziale 96 zadań czyste wagi dały 22,92% (poniżej celu 35%), lecz Kolumna B podniosła wynik do 56,25%, osiągając 12/12 w kalibracji luk i 12/12 w tłumaczeniu technicznym.

W trybie publicznym serwer nie wstaje bez poświadczeń, zapisuje klucze jako SHA-256, blokuje otwarty CORS i ładuje wagi z `weights_only=True`. Na dedykowanej karcie serwerowej `bf16` środowisko zmierzyło 129,0 tokenów/s podczas dekodowania.

Czym ta funkcja nie jest

  • Gęsta ścieżka od zera 206,2M jest we wczesnej skali: przy 1,271 mld tokenów BPB spadło do 1,4871, jednak czysty test 3-shot wyniósł 0,25% (poniżej progu 28% i BPB do 1,14) przez powtórzenia, dlatego do ukończenia cyklu 4,5 mld tokenów i dostrojenia model nie działa jako publiczny czat sekwencyjny.
  • Same wagi neuronowe (22,92% na świeżym zestawie) nie pracują samodzielnie bez warstwy deterministycznych narzędzi i źródeł.
  • Żadna odpowiedź modelu nie zastępuje poboru prób w terenie, akredytowanych badań laboratoryjnych, symulacji fizycznych ani podpisu osoby uprawnionej pod Pieczęcią ECBYTS.
  • Zmierzone 129,0 tokenów/s obowiązują wyłącznie w zadeklarowanym kontrakcie GPU i `bf16`, nie na laptopach z 4 GB VRAM.

Jak ćwiczyć

Więcej o zakotwiczeniu AI w faktach znajdziesz w artykułach deterministyczny bliźniak cyfrowy i AI oraz Pieczęć ECBYTS w raportach AI. Sprawdź ecbyts lub napisz przez stronę kontaktu.

← Wszystkie aktualności