ecbyts 자체 언어 모델 ECBT 개발 과정
예상 읽기 시간: 4분
- 가이드
- 오디오
PyTorch 코어와 결정론적 이중 트랙으로 구축한 경량 ECBT 모델은 언어 추론, 도구 정밀 계산, 근거 공백을 분리해 수치를 지어내지 않습니다.
범용 언어 모델은 문장을 유려하게 쓰지만 환경 공학의 세 가지 핵심 요건에서 한계를 드러냅니다. 오염 부하량이나 희석 계산을 추측으로 채우고, 시료 공백을 무시하며, 민감한 현장 데이터를 외부 서버로 전송해야 합니다. ecbyts는 2026년 7월부터 디지털 트윈과 수리지질 워크플로우에 맞춰 순수 PyTorch 기반 ECBT 모델을 자체 개발하고 있습니다.
환경 공학에 자체 언어 모델이 필요한 이유
수십 개 관정에서 mg/L 농도와 m3/d 유량이 섞인 장기 모니터링 자료를 해석할 때 범용 챗봇은 단위 기준을 혼동하고 미측정 구간을 언어 확률로 메웁니다. 원시 측정값과의 연결이 끊기면 생성된 수치는 기술적 타당성을 잃습니다.
연산 자원과 데이터 이력 통제도 과제입니다. 초대형 공개 모델은 다중 GPU 클러스터가 필요해 일반 업무용 장비의 메모리 한계를 넘습니다. 외부 API에 의존하면 학습 라이선스 검증, 개인정보 마스킹, 평가 데이터 유출 방지를 직접 보증하기 어렵습니다.
ecbyts의 해결 방식

2,100건 이상의 엔지니어링 커밋을 거친 ECBT 저장소는 압축 잠재 어텐션(GatedMLA)과 선형 순환 어텐션(KDA)을 결합하고, 전문가 혼합(MoE), YaRN 위치 확장, 다중 토큰 예측(MTP)을 연구합니다. 제품 배포에서는 약 3억 9,400만 파라미터 `student` 모델과 2억 620만 밀집 경로, 연속 검증용 274K `tiny` 구성을 우선합니다.
설계 핵심은 신경망 가중치(트랙 A)와 결정론적 시스템 계층(트랙 B)을 나눈 이중 트랙입니다. 모델은 질의를 해석하고 `[Fonte N]` 구조화 블록을 읽어 선언된 공백을 짚어내며 정형 JSON 도구 호출을 제안합니다. 단위 변환, 일일 부하량(`C x Q / 1000`), 기준치 비교는 백엔드 결정론적 코드만 수행해 모델이 계산의 진실 원천이 되지 않도록 막습니다.
자체 토크나이저 실측 결과 단순 `글자수/4` 추정이 포르투갈어 기술 문서에서 토큰 수를 최대 23.39% 과소평가함이 확인되어 숫자 한 자리 단위 분할을 적용했습니다. 모든 데이터는 서브셋별 라이선스 심사, 21,196개 분리 검증 항목(9.77%), 개인정보 자동 치환(`[CPF_1]`, `[EMAIL_1]`, `[TEL_1]`)을 통과합니다.
실제 적용
2026년 11월 16일, 학습 레이블의 2단계 이동 버그를 수정하고 반복적인 미세조정 템플릿을 제거한 뒤, 처음부터 학습하는 2억 616만 파라미터 밀집 트랙이 4,850스텝(12억 7,100만 토큰) 사전학습 탐색을 마쳤습니다. BPB 손실은 초기 2.8395에서 5억 시점 1.7229, 10억 시점 1.6142, 12.71억 시점 1.4871로 꾸준히 감소해 실질적인 언어 학습을 입증했으나, 미세조정 없는 3-shot 평가는 30억~40억 토큰 미만에 흔한 반복 루프 때문에 0.25%(400문항 중 1개)에 머물렀습니다.
이 공개 진단 결과를 바탕으로 포르투갈어·영어 이중언어 교육 코퍼스를 기존 18억 토큰에서 45억 토큰(신규 27억 토큰 추가, SHA-256 무결성 검증 및 `resource_guard` 메모리 보호 포함)으로 확장한 뒤, 본격 사전학습과 6,000건 다양화 미세조정을 진행합니다.
3억 9,360만 파라미터 `v4d` 체크포인트 평가에서 효과가 수치로 확인됐습니다. 400개 분리 평가 문항에서 순수 가중치는 9.0% 기준선에서 21.75%(87/400)로 올랐고, 결정론적 계층을 결합한 트랙 B는 59.50%(238/400)를 기록했습니다. 8개 분야 96개 신규 문항에서도 순수 가중치는 22.92%(단독 목표 35% 미만)였으나 트랙 B는 56.25%로 올랐고 공백 보정 12/12와 기술 번역 12/12를 달성했습니다.
공개 모드(`ECBT_MODE=public`)는 키가 없으면 기동을 차단하고 SHA-256 해시만 보관하며, 와일드카드 CORS 금지 및 `weights_only=True` 로드를 강제합니다. 전용 서버 GPU(`bf16`) 계약 기준 런타임 디코딩 속도는 초당 129.0토큰으로 측정됐습니다.
이 기능이 다루지 않는 것
- 2억 620만 밀집 초기 학습 트랙은 아직 초기 단계로, 12.71억 토큰 탐색에서 BPB는 1.4871까지 내려갔지만 3-shot 점수는 0.25%(기준 28% 및 BPB 1.14 이하 미달)와 반복 루프를 보여 45억 토큰 본학습 및 미세조정 완료 전까지 연속 대화 챗봇으로 공개하지 않습니다.
- 단독 신경망 가중치(신규 분할 22.92%)만으로 공학적 수치를 출력하지 않으며 결정론적 계산과 출처 블록이 필수입니다.
- 어떠한 모델 응답도 현장 시료 채취, 공인 시험 성적서, 물리 시뮬레이터 또는 ECBYTS 인장 아래 기술 책임자 서명을 대신하지 않습니다.
- 초당 129.0토큰 수치는 명시된 GPU·`bf16` 서버 계약 조건에서만 유효하며 4GB VRAM 노트북에는 적용되지 않습니다.
연습 방법
결정론적 시스템과 AI의 결합은 결정론적 디지털 트윈과 AI 및 AI 보고서용 ECBYTS 인장에서 더 볼 수 있습니다. ecbyts 또는 문의 페이지로 연결됩니다.