ecbyts独自の言語モデルECBT開発
読了目安:1分
- ガイド
- 音声
PyTorch基盤と決定的二重トラックにより、小型ECBTモデルは言語推論と厳密計算および欠損検出を分離します。
汎用チャットAIは滑らかな文章を作る一方で、環境工学では三つの重大な弱点を抱えます。物質収支や希釈計算で中間値を推測すること、調査の欠損を見落とすこと、そして機密性の高い計測データを外部サーバーへ送信する必要があることです。ecbytsは2026年7月からデジタルツインと水理地質に特化した独自モデルECBTをPyTorchで開発しています。
環境工学に独自言語モデルが必要な理由
数十本の観測井と複数回の調査データを横断し、mg/Lやm3/dを扱う実務では、一般的なモデルが単位系を混同し、欠測値を文章の確率で補ってしまいます。元の測定値への追跡線が切れた瞬間、算出数値は技術的根拠を失います。
計算資源とデータ来歴の管理も壁になります。巨大な公開モデルは複数GPUのクラウド環境を要し、通常の業務PCのメモリには収まりません。外部API任せでは学習ライセンス監査や個人情報保護、評価データの漏洩防止を自社で担保できません。
ecbyts による解決方法

2,100件超の開発コミットを重ねたECBTリポジトリでは、圧縮潜在注意(GatedMLA)と線形再帰注意(KDA)を組み合わせたハイブリッド注意機構に、MoEルーティング、YaRN位置拡張、マルチトークン予測(MTP)を検証しています。製品実装では実用性を重視し、約3.94億パラメータのstudent系列や2.062億パラメータの密モデル系統に加え、CI検証用の極小27.4万プロファイルを整備しました。
中核設計はニューラル重み(トラックA)と決定的システム層(トラックB)を分ける二重トラック構造です。モデルは意図を解釈し、構造化ブロックを読み取り、明示されたデータ欠損を拾って型付きJSONツール呼び出しを提案します。単位換算や日負荷量計算(C x Q / 1000)、基準値照合は必ず決定的なバックエンドが実行し、モデル自身が計算の真値になることはありません。
独自トークナイザの実測では、単純な4文字換算がポルトガル語技術文書で最大23.39%もトークン数を過小評価すると判明したため、数値の一桁分割を採用しました。さらに学習データごとのライセンス監査、21,196件の評価データ分離(9.77%)、個人情報タグ化(`[CPF_1]`等)を徹底しています。
実際の例
2026年11月16日、学習ラベルの2ステップずれと反復的な微調整テンプレートを修正した後、ゼロから学習する2.0616億パラメータ密モデルは4,850ステップ(12.71億トークン)の事前学習プローブを完了しました。BPB損失は初期値2.8395から5億時点で1.7229、10億時点で1.6142、12.71億時点で1.4871へと一貫して低下し言語獲得を示した一方、微調整なしの3-shot試験は反復ループにより0.25%(400問中1問)に留まりました。
この公開計測を踏まえ、英語・ポルトガル語のバイリンガル教育コーパスを既存18億トークンに27億トークン加えた45億規模へ拡張中であり(SHA-256検証と`resource_guard`保護付き)、完了後に本格事前学習と多様な6,000例による微調整へ進みます。
3.936億パラメータの`v4d`チェックポイント評価では効果が明確に出ました。400件の分離検証で重み単体は9.0%から21.75%(87/400)へ改善し、決定的層を組み合わせたトラックBは59.50%(238/400)へ到達しました。8分野96件の未見スプリットでも、重み単体は22.92%(単体基準35%未満)だった一方、トラックBは56.25%を記録し、欠損較正12/12と技術翻訳12/12を達成しています。
公開APIモードではクレデンシャル未設定時に起動を拒否し、鍵はSHA-256ハッシュのみ保存、ワイルドカードCORSを禁止して`weights_only=True`で安全に読み込みます。専用GPU(`bf16`)契約下の製品ランタイム測定では毎秒129.0トークンの生成速度を確認しました。
この機能で扱わないこと
- ゼロ学習の2.062億密モデルは初期段階にあり、12.71億トークンでBPBは1.4871へ下がったものの3-shot試験が0.25%(目標28%かつBPB 1.14未満に未達)で反復ループが残るため、45億トークン学習と微調整の完了前は連続対話チャットとして公開しません。
- 重み単体(未見22.92%)だけで技術判断を出力する運用は行わず、決定的計算層と出典ブロックの併用を必須としています。
- いかなる出力も現地サンプリング、専門試験機関の分析結果、物理シミュレータ、およびECBYTSシール下の技術者署名に代わるものではありません。
- 毎秒129.0トークンの測定値は明示されたGPU・bf16契約下での記録であり、4GB VRAMの一般PCには当てはまりません。
実践する方法
決定論的モデルとAIの連携は決定論的デジタルツインとAIおよびAI報告におけるECBYTSシールで詳述しています。ecbyts本体やお問い合わせページもご覧ください。