| --- |
| license: apache-2.0 |
| language: |
| - en |
| pipeline_tag: fill-mask |
| tags: |
| - code |
| --- |
| # Shuu12121/CodeDiff-Owl-ModernBERT-base |
|
|
| ## モデル概要 |
|
|
| **CodeDiff-Owl-ModernBERT-base** は、GitHub の **コード差分（diff）とコミットメッセージ** を対象にマスク化言語モデル (MLM) で学習した、**diff・コミット履歴特化の ModernBERT 系モデル** です。 |
|
|
| * ベースモデル: `ModernBERT` |
| * 事前学習タスク: マスク化言語モデル (Masked Language Modeling; MLM) |
| * 入力フォーマット: |
| `"[CLS]" + commit_message + "[SEP]" + diff` |
| * 対象言語: |
| diff 内のコードとして **Python / Java / JavaScript / Rust** を含むリポジトリ |
|
|
| コミットメッセージと diff を同時にエンコードすることで、**「どのような変更(diff)に対して、どのような説明(コミットメッセージ)が付くか」** という対応関係を捉えることを目的としています。 |
| 今後、学習を継続した「完全版」を公開予定です（本モデルは 1.8 epoch 時点の途中版です）。 |
|
|
| --- |
|
|
| ## 想定される用途 |
|
|
| ### 主なユースケース |
|
|
| * コード変更差分に対する意味的検索 |
|
|
| * 例: 「バグ修正」「ログ出力の追加」などの自然言語・疑似クエリと diff の類似度計算 |
| * コミットメッセージと diff の表現獲得 |
|
|
| * 例: コミットメッセージ・diff の埋め込みベクトルを用いたクラスタリングや可視化 |
| * diff＋コミットメッセージを入力とする下流タスクの初期化 |
|
|
| * コミットメッセージ生成・補完 |
| * コードレビューメモの生成 など |
|
|
| ### 非推奨 / 注意が必要な用途 |
|
|
| * 汎用自然言語モデルとしての利用（一般文書に対する性能は未検証） |
| * セキュリティやライセンス上の判断の自動化（著作権・ライセンス判定など） |
| * 高リスク領域での自動意思決定（法的判断、安全性が重要な場面など） |
|
|
| --- |
|
|
| ## 学習データ |
|
|
| ### データソース |
|
|
| * GitHub 上の公開リポジトリ |
| * GitHub の「言語判定」により **Python / Java / JavaScript / Rust** 含有と判断されたリポジトリを対象 |
| * 各リポジトリから、コミットごとの **diff とコミットメッセージ** を収集 |
| * 各リポジトリあたり最大 **1万件** のコミットを上限としてサンプリング |
| * 収集した diff 全体で、おおよそ **70〜100GB 程度**（テキストベース）の規模 |
|
|
| ### 前処理・フィルタリング |
|
|
| * diff が **32KB を超える場合は途中で打ち切り** |
|
|
| * テキストとして読み取り可能な diff のみを利用 |
|
|
| --- |
|
|
| ## 学習設定 |
|
|
| * 初期化: ModernBERTアーキテクチャをもとにランダムな初期値から学習 |
| * タスク: マスク化言語モデル (MLM) |
| * 入力フォーマット: |
| `"[CLS]" + commit_message + "[SEP]" + diff` |
| ※実装で特別な変更は加えていません |
| * バッチサイズ: **64** |
| * 学習率 (learning rate): **1e-6** |
| * エポック数: **1.8 epoch**（時間制約により途中で打ち切り） |
| * 学習時間: 約 **4日間** |
| * その他: |
|
|
| * モデル構造自体には特別な改変なし |
| * 純粋に MLM のみで学習（コントラスト学習などは未実施） |
|
|
| 今後、同様の設定でもう少し長く学習した「完全版」を公開予定です。 |
|
|
| --- |
|
|
| ## 入力形式と使い方 |
|
|
| ### 入力形式 |
|
|
| * **Segment A (sentence A)**: コミットメッセージ（自然言語） |
| * **Segment B (sentence B)**: 対応する diff テキスト |
|
|
| トークナイザには、以下のように「2つの入力」として与えてください。 |
|
|
| ```python |
| from transformers import AutoTokenizer, AutoModel |
| |
| model_name = "Shuu12121/CodeDiff-Owl-ModernBERT-base" |
| tokenizer = AutoTokenizer.from_pretrained(model_name) |
| model = AutoModel.from_pretrained(model_name) |
| |
| commit_message = "Fix bug in user login flow" |
| diff_text = """ |
| diff --git a/app/auth.py b/app/auth.py |
| index 1234567..89abcde 100644 |
| --- a/app/auth.py |
| +++ b/app/auth.py |
| @@ -10,7 +10,9 @@ def login(user, password): |
| - if user.password == password: |
| - return True |
| - return False |
| + if not user: |
| + return False |
| + return user.check_password(password) |
| """ |
| |
| inputs = tokenizer( |
| commit_message, |
| diff_text, |
| return_tensors="pt", |
| truncation=True, |
| ) |
| |
| outputs = model(**inputs) |
| last_hidden_state = outputs.last_hidden_state # [batch, seq_len, hidden] |
| cls_embedding = last_hidden_state[:, 0] # [CLS] トークンの埋め込み |
| ``` |
|
|
| * `cls_embedding` を **コミット＋diff の表現ベクトル** として検索・クラスタリング等に利用することを想定しています。 |
| * diff が非常に長い場合はモデル側でトークン長に応じて自動的に切り詰められるため、必要に応じて自前で要約・抽出を行ってください。 |
|
|
| --- |
|
|
| ## 評価 |
|
|
| * 本モデルは現時点では **事前学習段階のスナップショット (1.8 epoch)** です。 |
| * 具体的な使用用途については今後検討予定です。 |
|
|
| --- |
|
|
