Skip to content

Commit

Permalink
fix
Browse files Browse the repository at this point in the history
  • Loading branch information
yuji96 committed Jan 25, 2024
1 parent 3497f10 commit 17be517
Showing 1 changed file with 1 addition and 1 deletion.
2 changes: 1 addition & 1 deletion _posts/memo/2024-01-25-ICLR2024.md
Original file line number Diff line number Diff line change
Expand Up @@ -160,7 +160,7 @@ published: true
- モデルが突然 SAS を獲得し、損失が急激に減少する、事前学習中の短いウィンドウを特定する。このブレークスルーが、その後の言語能力の獲得を促進する。
- 訓練中に SAS を操作することで、SAS の因果的役割を調べ、SAS が文法能力の発達に必要であることを示す。
- SAS は訓練中に他の有益な特性と競合し、SAS を短期間抑制することでモデルの質が向上することを見出した。
-[induction heads](https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html) の話と同じすぎないか?」
-[induction heads](https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html) の話とかなり似ている?」

## 状態空間モデル系

Expand Down

0 comments on commit 17be517

Please sign in to comment.