From 17be5179b3a69be517c919ed8a1e80304611ca94 Mon Sep 17 00:00:00 2001 From: yuji96 Date: Thu, 25 Jan 2024 18:17:32 +0900 Subject: [PATCH] fix --- _posts/memo/2024-01-25-ICLR2024.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/_posts/memo/2024-01-25-ICLR2024.md b/_posts/memo/2024-01-25-ICLR2024.md index 1c99029344d..131e96059ff 100644 --- a/_posts/memo/2024-01-25-ICLR2024.md +++ b/_posts/memo/2024-01-25-ICLR2024.md @@ -160,7 +160,7 @@ published: true - モデルが突然 SAS を獲得し、損失が急激に減少する、事前学習中の短いウィンドウを特定する。このブレークスルーが、その後の言語能力の獲得を促進する。 - 訓練中に SAS を操作することで、SAS の因果的役割を調べ、SAS が文法能力の発達に必要であることを示す。 - SAS は訓練中に他の有益な特性と競合し、SAS を短期間抑制することでモデルの質が向上することを見出した。 - - 「[induction heads](https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html) の話と同じすぎないか？」 + - 「[induction heads](https://transformer-circuits.pub/2022/in-context-learning-and-induction-heads/index.html) の話とかなり似ている？」 ## 状態空間モデル系