add nl260

yuji96 · Sep 10, 2024 · 0b48213 · 0b48213
1 parent 8128add
commit 0b48213
Show file tree

Hide file tree

Showing 6 changed files with 87 additions and 0 deletions.
diff --git a/_posts/blog/2024-07-05-NL260.md b/_posts/blog/2024-07-05-NL260.md
@@ -0,0 +1,87 @@
+---
+categories:
+  - blog
+date: 2024-09-10 00:00:00 +0900
+math: true
+tags:
+  - NLP
+title: NL260 参加記
+parse_block_html: true
+published: true
+---
+
+YANS (9/5-7) が終わったことだし NL 研 (6/28-29) の参加記でも書きますか（！？）
+
+## 参加経緯
+
+NLP2024@神戸 は研究がまとまらなかったので聴講参加だったのだが、同期や後輩がわいわいしているのを見て NLPer を名乗れない気持ちになり、修士課程で学会発表はやっておかねばという焦りが少しあった。スモールスタートしていたことがとりあえず良い感じの結果が得られて、発表できそうだなというタイミングに NL260 があったので投稿した。
+
+## 内容
+
+> 時間が経ってしまいって記憶が曖昧なので、抽象的かつ短めで恐縮  
+> （時間が経ってなければ書けるわけでもないんですが）
+
+### Mamba ブロックが帰納ヘッドタスクを実行するメカニズム
+
+◯ 山本 悠士 (東京理科大学), 松崎 拓也 (東京理科大学)
+
+僕がトップバッターだったんですよね。発表内容は後で書く（かも）。
+Dory の方で「100M tokens で induction heads task (文中の bi-gram を記憶して想起するタスク) を実行できたとしても、記憶すべきトークンがかなり後ろの方に置かれていたら、記憶を維持する距離は 50 tokens くらいだけなのではないか」というニュアンスの指摘を頂いた。
+確かに自分が設計しなおした induction heads task は「トークン列を読みながら記憶を更新できる能力」を測っているのであって「遠距離にあるトークンをモデルが記憶し続ける能力」は測れていない。（元の induction heads task では後者の能力を測れる代わりに前者の能力は測れない）。
+記憶を更新できれば正解というタスクの下では、過去を捨てて直近の文脈だけ記憶することが正義になってしまう。更新能力と記憶の長さを同時に測るタスク設計はめちゃむずそう。
+
+### Intermediate Direct Preference Optimization
+
+小島 淳嗣 (マネーフォワード)
+
+モデルのどのへんの層に preference というものがあるのか気になった。
+
+### 言語進化の構成論：人間の言語に特有の性質はいかに生じるか
+
+橋本 敬 (北陸先端科学技術大学院大学)
+
+言語は何世代も受け継がれた結果、今の形（語彙少、組み合わせ多）になったという発想がなかった。  
+ふと思ったけど、組み合わさった語であるパーソナル・コンピュータが１単語のパソコンという言葉になる現象は時代の流れとは逆だけどなんと捉えれば良いのだろうか。
+
+### 大規模言語モデルの音声タスクへの応用と分析
+
+水本 智也 (SB Intuitions 株式会社), 山崎 天 (SB Intuitions 株式会社), 李 凌寒 (SB Intuitions 株式会社), 吉川 克正 (SB Intuitions 株式会社)
+
+ベースモデルが学習した言語によって得意不得意があるのが面白かった。アブラハムという人名を音声認識させると油ハムになっちゃうとか。一見、言語モデルの影響を強く受けているように見えるが、「油ハム」より「アブラハム」の方が言語モデル的にも自然なのではないか？むしろ音声モデルがなんかやらかしているような。
+
+### RECORD TWIN: 病歴を保ちつつ表現が異なる症例の生成
+
+◯ 清水 聖司 (奈良先端科学技術大学院大学), 矢田 竣太郎 (奈良先端科学技術大学院大学), 若宮 翔子 (奈良先端科学技術大学院大学), 荒牧 英治 (奈良先端科学技術大学院大学)
+
+プライバシー保護のために病院に行って作業しないといけないなど、生データの扱いが大変そうだった。
+
+### 類似性と多様性を同時に考慮する少数事例選択 -市況コメント生成タスクにおける実証分析-
+
+川原田 将之 (産業技術総合研究所), 石垣 達也 (産業技術総合研究所), 高村 大也 (産業技術総合研究所)
+
+YANS2023 (去年) のハッカソンで最近傍を few shots にすると、面白くない出力ばかり得られたという経験があったので、どうすれば回避できるのか気になっていた。
+
+## 感想
+
+大人数の学会では自分で聴きに行く発表を選ぶが、NL 研では並列数が１なので、自然言語処理全体の話を好みバイアスに依存せずに触れられるというのが良かった。
+
+大学への参加費立替の関係で、一回分の参加費しか払わなかったけど、論文が有料（優良）なので NL 会員になるのもありだったなという気持ち。
+
+## 散歩
+
+エモい道（主計町茶屋街）
+
+![alter text](/assets/img/posts/NL260/michi.png)
+
+高いお抹茶（兼六園）
+
+![alt text](/assets/img/posts/NL260/macha.png)
+
+毎日ラーメン食べてた（晴れのち時雨）
+
+![alt text](/assets/img/posts/NL260/ramen.png)
+
+金沢最後のご飯（[OinkOink](https://maps.app.goo.gl/HxhjBZ52TuRV7WZ9A)）
+
+![alt text](/assets/img/posts/NL260/wine.png)
+![alt text](/assets/img/posts/NL260/niku.png)
diff --git a/assets/img/posts/NL260/macha.png b/assets/img/posts/NL260/macha.png
diff --git a/assets/img/posts/NL260/michi.png b/assets/img/posts/NL260/michi.png
diff --git a/assets/img/posts/NL260/niku.png b/assets/img/posts/NL260/niku.png
diff --git a/assets/img/posts/NL260/ramen.png b/assets/img/posts/NL260/ramen.png
diff --git a/assets/img/posts/NL260/wine.png b/assets/img/posts/NL260/wine.png