Skip to content

「大規模言語モデル入門」(2023)と「大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価」(2024)のGitHubリポジトリ

License

Notifications You must be signed in to change notification settings

ghmagazine/llm-book

Repository files navigation

大規模言語モデル入門

大規模言語モデル入門」(2023)と「大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価」(2024)のリポジトリです。

コード

コードはすべて Google Colaboratory で動作確認を行なっています。 コードの中で利用したデータセットや作成したモデルはHugging Face Hubにて公開しています。

⚠️ 2023/7/28 現在、MARC-ja のデータセットの配布元のリンクが切れており、書籍上の 5.2, 5.3, 5.5.4 に掲載されているコードにおいて、データセット読み込みの箇所でエラーが出る状態です。 現在問い合わせのメールを送り、復旧待機中です。

これに応じて、日本語感情分析データセットである WRIME を使用したノートブックを追加致しましたので、コードを動作させたい方はご活用ください。

節/項 Colab Link
第 1 章 はじめに 1.1 transformers を使って自然言語処理を解いてみよう
1.2 transformers の基本的な使い方
Open in Colab Link
第 2 章 Transformer 2.2 エンコーダ Open in Colab Link
第 3 章 大規模言語モデルの基礎 3.2 GPT(デコーダ)
3.3 BERT・RoBERTa(エンコーダ)
3.4 T5(エンコーダ・デコーダ)
Open in Colab Link
3.6 トークナイゼーション Open in Colab Link
第 5 章 大規模言語モデルのファインチューニング 5.2 感情分析モデルの実装 Open in Colab
Open in Colab
Link (MARC-ja)
Link (WRIME)
5.3 感情分析モデルのエラー分析 Open in Colab
Open in Colab
Link (MARC-ja)
Link (WRIME)
5.4.1 自然言語推論の実装(訓練) Open in Colab Link
5.4.1 自然言語推論の実装(分析) Open in Colab Link
5.4.2 意味的類似度計算の実装(訓練) Open in Colab Link
5.4.2 意味的類似度計算の実装(分析) Open in Colab Link
5.4.3 多肢選択式質問応答モデルの実装(訓練) Open in Colab Link
5.4.3 多肢選択式質問応答モデルの実装(分析) Open in Colab Link
5.5.4 LoRA チューニング(感情分析) Open in Colab
Open in Colab
Link (MARC-ja)
Link (WRIME)
第 6 章 固有表現認識 6.2 データセット・前処理・評価指標
6.3 固有表現認識モデルの実装
6.4 アノテーションツールを用いたデータセット構築
Open in Colab Link
第 7 章 要約生成 7.2 データセット
7.3 評価指標
7.4 見出し生成モデルの実装
7.5 多様な生成方法による見出し生成
Open in Colab Link
第 8 章 文埋め込み 8.3 文埋め込みモデルの実装 Open in Colab Link
8.4 最近傍探索ライブラリ Faiss を使った検索 Open in Colab Link
第 9 章 質問応答 9.3 ChatGPT にクイズを答えさせる Open in Colab Link
9.4.3 BPR の実装 Open in Colab Link
9.4.4 BPR によるパッセージの埋め込みの計算 Open in Colab Link
9.5 文書検索モデルと ChatGPT を組み合わせる Open in Colab Link
第 10 章 性能評価 10.2.2 llm-jp-evalで扱うタスク Open in Colab Link
10.2.3 llm-jp-evalで使用される評価指標 Open in Colab Link
10.2.4 多肢選択式質問応答タスクによる自動評価 Open in Colab Link
10.2.4 多肢選択式質問応答タスクによる自動評価(ツールを使用した評価) Open in Colab Link
10.3.2 Japanese Vicuna QA Benchmarkによる自動評価 Open in Colab Link
10.3.2 Japanese Vicuna QA Benchmarkによる自動評価(ツールを使用した評価) Open in Colab Link
第 11 章 指示チューニング 11.2 指示チューニングの実装 Open in Colab Link
11.3 指示チューニングしたモデルの評価 Open in Colab Link
第 12 章 選好チューニング 12.2 選好チューニングの実装 Open in Colab Link
12.3 選好チューニングの評価 Open in Colab Link
第 13 章 RAG 13.1 RAG とは Open in Colab Link
13.2 基本的な RAG のシステムの実装 Open in Colab Link
13.3.1 AI 王データセットを用いた指示チューニング Open in Colab Link
13.3.2 指示チューニングしたモデルを LangChain で使う Open in Colab Link
第 14 章 分散並列学習 14.3 LLMの分散並列学習 Link

正誤表

本書の正誤表は以下のページで公開しています。

リンク

About

「大規模言語モデル入門」(2023)と「大規模言語モデル入門Ⅱ〜生成型LLMの実装と評価」(2024)のGitHubリポジトリ

Resources

License

Stars

Watchers

Forks