シラバス参照
シラバス参照
| 科目一覧へ戻る | 2026/03/11 現在 |
| 科目名／Subject | 知識情報論I／Knowledge Information TheoryI |
|---|---|
| 担当教員（所属）／Instructor | 木村 泰知 (商学部) |
| 授業科目区分／Category | 現代商学専攻博士前期課程 発展科目 |
| 開講学期／Semester | 2026年度／Academic Year 前期／Spring Semester |
| 開講曜限／Class period | 金/Fri 2 |
| 対象所属／Eligible Faculty | 商学研究科現代商学専攻博士前期課程／Graduate School of CommerceGraduate School of Commerce Major in Modern Commerce |
| 配当年次／Years | 1年 , 2年 |
| 単位数／Credits | 2 |
| 研究室番号／Office | |
| オフィスアワー／Office hours |
| 更新日／Date of renewal | 2026/03/04 | ||
|---|---|---|---|
| 授業の目的・方法 ／Course Objectives and method |
本授業の目的は、自然言語処理の基礎理論から大規模言語モデル（LLM）までを体系的に理解し、テキストデータを分析・活用するための知識と技能を身につけることです。テキスト処理に関連する情報理論の基礎を踏まえ、N-グラムモデルや分散表現を経て、Transformer、BERT、GPT などの仕組みを学びます。授業では講義による解説に加え、コーパス分析や簡単なプログラム実行例を通して理解を深めます。さらに、実社会における応用事例も紹介し、理論と応用を往復しながら総合的な理解を目指します。 | ||
| 達成目標 ／Course Goals |
本授業の達成目標は、自然言語処理の基礎理論（確率・情報理論・形態論・構文論）を理解し、それらが統計的手法やニューラルネットワークにどのように発展してきたかを説明できるようになることです。また、N-グラムモデルや単語の分散表現、Transformer、BERT、GPT などの大規模言語モデルの基本的な仕組みと特徴を理解し、それぞれの長所・限界を比較できる力を養います。 | ||
| 授業内容 ／Course contents |
第01回 テキスト解析とテキストマイニングの基礎 第02回 言語処理の難しさ：表記揺れ・曖昧性・文脈依存性 第03回 言語資源とコーパス：単語頻度・ジップの法則 第04回 言語処理に関する確率論の基礎：条件付き確率・ベイズの定理 第05回 情報理論の基礎：エントロピー 第06回 交差エントロピー・パープレキシティと言語モデル評価 第07回 形態論と品詞：名詞・動詞・形態素解析 第08回 構文解析：句構造・依存構造 第09回 意味論・語用論と文脈理解 第10回 コーパスに基づく研究と統計的自然言語処理 第11回 単語頻度・仮説検定・相互情報量と特徴量設計 第12回 N-グラムモデルと言語モデルの発展 第13回 単語の分散表現（Word2Vec・GloVe）と意味ベクトル 第14回 Transformerの基礎と注意機構（Self-Attention） 第15回 BERT・GPT・大規模言語モデル（LLM）の仕組みと応用 |
||
| 事前学修・事後学修 ／Preparation and review class |
この講義は、自然言語処理に関連するコーパス、および、Shared Taskを題材として、標準的な手法について理解する。そのため、授業のなかで取り扱う自然言語処理手法の専門用語を事前に調べるようにしてください。 ・事前に配布する資料は必ず目をとおし、分からない語彙等は必ず調べておくこと。 ・事後学修として、授業で解説した内容をまとめておくこと。 |
||
| 使用教材 ／Teaching materials |
1. Foundations of Statistical Natural Language Processing, Christopher Manning (著), Hinrich Schuetze (著) 1999. 2. Introduction to Information Retrieval, Christopher D. Manning, Prabhakar Raghavan and Hinrich Schütze, Introduction to Information Retrieval, Cambridge University Press. 2008. 3.Speech and Language Processing (3rd ed. draft) https://web.stanford.edu/~jurafsky/slp3/ 4. Attention Is All You Need Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N. Gomez, Lukasz Kaiser, Illia Polosukhin https://arxiv.org/abs/1706.03762 5. BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding Jacob Devlin, Ming-Wei Chang, Kenton Lee, Kristina Toutanova https://aclanthology.org/N19-1423/ |
||
| 成績評価の方法 ／Grading |
授業への参加度（事例、討論、調査） 30% ホームワーク（事前課題の提出） 30% 小テストないしクイズ 10% 試験ないしプレゼンテーション（最終課題） 30% |
||
| 成績評価の基準 ／Grading Criteria |
秀（１００～９０）：知識情報論Iについて秀でた理解力がある。 優（８９～８０） ：知識情報論Iについて優れた理解力がある。 良（７９～７０） ：知識情報論Iについて理解力がある。 可（６９～６０） ：知識情報論Iについて最低限の理解力がある。 不可（５９～０） ：知識情報論Iについて十分な理解力を持っていない。 |
||
| 実務経験者による授業 ／Courses conducted by the ones with practical experiences |
該当しない／No | ||
| 授業実施方法 ／Method of class |
○大学院授業／Graduate school class | ||
| 遠隔授業 ／Online class |
|