コンテキストウィンドウとは？意味・仕組みをわかりやすく解説

LLMが1回のやり取りで一度に読み込み・考慮できるテキストの量（トークン数）の上限。

コンテキストウィンドウとは

コンテキストウィンドウとは、LLM（大規模言語モデル）が一度に扱える情報量の上限のことです。入力したプロンプト、添付した資料、それまでの会話履歴、AIが生成する回答のすべてが、この枠の中に収まっている必要があります。

単位は「トークン」で表されます。トークンはAIが文章を処理するときの最小単位で、日本語の場合はおおむね1文字あたり1トークン前後と考えておくと目安になります（モデルによって差があります）。

初期のChatGPT（GPT-3.5）は約4,000トークンしか扱えませんでしたが、その後急速に拡大しました。現在の主要モデルでは数十万トークン、モデルによっては100万トークン級のものもあり、書籍1冊分や大量の契約書を丸ごと読み込ませることも可能になっています。

コンテキストウィンドウを超えると、古い会話や資料の内容が切り捨てられます。長時間のチャットで「最初に伝えた条件をAIが無視し始めた」と感じたら、この上限が原因かもしれません。

ウィンドウが大きいモデルでも、大量の情報の中から必要な部分を正確に拾えるとは限りません。また、API利用料は入力トークン数に応じて増えるため、毎回すべての資料を渡すとコストが膨らみます。料金の考え方はChatGPT API料金比較ガイドで解説しています。

社内マニュアル全体のような大量の文書を扱う場合は、必要な部分だけを検索して渡すRAGの方がコストと精度の両面で有利なことが多いです。逆に、契約書1本を丁寧にレビューしたい場合は、全文をコンテキストに入れる方が確実です。

ある会社で、100ページ超の業務マニュアルを毎回まるごとAIに渡して社内問い合わせに答えさせていたところ、月のAPI費用が想定の数倍になりました。マニュアルをRAG化し、関連する数ページだけを渡す方式に切り替えたことで、費用を大きく抑えつつ回答精度も上がりました。