全866文字
対話型生成AIなどで自然言語処理をするためのデータモデル。言葉で質問に答えたり、文章を要約したりできる。あらかじめ数十億語のデータでトレーニングされており、AIが言語を使って自然に応答できる。
「ChatGPT」などの対話型生成AIサービスで、自然言語を使った受け答えを実現するための言語モデル。事前に大量のテキストデータを使って学習し、特定の言葉に続いて、確率的に登場しそうな次の単語を並べることで文章を作成しており、自然な受け答えを実現している。米グーグルの「BERT」は約33億語、米OpenAIの「GPT-3」は約45TBのデータを使ってトレーニングされている。
LLM（Large Language Model、大規模言語モデル）は、チャットや文章要約、質問への応答などのサービスに組み込まれて提供されることが多い。また、APIなどを使って連携し、他社製の各種サービスに組み込まれることもある。
開発で先行する米国企業製のLLMは、学習しているデータが日本語よりも英語の方が多い。そのため、日本語よりも英語で質問した方が回答の精度が高い傾向がある。一方、最近では国内企業による日本語の学習素材を使ったLLMも登場している。米国企業製のLLMよりも日本語の文化的な背景を踏まえた文書作成が可能になると期待されている。
LLMは、先行する言葉に続く言葉を確率的に選んで並べているだけで、文章の内容を理解したり、何か特定の意図を持って文章を作成したりしているわけではない。LLMが出力する文章は文法的な間違いはなくても、事実とは明らかに異なる内容が含まれることがあるので注意が必要だ。さらに、学習データとして使用するテキストに偏見や差別が含まれていると、LLMが出力する文章にも同じ傾向が反映される可能性がある。
また、利用者が入力した質問が学習データとして使用される場合がある。文書作成のために入力した個人情報や機密情報が学習されると、ほかの利用者の回答に組み込まれて漏洩することがあり得るので、利用方法には十分注意しよう。
サイバーエージェントは2023年5月、同社が開発した日本語LLMを公開した（出所：同社のWebサイト）
[画像のクリックで拡大表示]
ChatGPTの基本のキ、自然な受け答えを実現する「LLM」とは - ITpro
Read More
No comments:
Post a Comment