KDL BLOG
2022.12.05
神戸のデータ活用塾
ChatGPTを速報解説してみた
株式会社神戸デジタル・ラボ DataIntelligenceチームの高木です。
米国に拠点を置く非営利団体のOpenAIは現地時間12月1日午前3時頃に、ChatGPTという自然言語生成モデルを発表しました。本記事では、ChatGPTにまつわる基本的な知識を解説し、実際に使ってみたいと思います。
ChatGPTが開発されるまでの歴史
ChatGPTは同じくOpenAIが2020年7月に発表したGPT-3という言語モデルを原点に開発されました。本章ではGPT-3の歴史からChatGPTの開発に至るまでの流れを辿ってみます!
GPT-3
GPT-3は、Transformerと呼ばれる深層学習の手法を用いた言語モデル(人間の言葉を単語別に出現確率で表したモデル)になります。
文章の生成を得意としており、あたかも人間が書いたような文章を出力できるということで発表当時に話題になりました。
GPT-3が高性能である理由として、膨大なテキストデータ数(570GB)を学習データセットとして利用していることや、モデルで設定されているパラメータも1750億個と限りなく多いことが挙げられます。
ただ、こんなにスゴいGPT-3にも致命的な欠点がありました。それは、学習データがネット上のデータを利用したものであり、その中には不適切な表現(差別的や暴力的な表現)が含まれるものも多かったことです。
※OpenAIは、GPT-3発表当時にこれらの課題が残っていることを認めています。
この問題は、広く一般的にアプリケーション内で利用されるためには無視できないものでした。
(つづきは、ブログ「神戸のデータ活用塾!KDL Data Blog」へ)