GMOメディア---「日本語言語モデルの実践的評価」研究によりIT分野での大規模言語モデル(LLM)の能力差を解明
現在、各方面でChatGPTをはじめとする大規模言語モデル(LLM)の評価が行われており、医療や法律といった特定の専門分野での有用性に関する評価も進められている。今回、IT分野においてLLMがどの程度の能力を持っているかを解明することを目的に研究を実施。
「大規模言語モデルの日本語実践的評価:JGLUEとITパスポート試験を用いた比較分析」をテーマとした研究を実施、現在公開されている大規模言語モデル(LLM)のIT分野における推論・問題解決能力を、ITパスポート試験を解答させた。
結果から、IT分野の問題に対して一定程度論理的な解答を導き出すことが期待できることが判明、最も解答の精度が高かったのは「ELYZA-japanese-Llama-2-7b-instruct」で正答率は72.3%だった。
また、LLMに補助的にITパスポート試験に関するヒント(プロンプト)を入力することで、ほとんどのLLMでヒントを与えない場合よりも出力(解答)の精度を上げることができた。
これにより、IT分野での正確な解答を導き出す力はLLMのモデル間で差異があり、IT分野に関してLLMに質問をする場合は、ある程度有効的に活用できるLLM(「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」)と、活用に注意しなければならないLLMがあることが分かった。
<SI>
45歳個性派俳優の背中にビッシリ「和彫り」まさかの“タトゥー”披露に「本物?」「最高!」
水原一平被告、米国刑務所でも「ただギャンブル漬けになって…」37歳東大准教授が推察
アン・ドゥ・トロワ……にゃんこバレエ団結成にゃ ポーズの美しさにうっとり
ヒロミ、水原被告の米刑務所生活に「みんな『ギャンブラ来るぜー』みたいな」
日テレ尾崎里紗アナ6月末での退社報告「故郷の福岡で子育ても仕事もしていくその未来に向けて」
磯山さやか、終始無言の水原一平被告を心配 弁護士と「コミュニケーションが取れてないのかな」
石原良純、大谷翔平と水原一平被告をめぐるドジャースの対応を称賛「危機管理がすごい」
ポール・マッカートニー 資産が10億ポンド以上、英国ミュージシャン初の「ビリオネア」に
絢香「母として尊敬」工藤静香「今は2人の立派なママ」顔を寄せ合うツーショット公開
【シャトレーゼ】通販限定「5月の福箱 アイス・冷食セット」これからの季節にぴったりなかき氷も!
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
大谷翔平が不運な判定で2度見逃し三振 「えん罪退場」で話題の球審は引き揚げる大谷にブチギレ
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
吉野家が「マスク外し強要疑惑」でプチ炎上、店員さんに聞いてみると……
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
時代劇の常識を覆す!仇討ち・無礼討ちの厳格なルール
マンション刺殺、被害者は19歳大学生の女性 大阪・枚方
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
ヒカル、浮気相手とのLINE流出にドン引きの声「キモすぎる」「吐きそう」
ガーシー、またも綾野剛の暴露写真でネット歓喜「この写真見て笑っちゃう」
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
大谷翔平が不運な判定で2度見逃し三振 「えん罪退場」で話題の球審は引き揚げる大谷にブチギレ
完全にダマされた! 『ラヴィット!』あのちゃん“事故レベル”大暴走は『水ダウ』遠隔操作のしわざだった ネットも納得
73歳神田正輝「旅サラダ」生放送で“12歳下俳優”から呼び捨てされ激論
45歳個性派俳優の背中にビッシリ「和彫り」まさかの“タトゥー”披露に「本物?」「最高!」
水原一平被告、米国刑務所でも「ただギャンブル漬けになって…」37歳東大准教授が推察
アン・ドゥ・トロワ……にゃんこバレエ団結成にゃ ポーズの美しさにうっとり
ヒロミ、水原被告の米刑務所生活に「みんな『ギャンブラ来るぜー』みたいな」
日テレ尾崎里紗アナ6月末での退社報告「故郷の福岡で子育ても仕事もしていくその未来に向けて」
石原良純、大谷翔平と水原一平被告をめぐるドジャースの対応を称賛「危機管理がすごい」
磯山さやか、終始無言の水原一平被告を心配 弁護士と「コミュニケーションが取れてないのかな」
ポール・マッカートニー 資産が10億ポンド以上、英国ミュージシャン初の「ビリオネア」に
絢香「母として尊敬」工藤静香「今は2人の立派なママ」顔を寄せ合うツーショット公開
【シャトレーゼ】通販限定「5月の福箱 アイス・冷食セット」これからの季節にぴったりなかき氷も!