GMOメディア---「日本語言語モデルの実践的評価」研究によりIT分野での大規模言語モデル(LLM)の能力差を解明
現在、各方面でChatGPTをはじめとする大規模言語モデル(LLM)の評価が行われており、医療や法律といった特定の専門分野での有用性に関する評価も進められている。今回、IT分野においてLLMがどの程度の能力を持っているかを解明することを目的に研究を実施。
「大規模言語モデルの日本語実践的評価:JGLUEとITパスポート試験を用いた比較分析」をテーマとした研究を実施、現在公開されている大規模言語モデル(LLM)のIT分野における推論・問題解決能力を、ITパスポート試験を解答させた。
結果から、IT分野の問題に対して一定程度論理的な解答を導き出すことが期待できることが判明、最も解答の精度が高かったのは「ELYZA-japanese-Llama-2-7b-instruct」で正答率は72.3%だった。
また、LLMに補助的にITパスポート試験に関するヒント(プロンプト)を入力することで、ほとんどのLLMでヒントを与えない場合よりも出力(解答)の精度を上げることができた。
これにより、IT分野での正確な解答を導き出す力はLLMのモデル間で差異があり、IT分野に関してLLMに質問をする場合は、ある程度有効的に活用できるLLM(「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」)と、活用に注意しなければならないLLMがあることが分かった。
<SI>
長谷川京子、ジュエリー級の輝き&黒ドレスから“ポロリ”
爆笑問題太田光「ずっと気になっている」若手俳優に共通する言葉の“癖”指摘「シリアスな場面で…」
【ソフトバンク】全治4カ月の柳田悠岐、ファーム施設に姿見せず「1週間ぐらい自宅療養」関係者
【巨人】菅野智之、12球団本拠地勝利達成「新しい自分を磨く」開幕から無傷5連勝に誇りと自信
「omoinotake」ヒット中「幾億光年」チェ・ジュンソンとコラボ「すごく気持ち良かった」
卒業発表のモー娘。石田亜佑美に竹内朱莉「卒業がワクワクする人は初めて」佐々木莉佳子ら言及
【阪神】今季初先発ミエセス3打数無安打 初回2死の守備では後逸「僕は言い訳できない」反省
【東京V】染野スナイパーぶり発揮!巧みなシュートで2ゴール「自分が決めたい気持ちあった」
東京ディズニーリゾートで停電 複数のアトラクション自動停止
【ソフトバンク】近藤健介サヨナラ弾!プロ初1試合2発「1人で点を取れるのはホームランしかない」
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
浜崎あゆみ、子供の写真公開に疑いの声止まず「よそのお宅の子供?」
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
大谷翔平被弾投手が悪態ついて退場処分!次打者フリーマンと対戦中に判定巡り塁審と口論
YouTuberジュキヤの動画企画が大炎上「普通に痴漢」「気持ち悪すぎ」
千原せいじのシエラレオネ巡る発言 NPO代表理事が公式謝罪忠告「最悪、国家間の問題に発展」
大谷翔平10試合ぶり14号 シティフィールド初アーチ、26球場目は自らの日本人記録更新
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
大谷に被弾→次打者判定で審判と口論→退場→「チーム、自分も最悪」→戦力外
何があった!?「エアコン」が想定外の壊れ具合!投稿者に話を聞いた
柏原崇(45)現在を調べてみた結果、相変わらずかっこよすぎた!
玉置浩二の妻、青田典子(53)の現在がとんでもない事になっていると話題に
ユーチューバーもこう氏、元彼女・成海瑠奈について赤裸々告白
元めちゃイケメンバーの三中元克(32)現在は何をしているのか調べてみた!
TikTokを賑わす「フエラムネごめんなサイダー味」がセブンイレブンで再販!じゅるるマスカットも買うなら今!
小倉優子、不自然な“二重ライン”にネット騒然「やっぱり整形?」
ガーシーが綾野剛のLINE公開でネット騒然「ショック」「すごいエンタメ」
岡本夏生(56)、1600日ぶりにブログを更新した現在が衝撃
大原櫻子、ガーシー暴露後初のSNS投稿に賛否の声「イメージ最悪になった」
長谷川京子、ジュエリー級の輝き&黒ドレスから“ポロリ”
爆笑問題太田光「ずっと気になっている」若手俳優に共通する言葉の“癖”指摘「シリアスな場面で…」
【ソフトバンク】全治4カ月の柳田悠岐、ファーム施設に姿見せず「1週間ぐらい自宅療養」関係者
【巨人】菅野智之、12球団本拠地勝利達成「新しい自分を磨く」開幕から無傷5連勝に誇りと自信
「omoinotake」ヒット中「幾億光年」チェ・ジュンソンとコラボ「すごく気持ち良かった」
卒業発表のモー娘。石田亜佑美に竹内朱莉「卒業がワクワクする人は初めて」佐々木莉佳子ら言及
【阪神】今季初先発ミエセス3打数無安打 初回2死の守備では後逸「僕は言い訳できない」反省
【東京V】染野スナイパーぶり発揮!巧みなシュートで2ゴール「自分が決めたい気持ちあった」
東京ディズニーリゾートで停電 複数のアトラクション自動停止
【ソフトバンク】近藤健介サヨナラ弾!プロ初1試合2発「1人で点を取れるのはホームランしかない」