GMOメディア---「日本語言語モデルの実践的評価」研究によりIT分野での大規模言語モデル(LLM)の能力差を解明
現在、各方面でChatGPTをはじめとする大規模言語モデル(LLM)の評価が行われており、医療や法律といった特定の専門分野での有用性に関する評価も進められている。今回、IT分野においてLLMがどの程度の能力を持っているかを解明することを目的に研究を実施。
「大規模言語モデルの日本語実践的評価:JGLUEとITパスポート試験を用いた比較分析」をテーマとした研究を実施、現在公開されている大規模言語モデル(LLM)のIT分野における推論・問題解決能力を、ITパスポート試験を解答させた。
結果から、IT分野の問題に対して一定程度論理的な解答を導き出すことが期待できることが判明、最も解答の精度が高かったのは「ELYZA-japanese-Llama-2-7b-instruct」で正答率は72.3%だった。
また、LLMに補助的にITパスポート試験に関するヒント(プロンプト)を入力することで、ほとんどのLLMでヒントを与えない場合よりも出力(解答)の精度を上げることができた。
これにより、IT分野での正確な解答を導き出す力はLLMのモデル間で差異があり、IT分野に関してLLMに質問をする場合は、ある程度有効的に活用できるLLM(「gpt-3.5-turbo-1106」「gpt-4-11-6-preview」「ELYZA-japanese-Llama-2-7b-instruct」)と、活用に注意しなければならないLLMがあることが分かった。
<SI>
高須克弥院長が激怒「馬鹿医者め!」献体写真公開めぐる謝罪釈明の麻生泰氏や女性外科医に
献体写真公開で炎上の女性美容外科医が謝罪「全てモザイクかけていたつもりで…倫理観が欠如」
【日本ハム】中日からFAの福谷浩司と大筋合意、来季V目指す新庄監督にクリスマスプレゼント
吉川晃司とUL・OSがコラボ「世間の波に流されるの絶対に嫌」生き様語るロングインタビューも
【12月24日生まれの著名人】相葉雅紀、石原さとみ、西内まりや、トミーズ雅ら
【名古屋】J2降格の札幌からMF浅野雄也を完全移籍で獲得 札幌はDF岡村大八に続く流出へ
エバース&ママタルト、M-1翌日に巨人岸田行倫、湯浅大らとイベント 球団仕事かけネタ披露
子どもたちにボードスポーツ体験を提供するNPO法人CHILL、2025年のスノーボードプログラムを発表
佐野勇斗、念願の朝ドラ出演「自信につながる」恋人役の主演橋本環奈の印象も語る
こっちのけんと、紅白初出場の反響に喜び「スーパーのおばちゃんが覚えてくれた」
高橋ジョージ「やっぱりお縄だよ」新曲の印税引き出したら銀行の態度が…その後に残高見て仰天
56歳熟女がかっこよさと自分らしさを追求「グラビアは60まで続ける」
膳場貴子が22日「サンモニ」欠席 TBS駒田健吾アナが事情説明
北九州中学生2人死傷 近くに住む40代男性を殺人未遂容疑で逮捕
さらば・森田、『ラヴィット』で放送禁止用語の大失言!麒麟・川島が即謝罪もブチ切れ
中川翔子「加害者を守る必要なんかない」 北九州・中学生殺傷事件では容疑者報道めぐり物議
特殊捜査係20人が窓ガラス割り突入、容疑者確保 中学生2人殺傷
「普通は即死」渡辺香津美、危篤状態から在宅療養に 妻「生きていてさえくれれば…」
59歳俳優が告白「俺は芸能界に入る前にAVプロダクションをやっていた」
八代弁護士「警察は早い段階から行動確認に」と推測 北九州の中学生殺傷事件で男逮捕
多部未華子(30)結婚の裏事情あまりにも恐ろしすぎると話題に!
二階堂ふみが結婚!?お相手が衝撃的過ぎてネット民「マジか・・・」
浜崎あゆみ、バスト丸見えの投稿にネット騒然「巨乳すぎて不自然」
クロちゃんを騙した「レイちゃま(小林レイミ)」の現在が別人すぎると話題に
高橋ジョージ「やっぱりお縄だよ」新曲の印税引き出したら銀行の態度が…その後に残高見て仰天
千円札に込めた奇跡!明石家さんまが30年間大切にした「ラブレター」に感涙
飯島直子「いつみんなに言おうか…」別れを報告「お空へ旅立ちました」
まるで別人?浜崎あゆみのFNS歌謡祭での姿に驚きの声
「わっぜか音がしっせえよ あたいは今朝ん台風か思っせえよ」 アルティメット鹿児島弁アニキが『Twitter』で話題に
WANDS復活で上杉昇(47)の衝撃的な現在の姿に注目が集まる事態に!
高須克弥院長が激怒「馬鹿医者め!」献体写真公開めぐる謝罪釈明の麻生泰氏や女性外科医に
献体写真公開で炎上の女性美容外科医が謝罪「全てモザイクかけていたつもりで…倫理観が欠如」
【日本ハム】中日からFAの福谷浩司と大筋合意、来季V目指す新庄監督にクリスマスプレゼント
吉川晃司とUL・OSがコラボ「世間の波に流されるの絶対に嫌」生き様語るロングインタビューも
【12月24日生まれの著名人】相葉雅紀、石原さとみ、西内まりや、トミーズ雅ら
【名古屋】J2降格の札幌からMF浅野雄也を完全移籍で獲得 札幌はDF岡村大八に続く流出へ
エバース&ママタルト、M-1翌日に巨人岸田行倫、湯浅大らとイベント 球団仕事かけネタ披露
子どもたちにボードスポーツ体験を提供するNPO法人CHILL、2025年のスノーボードプログラムを発表
【市場反応】米11月耐久財受注速報値/11月シカゴ連銀全米活動指数、ドル高止まり
佐野勇斗、念願の朝ドラ出演「自信につながる」恋人役の主演橋本環奈の印象も語る