【AI】「現在のLLMに真の推論は困難」──Appleの研究者らが論文発表

1: 2024/10/14(月) 00:01:03.15 ID:Ee19IwmB9
　米AppleのAI研究者らは10月7日（現地時間）、「GSM-Symbolic: Understanding the Limitations of Mathematical Reasoning in Large Language Models」（LLMにおける数学的推論の限界を理解する）という論文を発表した。

　この論文は、LLM（大規模言語モデル）が、本当に人間のように論理的に考えて問題を解けるのか、という疑問を検証している。結論としては、LLMは今のところ、表面的なパターンを真似て答えを出しているだけで、真の推論能力は持っていないと主張している。

　研究者らは、これらの問題点を検証するために、「GSM-Symbolic」という新しいテスト方法を開発した。これは、LLMの数学的推論能力を評価するためのベンチマークデータセット「GSM8K」を改良し、問題の表現や数字を柔軟に変えられるようにしたもの。また、「GSM-NoOp」という、無関係な情報を含んだ問題集も作成し、LLMの推論能力を評価した。

　実験の結果、OpenAIのGPT-4oやo1-previewなどのLLMは、他のLLMと比べて高い性能を示したが、それでもGSM-NoOpのような引っ掛け問題には弱く、真の推論能力を獲得するにはまだ課題があるとしている。

　論文では、実験で明らかになった「弱点」を挙げている。

（続きは↓でお読みください）

ITmedia
2024年10月13日 08時00分
https://www.itmedia.co.jp/news/articles/2410/13/news070.html

2: 2024/10/14(月) 00:01:32.57 ID:tb+rVKRC0
知ってた

4: 2024/10/14(月) 00:02:24.96 ID:eTtQa/Tc0
その程度のものに置き換えられる人間のなんと多いことよ

5: 2024/10/14(月) 00:03:59.68 ID:f9sR7sUq0
真似てるだけか
まあ、それでも役に立つけどな
発想や閃きは人間様に任しておけって

6: 2024/10/14(月) 00:05:31.03 ID:6GHfbNFh0
アップルは出遅れてるしな

7: 2024/10/14(月) 00:15:13.46 ID:nrPnEqKG0
つまり口だけ達者で中身がないってこと？
それってあなたの感想ですよね？

8: 2024/10/14(月) 00:15:56.94 ID:TEIxoJbc0
それでも現状の政治家よりはマシなんだろうな

裏金や責任やコネや癒着の概念がないAIに政治を任せるべきなのかもしれない

9: 2024/10/14(月) 00:16:25.65 ID:PfzRXbjV0
実際引っ掛け問題的なプロンプトで非道徳的な答え引き出してるんだろ
AIおもちゃにしてるやつらは

10: 2024/10/14(月) 00:16:30.08 ID:JZyZ+3je0
googleのはたまに辞書として当たったりするけどはっきりいって現状は国語辞典以下
複雑なの問いはゲーム理論の構造上ﾑﾘﾑﾘ
AIは言語より絵とか音楽用途の方がきっと役に立つ

11: 2024/10/14(月) 00:16:52.26 ID:25xrO6Do0
結局一番儲けるのはアップルだろうな

12: 2024/10/14(月) 00:18:24.48 ID:VvRwy4lB0
openaiに周回遅れ過ぎるからなぁ
metaはllama、googleはgeminiで遊ぶ分には無料でAPI利用やローカルでRAGも作って遊べる
openaiのAPI利用量は若干高いから、そこを解決するものをAppleから何かしら出して欲しい

13: 2024/10/14(月) 00:20:31.13 ID:w1+nXl6d0
5chもAIによる書き込みを増やしてほしい
長々と喧嘩した相手が実は存在しないとか空虚を味わいたい

14: 2024/10/14(月) 00:20:47.56 ID:5lhEkI0i0
ただのひろゆきじゃん

15: 2024/10/14(月) 00:22:54.19 ID:zzrcYG930
クソ難しい事をつらつら書いてるが
ようするに今のAIには想像力も無いし新しい価値観や物を生み出す力もないってことｗｗｗ

16: 2024/10/14(月) 00:29:33.57 ID:g3pJ3oGS0
判らない点について確認を求めるように組めば

現状のごり押し学習でも間違えたパターンを捨てずに間違いとして覚えてれば
最終的に人間の平均よりましになるかと
まだ学習が足りないかひっかけのパターンを教え切れてないだけでは

17: 2024/10/14(月) 00:30:04.58 ID:JuJf6Qc60
実は人間も論理的に問題を解いてるのではなくて
潜在意識内の小人が記憶の統計から
答えを割り出してるだけだったりして。

19: 2024/10/14(月) 00:32:06.28 ID:HnkeMeTl0
遅れてるアポーがイチャモンつけてるだけか

20: 2024/10/14(月) 00:34:30.54 ID:g3pJ3oGS0
概念を理解するのは難しいかもしれないがパターンを見つけるのは割と得意としてる気がする

21: 2024/10/14(月) 00:36:43.37 ID:ZwIJOgTt0
りりむ？

26: 2024/10/14(月) 00:51:58.08 ID:/TBHGedx0
けど発展途上のAIの方が
人間のお前らより優秀だよね

30: 2024/10/14(月) 01:03:44.14 ID:n0v6S9Zq0
いいからゴチャゴチャ言わずに打って打って打ちまくれよ

31: 2024/10/14(月) 01:04:21.01 ID:H+3yA08R0
AIって大規模なコピペだよね？結局。

32: 2024/10/14(月) 01:07:46.39 ID:eEBUP3x10
>>31
それはちょっと違うｗ
LLMってのは結局、学習したデータから、文章を作り出しているのはそうだけども、
コピペって言うほど、そのまんま使っているわけではないからｗ
一応、そこは分解した形態素ごとに学習して、各所、適性を判断して、言葉を置いていく
はずｗ

35: 2024/10/14(月) 01:17:38.64 ID:mzRPM7o30
当初は士業がなくなるとかいう話をしてたけど
どうやらそっちの方向へは進まないようだね
意図して避けている気がする
電源を切ればただの箱だし
人間様には逆らえないよな

36: 2024/10/14(月) 01:22:53.14 ID:dXggD5j00
本質的な問題解決をできずにパターンマッチ対応しかできない人間はいるし。
つまりは現状のLLMでもパターンマッチしかできない人間の代替にはなり得るということか

人間なのに、人間として生きるハードルは勝手に上がっていくのな

37: 2024/10/14(月) 01:24:58.45 ID:DC2uGPAY0
とはいえ今のSNSに書かれているのは表面的なものだらけ

39: 2024/10/14(月) 01:28:09.42 ID:H+3yA08R0
みんなヨシと言ってるから多分ヨシ。
今のAIってこんな感じな気がする。

41: 2024/10/14(月) 01:37:34.48 ID:eEBUP3x10
>>39
まあ、ぶっちゃければ、そういうことなんだけどもさｗ

だから、問題は、何を学習データとするか、なんだわｗ
AIには昔から「フレーム問題」というのがあってですねｗ
このフレーム問題を学習データに含めておく、というのが、LLMのミソなんだわｗ

このフレーム問題のフレームってのは、日本語では「常識」みたいに訳されますけど、
常識っていうか、もうこれは根本的な善悪みたいなもんなんだなｗ

たとえば、5つのボールをお手玉しなくちゃならない、どうやればよいか？っていう命題があったとするｗ
ここで人工知能は、「五つの手があればよい」って解答しちゃったりするｗ
これがフレーム問題ｗ
人間とか、まあ、頭足類でもない限り、5つの手はない、って「常識」が欠けてるから、こういう解答が
出ちゃうわけｗ

で、これが昔からAIの最大の難関とされてきたがｗ、それをそもそも学習させるデータの方に、こういう「常識」が
あるものを選んで、食わせりゃえーやん、っていうのがLLMだｗ

だから、そういう意味では、「みんなヨシと言ってるから」ではなくて、
「AIの作成者がこれはヨシと言ってるから」ヨシなんだよｗｗｗ

47: 2024/10/14(月) 02:19:22.86 ID:a97N26EB0
>>39
現場猫AI

40: 2024/10/14(月) 01:29:13.56 ID:Y24ayU/30
そりゃそうだ
自分で考えているわけではない
自分で考えるってのは試行錯誤すること
その仕組みがない限りは人間の思考にはならない

42: 2024/10/14(月) 01:56:02.58 ID:LUMd/6O90
「理解」というのは「行動」を伴ってこそと思うね
そして「行動」をおこすには「身体」が必要
「理解」→「行動」→「習得」→「行動」→「体得」→「行動」→「推論」というサイクルを作らない限り結局はただのソルバーだ
マウスの脳に外付けAIつけて賢いマウスを作り出すとかそういう実験が必要なんじゃないか？

43: 2024/10/14(月) 02:07:40.48 ID:eEBUP3x10
>>42
だから、その「身体が必要」の部分がない、と「真の知能」、というか有意な知能、かな、がありえない、
ということかなｗ

それはまあそうなんだろうｗ

ただ、例えば、今のイルカやチンパンジーが、億単位な時間があれば、知能を獲得するのか？って話もあってねｗ

44: 2024/10/14(月) 02:08:10.78 ID:Uw/6yiCZ0
そりゃそう
アップル正解

46: 2024/10/14(月) 02:17:39.63 ID:PRwbHn1D0
真の推論って人間はできてんのか

引用元: https://asahi.5ch.net/test/read.cgi/newsplus/1728831663/