教授「AIが加速度的に進歩する？もう終わりやで。ソースは月旅行🌚」 [523957489]

1 ：安倍晋三🏺 警備員[Lv.6] (ｽｯｯﾌﾟ Sdba-XDNr)：2024/05/22(水) 06:47:58.93 ID:MBzML4Ehd.net ?2BP(1000)

sssp://img.5ch.net/ico/chibi_c.gif
https://ja.m.wikipedia.org/wiki/%E6%9C%88%E6%97%85%E8%A1%8C

アルビンド・ナラヤナン
@random_walker
1960 年代後半、飛行機の最高速度は劇的に向上しました。人々はこの傾向が続くだろうと考えていました。パンナム航空は月へのフライトを事前予約していました。しかし、その傾向が崖から転落しつつあることが判明した。 AI のスケーリングについても同じことだと思います。AI はいずれ枯渇します。問題はそれがいつなのかということだ。おそらくすでにそうなっていると思います。

1971年までに約10万人が月への飛行に申し込んだ。

2 ：安倍晋三🏺 警備員[Lv.10] (ﾜｯﾁｮｲW aa9a-6R6d)：2024/05/22(水) 06:48:55.78 ID:4k3cZWwD0.net

諸説ある
おわり

3 ：顔でか 警備員[Lv.13] (ﾜｯﾁｮｲW aac0-N/OA)：2024/05/22(水) 06:49:30.98 ID:u8UQB2JO0.net

エロに強く関係してる時点でそんなのとは違う
無限の可能性がある

4 ：番組の途中ですがアフィサイトへの＼(^o^)／です 警備員[Lv.12] (ﾜｯﾁｮｲW 23da-q7tf)：2024/05/22(水) 06:51:37.91 ID:UAOsTQH10.net

今でもAIごとの性能差はソフトウェアでは無く各社のサーバーのマシンパワーによって差別化されているらしい

学習可能なデータセットが枯渇するという懸念もあるけど、強化学習メインになればデータセットはいらないし、あとはハードウェアの技術進歩次第なんじゃないか

ムーアの法則みたいなものがどれだけ続くか、あるいは量子コンピュータがいつ実用化されるか

5 ：番組の途中ですがアフィサイトへの＼(^o^)／です 警備員[Lv.2][警] (ﾜｯﾁｮｲW aaed-ixIq)：2024/05/22(水) 06:52:38.91 ID:oGF423I+0.net

わろち

6 ：番組の途中ですがアフィサイトへの＼(^o^)／です 警備員[Lv.11] (ﾜｯﾁｮｲW 76a9-fU5+)：2024/05/22(水) 06:53:39.66 ID:tquwlYgE0.net

過去の一例だけで未来を予測おじさん

7 ： 警備員[Lv.14] (ｱｳｱｳｴｰT Sa52-19GD)：2024/05/22(水) 06:57:28.95 ID:ucIiUz1Ca.net

でもダイヤルアップ接続から今のネット網と速度の進化って糞速かったと思うけどな

8 ：安倍晋三🏺 ◆ABeSHInzoo 警備員[Lv.16] (ﾜｯﾁｮｲW 1788-wMMg)：2024/05/22(水) 06:57:40.56 ID:h7ZmJuOU0.net

口だけ動かして現実には実行できないやつがネット上にウヨウヨ増殖するのが現状のAI
ハードと結合し始めないと意味ないぞ

9 ：安倍晋三🏺 警備員[Lv.12] (ﾜｯﾁｮｲW 9a8e-k9rd)：2024/05/22(水) 06:59:10.88 ID:rqguVJyJ0.net

飛行機→時速900km
ロケット→時速40000km

人工知能が飛行機で人間の脳がロケットって事？
そんなに人間の脳は高性能か？

10 ：安倍晋三🏺 警備員[Lv.1][新芽] (ｽｯｯﾌﾟ Sdba-S0FL)：2024/05/22(水) 07:00:07.86 ID:MBzML4Ehd.net

https://x.com/random_walker/status/1791109550894178450

ソースバリ長いから詳しくはそっちで
どんぐりで貼れなかった💢

11 ：安倍晋三🏺 警備員[Lv.1][新芽] (ｽｯｯﾌﾟ Sdba-S0FL)：2024/05/22(水) 07:00:42.44 ID:MBzML4Ehd.net

数関数はすべてシグモイドの偽装であるという話を聞いたことがあるかもしれません。指数関数はすべてせいぜいシグモイドの偽装であると私は言います。場合によっては、技術の進歩が突然横ばいになることがあります。有名な例は CPU のクロック速度です。(もちろんクロック速度はほとんど意味がありませんが、測定基準はお好みで選んでください。)

12 ：安倍晋三🏺 警備員[Lv.7] (ﾜｯﾁｮｲW 338f-ekTe)：2024/05/22(水) 07:01:39.62 ID:BPxnL3to0.net

肉体労働をロボットに置き換え、が困難だろう
奴隷に比べてコストが高過ぎるし、仮にコストを度外視したとしても、金属枯渇の問題が迫ってきている
銅、亜鉛、ニッケル等のベースメタルと呼ばれていたもう50年でロクに使えなくなる

13 ：安倍晋三🏺 警備員[Lv.1][新芽] (ｽｯｯﾌﾟ Sdba-S0FL)：2024/05/22(水) 07:01:57.23 ID:MBzML4Ehd.net

継続的なスケーリングには、主に 2 つの障壁があります。1 つはデータです。企業がすでに高品質のデータを使い果たしている可能性があり、それが OpenAI、Anthropic、Google の主力モデルがいずれも驚くほど似たパフォーマンス ( > 1 年間改善されていない) を示している理由です。

合成データについてはどうでしょうか? 誤解があるようです。開発者がトレーニング データ量を増やすために合成データを使用しているとは思えません。この論文には、トレーニング用の合成データの使用法の優れたリストが掲載されており、特定のギャップを修正し、数学、コード、リソースの少ない言語などのドメイン固有の改善を行うことが中心となっています。

14 ：安倍晋三🏺 警備員[Lv.1][新芽] (ｽｯｯﾌﾟ Sdba-S0FL)：2024/05/22(水) 07:02:21.25 ID:MBzML4Ehd.net

無意識に合成トレーニング データを生成することで、より高品質な人間のデータを増やすのと同じ効果が得られる可能性は低いでしょう。

2 番目で、私が思うにスケーリングに対するより大きな障壁は、ある時点を超えると、スケールによって困惑度 (次の単語の予測) の点でモデルが改善される可能性はあっても、下流の改善 (新しい機能の出現) にはつながらない可能性があることです。

これは、LLM 機能に関する中心的な議論の 1 つ、つまり、LLM は外挿が可能なのか、それともトレーニング データに表されたタスクのみを学習するのか、という点に関係しています。これは、グラスが半分満たされている / 半分空である状況であり、真実はその中間にあるのですが、私は後者の見解に傾いています。

したがって、LLM がトレーニングで見られる以上のことを実行できない場合、表現されるすべてのタスクがすでに表現されているため、ある時点で、より多くのデータがあっても役に立たなくなります。従来の ML モデルはすべて最終的に停滞しますが、LLM もおそらく同じです。

15 ： 警備員[Lv.6][新芽] (ﾜﾝﾐﾝｸﾞｸ MM8a-QHCM)：2024/05/22(水) 07:02:41.26 ID:6yem6eSVM.net

>>4
ハードの進歩は行き詰まっているのでしばらく厳しいと思うわ

16 ：安倍晋三🏺 警備員[Lv.1][新芽] (ｽｯｯﾌﾟ Sdba-S0FL)：2024/05/22(水) 07:03:16.35 ID:MBzML4Ehd.net

私の直感では、スケーリングはすでに基本的に限界に達しているだけでなく、最先端のモデルを構築しているチームによってすでに認識されていると思います。もしこれが本当なら、そうでなければ困惑する多くの事柄(I内部情報がない) が説明できます。
– GPT-5 はありません (覚えておいてください: GPT-4 は約 2 年前にトレーニングを開始しました)
– CEOはAGIへの期待を大幅に抑えている
– LLM の上位レイヤー (エージェント、RAG など) に焦点を移す
– AGIに注力していた多くの人材が退職し、AI企業はミッション重視ではなく通常の製品企業のように行動し始めている

あとはソースで

17 ：番組の途中ですがアフィサイトへの＼(^o^)／です 警備員[Lv.8] (ﾜｯﾁｮｲW 1a84-dqXJ)：2024/05/22(水) 07:03:57.80 ID:3GUL47eA0.net

だいたいみんなそう感じてんじゃないの
物事は波だよ三寒四温だよ
第六次AIブームに期待だ

18 ：番組の途中ですがアフィサイトへの＼(^o^)／です 警備員[Lv.14] (ﾜｯﾁｮｲW ce9f-6R6d)：2024/05/22(水) 07:04:50.07 ID:7I3O3RH/0.net

月までの距離にムーアの法則当てはめたら今頃はアルファ・ケンタウリいけるんだな
まぁ光の速さ超えちゃってる気がするけどｗｗｗ

19 ：安倍晋三🏺 警備員[Lv.1][新芽] (ｽｯｯﾌﾟ Sdba-S0FL)：2024/05/22(水) 07:06:59.77 ID:MBzML4Ehd.net

匿名化解除技術の分野で有名な教授らしい
ケンモメンの敵やん

20 ：番組の途中ですがアフィサイトへの＼(^o^)／です 警備員[Lv.16] (ﾜｯﾁｮｲ f620-40VT)：2024/05/22(水) 07:07:51.80 ID:PBeCpwxU0.net

今ある技術で可能なことは人間を圧倒的に上回るところまでは既定路線だろうけどね

21 ：番組の途中ですがアフィサイトへの＼(^o^)／です 警備員[Lv.16] (ﾜｯﾁｮｲ f620-40VT)：2024/05/22(水) 07:09:18.35 ID:PBeCpwxU0.net

将棋ソフトなんかは3コマ関係使った今となっては原始的な評価関数だけでも
演算力の暴力で敗北したのが人間なわけだし
同じようなことはLLMの領域でも当然起こると想定したほうが良いよね

22 ：安倍晋三🏺 警備員[Lv.1][新芽] (ｽｯｯﾌﾟ Sdba-S0FL)：2024/05/22(水) 07:11:14.53 ID:MBzML4Ehd.net

https://en.m.wikipedia.org/wiki/Arvind_Narayanan

プリンストンとかいうFランの教授らしい
月旅行とか突飛なこと言い出すはずだわ

23 ：安倍晋三🏺 警備員[Lv.7] (ﾜｯﾁｮｲW 4e8f-dWDI)：2024/05/22(水) 07:11:44.68 ID:btrg7A3d0.net

半導体株が上がれば事実はどうでもいい

24 ：番組の途中ですがアフィサイトへの＼(^o^)／です 警備員[Lv.2][新芽] (ﾜｯﾁｮｲW 23b5-2OZd)：2024/05/22(水) 07:15:47.77 ID:kf8oAOMS0.net

まあ指数的な成長なんてありえないからな
画像生成もSDが出てきて対して進歩してないし

25 ：安倍晋三🏺 警備員[Lv.24] (ﾜｯﾁｮｲW 5fc4-BU2n)：2024/05/22(水) 07:25:39.60 ID:FdyECH1P0.net

禁止事項増えすぎて何も出来なくなる方が早くなりそう

26 ：番組の途中ですがアフィサイトへの＼(^o^)／です 警備員[Lv.10][新] (ﾜｯﾁｮｲW b389-Ou73)：2024/05/22(水) 07:29:35.45 ID:wLC2rAXq0.net

>>2
>>6
ネトウヨイライラｗ

27 ：番組の途中ですがアフィサイトへの＼(^o^)／です 警備員[Lv.20] (ﾜｯﾁｮｲW ff19-1Viw)：2024/05/22(水) 07:32:08.83 ID:ZAcEfzEy0.net

カーボンニュートラルの目標はどこに行ったんだ？

28 ：安倍🏺晋三 ◆abeshinzo. 警備員[Lv.13] (ﾜｯﾁｮｲW 9a53-l8ly)：2024/05/22(水) 07:35:17.84 ID:0wDhZ4rR0.net

nvidia決算次第でAIが一過性ブームかわかるだろう

29 ：ななし 警備員[Lv.11] (ﾜｯﾁｮｲW 33d0-glfp)：2024/05/22(水) 07:35:52.90 ID:bhAWb1v70.net

llama3発表時にパラメーター量5倍ぐらいのモデルはまだ計算中と言ってたぐらい計算量の負荷増大は問題になっているけれど、
パラメーター量増やせば高性能になるという実感があって大規模化競争になっている状況で、あと数段階は大規模化しそう

30 ：番組の途中ですがアフィサイトへの＼(^o^)／です 警備員[Lv.9][新] (ﾜｯﾁｮｲW 0e81-dQw7)：2024/05/22(水) 08:32:39.37 ID:xVi0Cav70.net

今のAIって人類の蓄積された知識の効率的再利用に過ぎなくて、合理的でも発展的でもないように思う

SFで考えられていたような人類を凌ぐ高みに到達する知性体という印象は無い

31 ：安倍晋三🏺 警備員[Lv.5] (ﾜｯﾁｮｲ 0b44-19GD)：2024/05/22(水) 08:40:33.71 ID:eUFYoG+d0.net

ネットに接続して自己学習とかし始めないと無理だろ

32 ：ななし：2024/05/22(水) 08:54:04.69 ID:bhAWb1v70.net

>>31
AIに身体が無いうちは便利なITの範囲で、
ロボットと組合せるようになって来て、そのロボットの体験を学習するようになってどうなるのか楽しみ

33 ：天才：2024/05/22(水) 09:14:19.52 ID:w8w+EIVW0.net

民衆が月旅行に行けなかったのは将来的なコスト低減の道筋が全く見えてなかったのに煽り倒してただけの話であって、
半導体の進化によって性能がアップするAIとは全く違う話だわな。

34 ：安倍晋三🏺顔デカ：2024/05/22(水) 10:03:40.01 ID:DLyc4ozg0.net

アナロジーの乱用だけで未来を予測する米大学教授
世界の知性も落ちたもんだ

35 ：安倍晋三🏺顔デカ：2024/05/22(水) 10:16:21.78 ID:DLyc4ozg0.net

AGIができるにはまだまだ課題が山積みって感じか
確かにハード面で動かして学習するのは難しそうだね

36 ：番組の途中ですがアフィサイトへの＼(^o^)／です：2024/05/22(水) 10:40:46.09 ID:JFsfnUDT0.net

相転移させたいならスケーリングするしかないもんな

37 ：安倍晋三🏺 警備員[Lv.5] (ﾊﾞｯﾄﾝｷﾝ MM5f-ztLj)：2024/05/22(水) 12:03:18.14 ID:XFbc5knJM.net

逆に技術の進歩を遅く見積もった例もあるだろうに
ほんと無能の発想よな

38 ：顔デカ 警備員[Lv.41] (ﾜｯﾁｮｲW 5fb5-ohbH)：2024/05/22(水) 13:44:25.07 ID:7NWENhIU0.net

今の路線のままだと詰まるとは思う
だからあと10年くらいしたらどこかの国が人体改造に手を付けて人間と機械のいいとこ取りを狙い出すんじゃないかなと妄想

39 ：番組の途中ですがアフィサイトへの＼(^o^)／です 警備員[Lv.6] (ﾜｯﾁｮｲ a33a-0XA3)：2024/05/22(水) 14:06:52.05 ID:XbX7wLky0.net

んだから、たとえば昨年の誇大広告でブームになったChatGPTなんてのも、「知能」（笑）ではなく、検索エンジン＋エクセルの進化版にすぎないんだから、
多くの一般ユーザーは有用性の限界に気づいてきてるじゃん
４の新バージョンも、ついに処理の速さとかコスパとかを売りにするしかなくなった（笑）
頭打ちってことだよ
昨年のブームにのっかっていろいろぶっこみすぎたネットビジネスのアホどもが、ChatGPTの船からいまさら降りるわけにもいかず、
ツイッターやら５ちゃんで盛んにブーム再興をあおってるけど、増え吹けど踊らずで世の中は波も風も起きずにシーンとしたまま（笑）

40 ：番組の途中ですがアフィサイトへの＼(^o^)／です 警備員[Lv.13] (ﾜｯﾁｮｲW 8a87-763u)：2024/05/22(水) 19:59:46.99 ID:OttDrtxY0.net

とりあえず一番頭のいい人間までは再現できそうだよね
そこで頭打ちになる可能性は確かにあるのかな
でも俺らが不要になるのは同じことだけど