楽天、大規模言語モデル「Rakuten AI 7B」などを公開 [256556981]

1 ：(ヽ´ん`)🏺 (ｽｯｯﾌﾟ Sd33-Bjap)：2024/03/21(木) 16:16:51.68 ID:m0n0ohJbd.net ?2BP(1000)

sssp://img.5ch.net/ico/sii_kouji.gif
楽天グループが大規模言語モデルを公開　Mistralベースの70億パラメータ　商用利用も可能

楽天グループは3月21日、日本語に特化した大規模言語モデル（LLM）「Rakuten AI 7B」などを公開した。フランスのAIスタートアップ・Mistral AIのLLM「Mistral-7B-v0.1」をベースに開発した70億パラメータのLLM。ライセンスは「Apache 2.0」で、Hugging Faceからダウンロードできる。商用利用も可能。

インストラクションチューニング（ファインチューニングの一種）済モデル「Rakuten AI 7B Instruct」と、このモデルを基にファインチューニングしたチャットモデル「Rakuten AI 7B Chat」も公開。いずれもライセンスは同じく、Apache 2.0。

　どのモデルも、Mistral-7B-v0.1を基に、ネット上に存在する日本語と英語のデータによって繰り返し事前学習したという。使ったデータは、内製のフィルタリング機能や、アノテーション機能を駆使し品質を向上させたとしている。他にも、日本語に最適化した「形態素解析器」（文章をトークンという単位に分割するプログラム）を使い、テキスト処理の効率性を上げた点も特徴に挙げている。

https://news.yahoo.co.jp/articles/53c2844d02126f7a750dc70ba5501deaaea6e401

2 ：安倍晋三 (ﾜｯﾁｮｲW b1d2-jr/m)：2024/03/21(木) 16:17:44.16 ID:87kUXcct0.net

株価対策

3 ：安倍晋三🏺 ◆.abeshinZo (JPW 0H63-i567)：2024/03/21(木) 16:17:58.11 ID:MHPGHu2jH.net

ローカルで動くんか？

4 ：番組の途中ですがアフィサイトへの＼(^o^)／です (ﾜｯﾁｮｲW 816d-X6N1)：2024/03/21(木) 16:18:14.71 ID:JLRNeket0.net

大借金

5 ：安倍晋三🏺 ◆abeshinzo. (ﾜｯﾁｮｲ 8189-7lhN)：2024/03/21(木) 16:19:02.09 ID:sZXsmg9w0.net

無意味
Microsoftの1強時代が長く続くだろう

6 ：安倍晋三🏺 ◆C3g6ph46co (ﾜｯﾁｮｲW 13ad-QfON)：2024/03/21(木) 16:20:48.89 ID:pM6PnJN40.net

楽天
これが名前に付くだけでもう駄目な印象
モバイルで取り返しつかんやろ

7 ：安倍晋三🏺 ◆7.urh4JSA2 (ﾜｯﾁｮｲW fb87-2EmM)：2024/03/21(木) 16:20:55.57 ID:dlliMKhG0.net

楽天Gにとてもそんな技術力があると思えないよ
どうせどっかから安くかっぱらってきただけで使い方もわからんのだろ？

8 ：番組の途中ですがアフィサイトへの＼(^o^)／です (ﾜｯﾁｮｲW 8b8f-KCSv)：2024/03/21(木) 16:21:07.20 ID:OZqx7Qc80.net

これオープンAI終わったなw
楽天AIだと多分楽天ポイント付くからめちゃくちゃ広がるぞ

9 ：番組の途中ですがアフィサイトへの＼(^o^)／です (ﾜｯﾁｮｲW 99d6-Gh6r)：2024/03/21(木) 16:21:39.55 ID:SJNr4gXB0.net

楽天に開発できるとは思えないんだが

10 ：شينزو آبي🏺 ◆AbeShinzoG2A (ﾜｯﾁｮｲW b9c8-1ti0)：2024/03/21(木) 16:22:18.76 ID:AKWJNNHa0.net

7Bとか雑魚すぎ

11 ：安倍晋三🏺 ◆abeshinzo. (ﾜｯﾁｮｲW 49f7-JLpj)：2024/03/21(木) 16:24:07.77 ID:yJG8rmbM0.net

なななななななな7Bw
700億パラメータでギリギリ会話が成り立つレベルなのにおもちゃだろこんなもん

12 ：a978-/Kk5 (ﾜｯﾁｮｲW a935-/Kk5)：2024/03/21(木) 16:24:53.44 ID:YNwVdz8u0.net

>>9
Mistral-7B-v0.1を日本語で学習させたモデルなんで楽天でやったのは学習とチューニングだけだよ
日本語の場合はデータセットがダメダメってのが課題だね

13 ：番組の途中ですがアフィサイトへの＼(^o^)／です (ﾜｯﾁｮｲW 9987-QkyX)：2024/03/21(木) 16:26:32.99 ID:h+EDXpep0.net

ミストラルはオープンソースの生成aiモデルなんで、それをフォークして作るのはそんな難しくない
とは言え、よくあるazureのopenai serviceにragを追加したものに比べれば技術難易度は高いけど

14 ：安倍晋三🏺 ◆C3g6ph46co (ﾜｯﾁｮｲW fbde-7nWC)：2024/03/21(木) 16:27:30.39 ID:IUJAxuG70.net

マジで大言壮語モデルと空目した

15 ：番組の途中ですがアフィサイトへの＼(^o^)／です (ﾜｯﾁｮｲW 9987-QkyX)：2024/03/21(木) 16:28:37.45 ID:h+EDXpep0.net

実際問題ミストラルは日本語に難があるんで、楽天のコレは結構有用だと思う
問題は、ミストラルってmsと提携したんで、今後はクローズドになるから、オープンソースじゃなくなりそうなんだよな

16 ：安倍晋三🏺 (ｵｯﾍﾟｹ Sr85-elP7)：2024/03/21(木) 16:29:38.76 ID:OG68arPdr.net

>>7
ソフバンと楽天はそういう会社だろ
社長が文系だし

17 ：番組の途中ですがアフィサイトへの＼(^o^)／です (ﾜｯﾁｮｲ 5934-0rOl)：2024/03/21(木) 16:30:18.94 ID:ZJAhHsLh0.net

他のをコピペした程度のモデルだろ

18 ：安倍晋三🏺 (ｱｳｳｨﾌW FF5d-8/Mv)：2024/03/21(木) 16:30:42.51 ID:xbuBwK4eF.net

楽天ポイントが付くとかそんな感じか？

19 ：安倍晋三と自民党は犯罪組織テロリスト (ﾜｯﾁｮｲW d39f-3Jf4)：2024/03/21(木) 16:30:55.34 ID:4wyPrLjR0.net

東工大のswallowですら7bどころか14b,70bあるのに天下の楽天が7bなの笑う

20 ：安倍晋三🏺 (ｵｯﾍﾟｹ Sr85-elP7)：2024/03/21(木) 16:32:07.87 ID:OG68arPdr.net

ていうかAFAMも基本的にはそれだよ
最初期に社長がコード書いたことは有るかもしれないけどそんなのタラコやホリエですらやってる

21 ：安倍晋三🏺 (ｵｯﾍﾟｹ Sr85-8QdJ)：2024/03/21(木) 16:34:32.61 ID:CqRvBoWkr.net

ベースを作れるところねーのか？

22 ：安倍晋三🏺 (ﾜｯﾁｮｲW a93d-pWG2)：2024/03/21(木) 16:34:36.06 ID:rSlaiXNA0.net

すげぇな
どんな心境でこんなゴミ出したんだろうか

23 ：番組の途中ですがアフィサイトへの＼(^o^)／です (ﾜｯﾁｮｲW b953-BWbD)：2024/03/21(木) 16:41:22.73 ID:dSgK7yHT0.net

知らんけどさ、薄給のエンジニアが作ったんだろ？
凄いわけ無いだろ

24 ：安倍晋三🏺 ◆abeshinzo. (ﾜｯﾁｮｲW 41ee-4FZ1)：2024/03/21(木) 16:55:48.09 ID:wVvXrMZ20.net

文句言ってないで誰か使い心地を報告しろよ

25 ：天才 ：2024/03/21(木) 17:40:26.08 ID:vIXL+3G5a.net

反AIは楽天も使えなくなるのか
かわいそう・・・

26 ：安倍晋三🏺🏺- ：2024/03/21(木) 17:46:52.48 ID:g1GmFiIAd.net

楽天カードマン語録に特化し過ぎ

27 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2024/03/21(木) 17:49:59.74 ID:6hch1Mpb0.net

「AIさん、あなたの会社の出してる「楽天カードマン！」のウザイ広告どう思うか本音聞かせて？」

28 ：安倍晋象 🦣 ：2024/03/21(木) 18:37:40.75 ID:fur2CR5N0.net

なにかと楽天に誘導することを言うんだろうなぁ

その手があったか

29 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2024/03/21(木) 23:12:29.53 ID:YHAMUbhf0.net

>>14
実態そんなもん