【速報】誰でもVtubérになれるシステムが登場 [952483945]

1 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 07:41:15.69 ID:FdNDeVTnr.net ?2BP(1000)

https://img.5ch.net/ico/anime_zonu01.gif
https://gigazine.net/news/20210205-vtuber-talking-head-anime/
https://i.gzn.jp/img/2021/02/05/vtuber-talking-head-anime/00.png

2021年2月2日、Googleでソフトウェアエンジニアとして働くプラムック・カンガーンさんが1枚のキャラクター画像から多彩な表情を作り上げることができるシステムを開発したと発表しました。このシステムは目や口、
虹彩などを自由に動かすことができ、さらに自分の動きをリアルタイムで表情に反映させることも可能とのことです。

Talking Head Anime from a Single Image 2: More Expressive (Full Version)
https://pkhungurn.github.io/talking-head-anime-2/full.html

キャラクター画像一枚でより表情豊かなアニメーションを生成するシステムを作ってみた
https://pkhungurn.github.io/talking-head-anime-2/index-ja.html

カンガーンさんは簡単にVtuberになれるようにすることを目標に、2019年にこのシステムの作成を開始しました。入力画像として1枚の画像を読み込ませると、さまざまな表情に変化させた画像を出力できるというシステムですが、
最初はキャラクターの顔を回転させることと、目と口を開閉させることしかできなかったとのこと。この時はポーズを指定するためのポーズベクトルが6種類しかなく、キャラクターは6種類の動きしかとることができませんでした。

キャラクターの表情を増やすべくカンガーンさんはアノテーションとプログラミングを繰り返し、9カ月かかった末にポーズベクトルを42種類まで増やすことに成功しました。ポーズベクトルには頭の回転3種類と

虹彩の動き4種類
眉毛の動き12種類
目の動き12種類
口の動き11種類です
https://i.gzn.jp/img/2021/02/05/vtuber-talking-head-anime/snap0430.png
https://i.gzn.jp/img/2021/02/05/vtuber-talking-head-anime/snap0431.png
https://i.gzn.jp/img/2021/02/05/vtuber-talking-head-anime/snap0433.png
https://i.gzn.jp/img/2021/02/05/vtuber-talking-head-anime/snap0434.png
https://i.gzn.jp/img/2021/02/05/vtuber-talking-head-anime/snap0435.png
https://i.gzn.jp/img/2021/02/05/vtuber-talking-head-anime/snap0436.png
https://i.gzn.jp/img/2021/02/05/vtuber-talking-head-anime/02.png

これにより、キャラクターは42種類のポーズベクトルを動かして何通りもの細かい表情をとることが可能になりました

このシステムは男性のキャラクターにも女性にキャラクターにも対応しており、髪や眼鏡越しに見える目も問題なく変化させることが可能とのこと。
また前回のシステムでは入力画像が口を閉じているものだと出力画像の口を開くことができませんでしたが、今回はある程度適切な形で開くようになっているとのことです。

また、このシステムはiFacialMocapというiOSアプリを用いてiPhoneで自分の姿を撮影し、表情をリアルタイムでキャラクターに反映させることもできるとのこと。この機能を使用している様子は以下のムービーで確認できます

さらに録画した映像を使用し、あらゆるキャラクターに表情を反映させることも可能です。VTuberに長ゼリフで有名な外郎売を演じさせたり……

歌を歌わせたりといったことが可能になっています

カンガーンさんいわく、このシステムには「3Dモデルができる動きしか画像に反映させられない」「入力画像に制限がある」など、まだまだ改善すべき点があるとのこと。
これらの問題は次回のプロジェクトで解決すると語っています

2 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 07:41:51.58 ID:afimXgFC0.net

　　　　　　　　　　　　　　　、---、
　;/(_　　　　　　　　____--/　　　　ヽ__
/　 ゝ___/ゝ_　　__/゛'ヽ　　ヽ´ん` 丿/;;;; ---;__
|；　|　　　;;|　／　;;;;;;;;＼　　　　,／／;　、 --ゝ＼
|　 |　　　　|/　(;;;;;;;;;;//゛＼_____／゛｀＼_;;;;;;;;;;;|;;;　;|;
;|　 |_　 __--、____;;;;;/_。　___::|::______。/|゛ゝ_______-;;|
　＼_　゜|゛　| |___ ＼/ゝ--;;　　　 ;;;　_ノ||　ヽ＼　;　|∋
　　　゛--　;|゜ｂ_）_丿|_/　　　,　　　　│;;|　 |　∪゛∨
　　　　　　/|_-_））_/　　＼,,;;;;;;,,_／　＼--_|　|
　　　　　 | |-__-- |　　　_丿(U)ヽ　　　　ヽ　| ;|
　　　　　 ∨　￣゛ゝ---゛;|　　　 ＼_　;;　 |　 ∨
　　　　　　゛　　　∠----゛゛　　　|゛----ﾉ
　　　　　　　　　　　　　　　　　　 （＿＿__）

3 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 07:41:57.67 ID:WTKrHM0T0.net

https://toyokeizai.net/articles/-/410319
一般人が｢ライブ配信で食う｣までの険しい道程
｢投げ銭｣で安定収入を得るための数々の努力

4 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 07:42:40.11 ID:zgdr80Dxa.net

これは地味に凄いことだと思う
Live2Dはああ見えてかなり大量の絵が必要だからな

5 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 07:43:18.41 ID:aZB3bBK/0.net

facerigでいいだろ

6 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 07:44:22.40 ID:8O5oQGcu0.net

アバターが作れるだけでしょ

7 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 07:44:41.54 ID:bdYIBOyr0.net

これ怖いのはリアル人間でこれやるシステムも同時に進化してることよな

8 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 07:45:02.24 ID:A2ToIUy60.net

委員長がいい、中身変人だけど
https://i.gzn.jp/img/2021/02/05/vtuber-talking-head-anime/snap0436.png

9 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 07:46:02.75 ID:Zr2Jc4NV0.net

やっぱ海外は優秀だな
steam辺りで誰でもVtuberセットガチなやつ出したほうが良い
後はYouTube動画編集用好きな声優によるナビボイスソフトな
早い者勝ち
早く出した方が良い

10 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 07:46:37.80 ID:dxX+EpdF0.net

ツクールかよ

11 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 07:46:55.11 ID:hMhHAH/W0.net

カンガーンさんがかんがーえた

12 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 07:48:09.70 ID:aW3r/5R70.net

これで俺らもスパチャで稼げるぞ！

13 ：虐げられる人々の擁護者 ：2021/02/06(土) 07:49:59.49 ID:Fje30Uog0.net

俺もVtuberなりたいわ
いくらで買えるの

14 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 07:58:06.68 ID:7XIolw9k0.net

Facerigより用意する素材が少なくていいとかかね

15 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 07:58:40.60 ID:/FtvM1fo0.net

わためはかわいいなぁ

16 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 07:59:14.42 ID:19vPe/VM0.net

facerig買えばいいじゃん

17 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 08:02:48.73 ID:7XIolw9k0.net

Facerigはサブスクになるらしい
まだ買ってないやつは急げ

18 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 08:07:13.94 ID:vsjKKsSf0.net

NG避けすんな
ゾーニング理解できないからオタクは馬鹿にされるんだよ

19 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 08:08:09.11 ID:Exz2UzCm0.net

キズナアイの声が変わったわスクリプトは反応できないのか

20 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 08:09:31.52 ID:lv8gQAu60.net

ゲーム実況でも、ワイプなし、二次元絵ワイプあり、仮面等本人ワイプあり、本人ワイプありで視聴者数全然違うらしいよ

21 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 08:10:38.89 ID:TtmfNGzSp.net

自分の顔を撮影してLive2Dに変換するアプリを作りたい

22 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 08:16:00.93 ID:Exz2UzCm0.net

>>21
そんなんもう既存であるんじゃないの

23 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 08:21:19.38 ID:A2ToIUy60.net

>>18
お前がキズナアイbotだろ？

24 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 08:26:42.82 ID:uaKHiH6n0.net

ガンギマリが公共の場で普通に使われるようになって草

25 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 08:40:52.61 ID:xL0UZEbA0.net

>>14
Facerigはカメラとかで顔認識して、目をつぶる、口閉じるとかの動きを検出し、
その情報で3D や、Live2Dのモデルを動かすリグで、
おばあさんや、たぬきなどのモデルがサンプルについている。

ここで話題なのは１枚の絵から目をつぶった絵、口を閉じた絵を生成出来るという話なので、Live2Dのモデル作りでやっているようなことが自動で出来るということなのだと思う

26 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 08:51:25.08 ID:7XIolw9k0.net

>>20
複数だと絵が静止画で点灯に変わるが
あれは確かに萎えると思うわ
一枚絵すらないと見られもしないと思う

27 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 09:35:29.39 ID:wlcG7dzg0.net

ああ、ガンギマリがあるからわためがいるのか

28 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 10:04:12.79 ID:6xdNe3tl0.net

わためぇはわるくないよねぇ？

29 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 10:08:23.37 ID:4IzeFknOd.net

実際顔を出してこない動画配信者はみないことにしてる

30 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 14:21:25.98 ID:fYSXhx5w0.net

>>29
下手に顔出しするとへずまりゅうみたいなのに絡まれるデメリットあるし

31 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 14:51:03.36 ID:mdMTm2TJM.net

髪揺れは対応してないのか。

32 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 14:55:52.33 ID:q94drT710.net

結局一枚絵を勝手に半立体化してくれるだけで
顔認識で反応させるしか無いってこと？

それだとまた設定失敗して
素顔出してしまう不幸が生まれるだけやん

33 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 16:45:46.93 ID:w9oRxj+F0.net

これテストモデルに夜桜たまちゃん使われてて草生えた

34 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 17:19:00.55 ID:zinw23Ol0.net

まぁ、Live2Dの立ち絵って手も動かないのがほとんどだし、これで十分かもね

35 ：番組の途中ですがアフィサイトへの＼(^o^)／です ：2021/02/06(土) 17:20:09.24 ID:2ezkoNFe0.net

みんなゲス顔になってて草