イラストをLive2D化するときに最初にすること
イラストをLive2D化するときに最初にすることの備忘録。
おはようございます。
世の中の広告に嫌気が差し、メディアの報道にも気疲れし、とかくこの世生き辛ぇ〜〜とか思ってTwitterとYouTubeのアプリを消したTenaです。勧めてくれたのは友人ですが、ものすごい気が楽になりました。
企業は利益を追って当たり前なので、広告や報道の形態については反対とかするつもりはないです。消費者は単にその製品・サービスを使うのをやめればいい。
どこの会社が潰れようが儲けようが、私は私の好きなものだけに囲まれて過ごしたいです。
なんかいい絵が描けたのでLive2D化することにしました。
個人的な趣味でLive2Dをやっていると、イラストパートとLive2Dパートでそれぞれ結構時間を使うので、「イラスト描けたからLive2Dやるか〜」ってなったときに最初に何やればいいか忘れがち。
これもこの間の顔認識よろしくQiitaとかにまとめれるといいんですけど、アカウント作るのがめんどくさくてとりあえず自分用備忘録としてここに垂れ流すことにしました。
とりあえず、読み返しやすいように番号振ってみるとこんな感じ。
- psdファイルをレイヤー名とか整えておく
- Cubismにドラッグして読み込ませる
- クリッピング(影と目, 口)
- マスク(髪と耳; マスクは先に作っておく)
- ここらへんで一度保存
- メッシュの生成(都度でもok)
多分こんなもん。
このあとに目パチ口パク顔の回転体の回転をやって、物理演算やって、なんかいろいろまとめて、終わり。
現在の進捗状況は目パチ口パチ終わりで顔と片目のx回転途中って感じ。
そこそこ動くモデルにしようと思ってるんですが、デフォルトが正面向いてないと作業がちょっとめんどいですね。つかれた…。
落ち着いたから最近を振り返る
落ち着いたから最近を振り返る。
新しいｱｲﾊﾟｯﾖとか、絵とか、顔認識関連の話とか。
おばんです。
最近聞かなくなりましたね、この言葉。
また1~2週間ほど2日に一度寝る生活を先週まで続けていたのですが、今度こそ本格的に落ち着けそうな感じになりました。フラグですかね。
質の悪い広告と人の悪意を見るのに疲れてTwitterもYouTubeもアプリを消したんですが、気分は良いものの世間との距離がすごいことになってます。
いま世の中どんな感じなんですかね。オリンピックで盛り上がってるんでしょうか。みなさんどんな話をしていますか？
あー、ただ、Orangestarの新曲だけ聞きたいのでたまにブラウザのYoutube開いてます。
いい曲ですよね。登録してるサブスクのサービスで聞ければいいんですが、まだ登録されてないっぽいです。
もはやYouTubeくん使うのってここにしか曲がないときなんですよね。YouTubeが使いやすいとかではなく、消去法の結果です。プレミアム会員の方は楽しんでいるのかもしれませんが、未登録者への嫌がらせのやり方が気に入らないので私は他のサブスクを使います。
まあ、企業としてはいいんじゃないでしょうか。好きにしてもろて。こっちも好きにするし。
はい。愚痴が長くなる。やめようこの話題。
話題変えます。新しくiPad Proを買いました。嬉しい。
これ凄いんですよ。M1チップ載ってるらしいです。Macだけじゃないんですね。
と言っても、さほど処理の重い作業をiPadにさせるつもりはないので無用の長物ですが…。いまメインで使ってるノパソとどっちが性能いいんだろう…？
友人に「何に使うの？」って聞かれたから「お絵かきと計算用紙！」って答えたら殴られました。嘘です。殴られてはいないけどオーバースペック具合をなじられました。実質、心を殴られました。
そんなこんなでお絵かきに使ってみましたが、あれっすね。
前のiPadとの違いがわからない…。
あ、でも、画面サイズが若干前より大きいのと、Apple Pencilが使いやすくなったのはあります。
ホームボタンとかも無くなりましたよね。まだ少し使い勝手がわからない感じはありますが、製品に対する否定的な感情はないです。
画質も良いので、PrimeVideoとかでおもしろいアニメや映画を見ていこうと思います。
あ！そうだ、映画で思い出した。
一ヶ月前ですが映画大好きポンポさん見てきました。凄いおもしろいですよ。皆さんも見ましょうね。
友情・努力・勝利とかガン無視の、クリエイターっていう生き物の一番汚くて美しい部分をきちんと描いているのがいいですね。
普段ものづくりをしない人には刺さるか分かりませんが、布教のためにそういった友人を連れて行ったところ喜んでいたので、まあ面白いんじゃないですかね。
そも、私がクリエイターと名乗っていいのかは知りませんが。まあ自己表現をしたことがある人間はみんな一種のクリエイターですよ。多分。
さて、じゃあ最後に顔認識について話しますか。
とは言え、よく考えたらそんなに話すことなかったかもしれません。
最近やったのはトラッキング(トラッカー)の自作ですね。
顔検出くらいだったらネット上に無限に記事があるのですが、トラッキングとかになると段々参考資料が見つからなくなってきます。
フェイストラッキング。
VTuberだとか、動画に対する顔認識関連のことに関わったことのある人なら聞いたことがあるかもしれません。
軽く説明すると、動画に対して連続して顔検出を行うための高速化の話です。
動画って結局パラパラ漫画じゃないですか。高速で画像が入れ替われば、人はそれが動いているように感じます。その速度のことをFPS(Frame per Second)とかって言いますね。一人称シューティングゲームじゃないですよ。
PCの内蔵カメラだと、おおよそ30fpsくらい(0.03秒ずつ画像が更新される)です。でも、カメラの取ってきたサイズの画像全体に対して顔検出を行うと、検出するまでに普通に0.3秒とかがかかります。
つまり、顔検出をさせていたら動画が本来の10倍カクカクするってことです。
想像つくとは思いますが、目で見て分かるくらいには酷くなります。
じゃあどうするか。
トッラキングの一番単純な手法では、顔検出を行う範囲を狭くします。
参考としてはこんなイメージです。赤枠が顔検出を行う範囲です。
一番最初の一回だけ、カメラが撮ってきた画像全体に対して顔検出を行います。これは時間が少しかかります。
でもその次の画像って、普通に考えたらさっきと似たような場所に顔があるわけじゃないですか。なら画像のうちそこだけ切り取って渡してしまえばいいんですよ。
そんなわけでその作業を加えてあげると、顔検出付きの動画のfpsが3くらいから15とかにまで向上しました。
ほんとはコードとかも載せるといいんだけどね。はてなってあんまりそっち向けじゃないからね。
いつかQiitaとかのアカウント作って、そっちにまとめられたらいいなって思います。
自分でできる範囲の改良でも目に見えて良くなるので、顔認識はとても楽しいですね。
みんなもやろうね。プログラミングは実質異世界で言う魔法の修行と同じだから。プログラミングを勉強した経験があれば、異世界転生して魔法を学ぶことになっても苦労が少ない！
長くなってきたのでこの辺で。
熱中症とコロナに気をつけましょうね。
いい感じの絵が描けたから即Live2D化
いい感じの絵が描けたから即Live2D化した話をします。
なんかアニメ化とか書籍化みたいな響きありますけど、全部セルフの自己完結ですよ。
おはようございます。
一昨日の星街すいせいさんの歌配信アーカイブをリピートしてたんですよね。それで、分かる人には分かると思うんですが、何かにぶつけたくなるほどの衝動に襲われたので久しぶりにちょっと絵を描きました。
彼女は美しいですね。いいですよね、ああいうの。人間って感じがして私は好きです。
(うわHatenaってURL貼るだけで動画埋め込めるのか…)
難しいこと考えずにURLコピペしたら動画埋め込みの選択肢が出てきてビビりました。便利ですね。
んでまあこれ聞きながら絵を描いてました。
いつも似たようなものばっか描いてますが、もう自分はケモ耳キャラか金髪翠眼長耳エルフだけ描いて生きていけばいいんじゃないかって思いました。
あとは多分ですけどセーラー服が性癖です。あるいは何らかのコンプレックスがあります。
どんなファッションもセーラー服以上にはなれないから描く気もわかない。
もってけセーラーふく聴きすぎたせいですかね(暴論)
で、相変わらずまぁ塗りが下手くそモヤシなんですが、それなりに可愛い絵が描けたなぁって思いました。
そんで、最近Live2D作ってるよって話をしてなかったので、軽く動きつけてTwitterにでも上げるかーってノリでLive2D化しました。
はてなブログは流石に動画はアップロードできないんですね。
いまyoutubeのチャンネル適当に作ってきました。
このくらいのz軸、目パチ、口の変化、髪揺れだけの簡単なものなら、今の自分だと1時間強くらいでできるんですよね。
キャラクターの表情付けるのが苦手な上に、目を描くのが好きだからあまり閉じた目を描くこともなく、Live2Dがなければ自分の子供(描いたイラスト)の色んな表情を楽しむこともできなかったと思います。
Live2Dは楽しいからね。みんなもやろうね。
でも、初心者にはちょっと分かりづらい部分もあるので、その辺は流石にサポートしてあげられる記事書いてみたいなぁ。
もしくはさっき作ったyoutubeのチャンネルに投げてもいいかもしれない。
ちなみになんですが、今回口の実装だけちょっと変態的なことしてるんですよね。
口って本来上唇と下唇が必要なんですが、時短になるかなと思って次のような感じで作りました。
元が開いてる口なので、上下で分けるのが面倒だったんですよね。
これを畳むことで閉じた口を表現させてます。
ちなみに、口内の線まで含んでしまったのはミスで、「バレへんバレへん」の精神でこのまま作業しました。
結果は動画のとおりです。まあ、個人的に使う分には困りませんが、売り物にするには安定性に欠けるって感じですかね。
結構長くなってしまいました。
この土日はやらないといけない作業があるので、この辺で失礼します。
というか最近疲れが抜けないの、絶対に平日休日の区別なく作業してるせいなんだよなぁ…
なんとか生き延びたので最近を振り返る
なんとか生き延びた。
寿命を削る感覚を実感した。
ので、最近を振り返る。
今日話す(日記だから正しくは記す)内容は、顔認識楽しいよだとか良い小説書きたいだとかだから画像が本当に少ない。
まあこの制作日記自体がTwitterで話すと長くなってTLを荒らしてしまうことを恐れて生み出されたものだし。誰かに読ませることは想定していないので、万が一ここに辿り着いた人間はブラウザバックしてもっと有意義なことに時間を使おうね。
まあつまり、他人の日記を勝手に読むなと。
Hatena Blogの存在意義を全否定してしまった。
読みやすいものを書こうと思えばそれなりに体裁を整えたり資料を作成したりするのだが、一番忙しい時期を抜けたとはいえ今日もやることがある。
ので、本日の記事もひたすら思考を羅列していく。
はい。まず顔認識。
最近は割とテレビでも聞くような、人工知能だとかディープラーニング関連の話題ですね。そこの言葉の区別については長くなるので置いておくとして、まあプログラミングで色々書いて、人間の顔とかを認識できます。
これもね。やったことある人は多分かなり知識が深いんだろうけど、そうじゃない人は本当に何も知らないであろう専門分野だよね。
私がなんでそんなんやってるかって言うと、まあ、あまりネット上だと話しづらいこととかを隠すと、おおよそ趣味です。
趣味です。
理解しがたい人もいるかもしれないね。あれだよ、私はLive2Dでイラスト動かすのが趣味なんだけど、その延長で表情トラッキング技術(Facerigとかのやつ)の中身についても興味が出て、気付いたら趣味になってた。はい。変態さんかもね。でも世の中はもっとヤベェ奴いっぱいいるから。
んで、実際のところただプログラミングで機械(PC)に顔を認識させること自体はかなり簡単。
プログラミングにはライブラリ(書庫)という概念があって、言ってしまえば他の人が用意してくれたものをその名前を呼ぶだけで使えちゃう。
プログラミングで難しいのは、ソースコード書くことよりむしろ、必要なファイルの置く場所だとか、PC内の権限関連なんじゃないかな。実際プログラミングやろうとして環境構築がパスの通し方分からなくて諦める人多いし。
そのライブラリを使いまして、顔の各パーツの境界を点としてもらいます。
68点法って言うんだけど、点を選ぶ場所ではこちらでは選べません。
まあこの点の位置(xy座標)から、顔の向きとか表情を推定するわけだね。
でも、たとえば静止画があったとして、これだけの情報から上下左右を向いているのってどう判別すればいいだろう。
私達は絵を描くときとか、結構簡単に顔に十字線を引けてしまう。十字線引くのってつまり、顔の向きについて立体的に把握できてるってことなんだよね。
顔の角度で言えば、y(上下)が一番難しい。横は左右の顔の面積比とかで分かるし(人間の顔はほとんど左右対称という仮定)、首の傾きは正中線の傾きから取ればいい。
でも上向いてるかどうかってどこで分かる？顔の上下の比率なんて人それぞれだし、横方向の判定とは違う手段が必要だ。一番単純には、やはり十字線を引くのと同様アイラインの曲がり方を見ることだろうか。
でも目の形だって人それぞれだから、それだけではまだ正確な結果は得られない。
他には表情の推定。
私達が喜怒哀楽を読み取るとき、その対象の表情は必ずしもステレオタイプ(笑顔=(^▽^)みたいな)じゃないよね。
もちろん、「口は笑顔だけど目が笑ってない」みたいな小説にありがちな表現みたく、表情とか感情ってのはイチかゼロで分類できなくて、どの程度どの感情が強い、っていう判定になる。
可愛い女の子が口をすぼめて怒っていれば口の形は△に近くなるけど、少年漫画とかの表現では口角の上がった(口を大きく開いた)表情でも怒ってるって分かる。
つまりは、人はどこで感情を判定しているか。そんなことをずっと考えてた。
まあでも、調べれば出てきそうだけどね。まずは自分の中で分類してみたかったから、いまのところはオリジナルでやってる。
あれだよね。プログラミングするってよりかは、「人間はどう判別しているか」つまり人間の思考を探ることをしてるから、ものすごく楽しい。
人間は汚いし嫌いだし人類まるごと滅べば面白いとは思うけど、同じくらい興味深くて楽しくて愛おしい。
こういう表情分析みたいなのは一生やってられる。
まあつまり、プログラミングってよりかは人間の認知について考えることやってるから、顔認識楽しいよ〜って話。
顔を認識するだけでなく、その上で何をしたいか決まってると面白いんだろうね。
楽しいからみんなもやろうね。
はい。そんな感じです。
そういえば、最近はカンザキイオリさんの新曲が出ましたね。曲のコンセプト設定における言葉なのか、彼自身の今の気持ちなのかは分かんないですけど、自分のことを歌う感じが良いですよね。
最近理解したのは、私は誰かが自分自身のことを歌っているのが好きなんだなと。
だから応援ソングとかがほぼ刺さらないんですよね。いわゆる「若さゆえの荒っぽさ」みたいなのが好きなんでしょうね。
別に音楽に関しては詳しくないので偏見として語りますが、ミュージシャンって長年やってると自分のこと歌わなくなるじゃないですか。若い頃に散々歌ったからなのか、哲学が落ち着いて悩みでなくなったからなのかは知りませんが。
ああ、悩みがキーワードですね。
悩まなくなった人間、答えを出した人間ってつまんないんですよ。
もちろん、安定した哲学は心の平穏に繋がりますので、悪いことではないです。
はい。話の方向を自分の制作の話に戻しましょう。
というか、これもそうですね。やっぱ世の中とか誰かに何か物申すのって気持ちいいんでしょうね。自分のことを歌う人が好きって言っておいて、自分自身は他人について語っていました。ダサいですね。
んで、小説について。絵とかLive2Dとかは時間無くて何も制作できていません。
どのくらい時間無かったかって言うと、最後のこの一週間、2日に一回しか寝てませんでした。たまにそういう話聞きますが冗談だろと思っていたのが、案外人間って気合で起きていられるもんですね。
徹夜になると明け方に必ず心臓がすごい激しく動くので、寿命削ってんなぁという感じはありました。できれば毎日10時に寝て5時くらいに起きる生活に戻したいです。
小説はですね。おっぱいのやつはもう好き勝手書いているのでコンセプト所クソもないんですが、別でいくつか書いたり設定を作ったりしてます。もちろん、没になったものもたくさんあります。
面白い小説と読まれる小説って違うんですよ。
というか大抵、書き手が思う「面白い」は自分にとってであって、世間一般のものとはズレている可能性が
戒めとして打ち消し線表示で残しておく。
日記とはいえ小説についてグダグダ語ってるのは恥ずかしいしダサいですね。何やってんだろ。
いい塩梅に精神的にキツイ時期が続いたので何か良いものが書けると思います。
最近は毎日楽しいです。やることが多くて、ぐちゃぐちゃで、わかんないことばかりで、辛くて、それなりに責任とか義務とかあって、逃げられなくて、だからこそ自分の形というものが見えやすくなって、幸せです。
でも、やっぱり絵を描く時間くらいは欲しいですね。
そのくらいは暇が欲しいものです。
色選択が下手だ
色選択が下手だ。
配色のセンスはそこまで酷くないと思っていたのだけど。
この間まで毎日更新していたが実際のところさほど報告する内容が毎日生まれるわけでもなく、なんだかんだ創作は毎日何かしらしているもののこちらに記録するほどもない些事ばかり。
小説のネタをメモできるメモ帳でPCとスマホの同期が取れるものを探してみると、あらまあ不思議もとから入ってるGoogle Keepで十分事足りるじゃないか。メモ帳を移行しました。
小説において(あるいはあらゆる創作において)「すごい」と「おもしろい」は別物なのだが、読者が読みたいのはおもしろい作品で作者が書きたいのは(大抵)すごい作品。この食い違いが難しいものだと思う。結局、実際にすごい作品を書ける人間は何を書いてもすごくできるので、おもしろい作品を書こうとしていればそれで良い。勝手にすごくなる。
以上、Twitterだと言いづらいこと。終わり。こんなんツイートしたら倍速でフォロワー減るよ。
で、まあ、最近イナニスへの感情が強くて、ツインテールイナという電波を受信したからBGMをイナニスの配信にしてカキカキしました。懺悔です。
線が引けました。
今後は線画はちゃんとペン系のツールで書こうと思いました。n敗です。
色を置きます。
いや色選択が下手だ…。
塗ってる内に改善するってのもあるけれど、イラストが上手い人ってこの時点で結構いい雰囲気だよね。なかなかその領域にたどり着かない。
他にはあんまり書くことないですね。
小説の方は、なんか、こういう設定で書いたら面白いよなっていうメモが無限に溜まっていきます。
いまは精神が安定してるのでいい文章は書けないんですけど、予定とか重なって地獄の底みたいな時期が来るのを待ちましょう。
満たされている人間にぶっ壊れた面白さは生み出せないと思います。
なんか眠い。
最近早寝早起きしてるからだ。
ご飯食べて寝るか。
当然Live2D進めるよね
当然Live2D進めるよね。
昨日の私が立てた予定とか従うわけないじゃん。
なんだっけ、落書きしつつLive2Dはお休みして本業関連の作業？
やらんやらん。普通に楽しいからLive2D進めます。
お酒を入れながら今日更新の小説を書き、ようやく予約投稿が終わったところなので多分テンションが少し高め。
昨日3時間しか寝てなくて体調が悪いのか、あんまり美味しくお酒を呑めなかった。悲しみ。
昨日の朝方は何してたかって言うと、イナニスの配信流しながらツインテイナ概念を模索してた。ラフっぽいのは描けたけどまあ完成させないだろうしここには挙げなくていいや。
そんなこんなで、Live2D。顔とか体のxyz回転。あと口内の表現もやった。
あとは大体物理演算だね。
髪の揺れと、顔がz軸回転したときの髪の重力方向。
まあ他にも細かいとこで直したいところはいくつかあるから、物理演算後に最終確認。
いやけどまあ、かなり動くようになってきたね。可愛いよ。特に名前つけてないけど。
さて、実質2徹だしかなりまぶたが重くなってきている。この記事もめちゃくちゃ誤植しそうになってる。変換ミスが目立つ。
文字数余るし、小説についても少し書こうかな。
まあ小説って呼んでいいのかわかんない、某おっぱいのやつ。
最初に投稿した頃に言ってたけど、ここらへんの(時期の)作品は全部習作扱いなので、何かしらの実験をしてたりする。そういえばたりを単体でも使っていい場合があることを知って驚いた。
さてじゃあ某おっぱいのはどんなことを目的に書いているかって言うと、大きく分けて3つ。
・長文タイトルを使ってみること。
・長編ファンタジーを書いてみること。
・形あるプロットを用意しないこと。
他にもどこまでR指定のギリギリを攻めれるかみたいなのもあるけど、いまはいいや。
長文タイトルとかもそうだけど、基本的にやるべきでないことをやってる。それを通して、自分がどんなことをできるのか、小説を書く上でどんなことをしたらまずいか、読者ってのはどういう風に作品を消費するのか。ここらへんを調べてる。
結構分かってきたこともあるよね。あとはそう、「感想」っていう読者とのインタラクティブ機能がある環境で小説を書く上で、どこまで読者のことを視野にいれるべきかっていう話も考えた。
まあ結論としては微塵も考えなくていいんだけど。小説なんて自分が面白い作品って呼べるものが書けるならそれでいい。それが一番難しいと思うけどね。「話の構成が面白い」んじゃなくて、「作品として面白い」。つまり結局最終的に読者視点を持ち込む必要があるわけで、でもそれは実際の読者でなく、想定における読者でいい。面白い起承転結なんてどうでもいいから、それをプロデュースした結果が面白いかどうか考えればいい。
なんか長くなったな。
ほんとは長文タイトルについても書こうと思ってたけど、こんくらいでやめとこうか。
ああ眠い。
イラストパート終わりでいい気がした
イラストパート終わりでいい気がした。
神様が「もうどうせ変わらないしLive2Dやろうよ」って囁いた。
イナニスさんのお絵かき配信(English)を作業BGMにしていたら英語上達しないかなと思い始めてはや二日。リスニングは向上しないが、母語だろうが外国語だろうが女の子が笑っている声はいいものだと思った。
ちなみに、昨日の夜はn-bunaが弾き語りをしていたのでそれをBGMにしたら捗った。
徹夜をしたため昼頃に目を覚まして夜まで少し創作に関係のない作業をし、夕食を終えてから少しだけVモデル作業を進めることにした。
まずはクリスタを開き、参考になる画像なんかをPCに並べながらスカート等々の塗りを進める。
全然進まない…；；
ある程度まで行ったところで、この先はやるならしっかり時間をかけなければいけないし、費用対効果を考えるならイラストパートを終えるべきであることを悟る。
正直に言うと、作業BGMとして流してたイナニスのお絵かきが上手くてグダグダ描いていることに心が折れた。話は逸れるが、個人的にイナのデザインはV最高峰だと思っている。イラストは黒星紅白という方。
神様が「もうどうせ変わらないしLive2Dやろうよ」って囁いた。
PCの方のクリスタでpsdファイルとしての体裁を整え、Live2Dを開いた。
新しく増えたパーツとか諸々の調整をしました。
うん。まあ、いいかな。
襟のあたりとか流石に違和感感じるから陰影もう少し足すつもりだけど。
そんなわけで、残りの作業は顔のz軸と体のxyzと口内の表現。あと物理演算。
ちなみに、足から下がないのは仕様。今回は上半身だけで値段設定を下げたものを作るって方針なので。
明日は本業関連の作業進めて、夜のうちに執筆して、息抜きに落書きしてって感じかな。Live2D作業は進めない予定。いま考えた予定だけど。
2時か。眠くなるまで絵描いて、睡魔に任せて寝よう。
