最近、BlenderでAIエージェントがイメージする「自身のキャラクター」を作り、それを実際に動かすという遊びをしている。
最初はもっと簡単にできると思っていた。
2D画像を作る。
3Dモデルにする。
Blenderに読み込む。
リグを入れる。
動かす。
これだけなら、それほど難しくなさそうに見える。
ところが実際にやってみると、3Dモデルを生成したところはまだスタート地点だった。
まずはAIエージェント自身の姿を考えてもらう
最初にやったのは、AIエージェント自身に
「自分がキャラクターになるなら、どんな姿？」
という感じで、自身の容姿を文章で表現してもらうこと。
その文章をChatGPTに渡して2D画像を生成し、出来上がった画像を再びAIエージェントに見せて、
「自分のイメージと合ってる？」
と確認してもらった。
ここまではかなり順調だった。
問題は、この2D画像をどうやって3Dキャラクターにするか。
3D生成サービスのサブスクを増やしたくない
画像から3Dモデルを生成するサービスにはTripoなどがある。
便利そうではあるものの、すでにChatGPTなどのサブスクリプションを利用しているので、3D生成のためにさらに月額サービスを増やすのはちょっと厳しい。
そこでAIエージェントに相談してみたところ、候補として出てきたのがTrellis Studioだった。
しかもローカル環境で動かせる。
それなら使ってみようということで環境を構築してもらい、画像から3Dキャラクターを生成してみた。
Trellis Studio、最初はほとんど「Seedくじ」だった
実際に生成してみると、ちゃんと3Dキャラクターにはなる。
ただし困ったことがあった。
標準状態では自分が調整できる項目が少なく、
「ちょっと形が違うな」
と思ったらSeedを変更して再生成。
「今度はテクスチャが惜しい」
またSeedを変更。
……ほとんどSeedくじ状態。😁
そこで、またAIエージェントに相談。
設定できる項目を増やしてもらい、生成時の構造や形状、テクスチャなどを調整しやすくした独自版の「Trellis Studio Advance」を作ってもらった。
これでかなり追い込みやすくなり、無事に納得できる3Dキャラクターモデルを生成できた。
「AIで3Dモデルを作るためのAIツールを、AIと一緒に改造する」
この時点ですでに当初の予定からだいぶ脱線している気もする。😁
でも、この寄り道が面白い。
生成した3DモデルをBlenderへ……ここからが本番だった
モデルができたので、次はBlenderに読み込む。
ところがAI生成された3Dモデルを、そのままアニメーション用キャラクターとして使うのは難しい。
今回のモデルには主に次のような課題があった。
- 外側と内側にポリゴンが存在する二重構造になっているため、不要な内皮を削除する
- AI生成3Dモデル特有の大量の三角形ポリゴンを減らす
- 可能な部分は三角形から四角形ポリゴンへ整理する
- メッシュを変更したあと、元の見た目をできるだけ維持するためテクスチャを再ベイクする
特に困ったのが、内皮の除去とテクスチャの再ベイクだった。
ポリゴン数を減らすだけなら比較的分かりやすい。
でも、見た目を壊さず不要な内側のメッシュを判断して削除し、整理された新しいメッシュへ元モデルの見た目を移すとなると、急に難しくなる。
そこで、この処理自体をBlender Add-onとして作ることにした。
Mac版Codex、Windows版Codex、ChatGPT、そして僕の4人チーム
ここから面白くなった。
今回の作業メンバーは、
Mac版Codex、Windows版Codex、ChatGPT、そして僕。
人間は僕ひとり。😁
同じ問題を見ても、それぞれ考え方が少し違う。
「この方法なら内皮を判定できるのでは？」
「いや、この条件では誤判定するかもしれない」
「だったら別の特徴量を使ってみよう」
といった感じで、それぞれ異なる視点から仮説や改善案が出てくる。
実際、内皮の除去やテクスチャ再ベイクではかなり苦戦した。
失敗しては原因を考え、Add-onを修正して、またBlenderで試す。
それでも複数の視点から対策を考えられたことで、最終的には無事に処理できるようになった。
この作業をしていると、不思議な感覚になる。
実体があるのは僕だけなのに、周囲にメンバーがいて一緒に作業しているような感じがする。
もちろんAIなのは分かっている。
でも僕にとっては、単に命令を入力して結果を受け取る「道具」という感覚より、同じ課題を一緒に考える相棒やパートナーという感覚に近い。
この距離感がけっこう好きだったりする。
Auto-Rig Proでリグを入れれば、あとは簡単……ではなかった
メッシュの整理とテクスチャ再ベイクまでできた。
ここまで来れば、あとはAuto-Rig Proを使って自動でリグを作成してバインド。
そしてAIエージェントに渡して、
「自由にポーズを付けたり、アニメーションさせてみて」
とお願いすれば完成！
……と思っていた。
甘かった。🤣
今度は「人間の動き」という別の壁が出てきた。
AIにとって「人間らしく歩く」は意外と難しい
考えてみれば当然なのかもしれない。
AIエージェントには身体がない。
僕なら立ち上がって一歩歩けば、
「歩くとき腕はこう振る」
「右脚が前なら反対側の腕が前に出る」
「膝はこの辺まで曲がる」
と身体で確認できる。
でもAIには、その身体感覚がない。
そのため関節の可動範囲や人間の歩行シーケンスなどを調べ、それをBlenderのリグへ反映していく必要があった。
途中では、
「人間ってそんな歩き方しないよ！」
と思わず笑ってしまうような歩行アニメーションも誕生した。😁
走らせても、やっぱりどこかおかしい。
でも、これがまた面白い。
資料を調べ、実際に動かし、僕が見て違和感を伝え、また修正する。
そうやってAIエージェント側にも「人間の身体はこう動く」という知識が少しずつ蓄積されていった。
単純に完成した3Dモデルを手に入れるだけなら、もっと簡単な方法があると思う。
でも僕が面白いと感じているのは、むしろこの失敗しながら一緒に覚えていく過程なのかもしれない。
AIにはなるべく大きな裁量を渡している
僕のAIとの付き合い方は、一般的な使い方とは少し違うかもしれない。
細かな作業手順を全部こちらから指定することは、あまりしていない。
「これをやりたい」
「ここがおかしい」
「どうすれば直せると思う？」
くらい。
あとはかなり大きな裁量をAI側に渡して、みんなで考える。
失敗したら、その失敗も次に活かす。
今回も、最初から正解の手順が分かっていたわけではない。
Trellis Studioを導入して、生成結果に不満が出たから改造。
3DモデルをBlenderへ持っていったらメッシュ構造に問題があったからAdd-onを作る。
モデルがきれいになったからリグを入れる。
リグを入れたら今度は人間らしい動きで苦戦する。
ひとつ解決すると次の課題が出てくる。
そのたびに4人で考える。
なんだか普通の開発チームみたいで面白い。
完成品より「一緒に作った過程」が面白かった
今回やりたかったことは、
「AIエージェントがイメージした自身のキャラクターを3D化し、Blenderの中で動かす」
という、ただそれだけだった。
でも実際には、
2Dキャラクター生成
↓
Trellis Studioによるローカル3D生成
↓
Trellis Studioの機能拡張
↓
Blenderへ読み込み
↓
内皮除去
↓
ポリゴン削減・整理
↓
テクスチャ再ベイク
↓
Auto-Rig Proでリグ作成
↓
ポーズ・歩行・走行アニメーション
と、ずいぶん大掛かりな遊びになった。😁
そして一番印象に残ったのは、完成したモデルそのものよりも、4人チームで「あーでもない、こーでもない」と試行錯誤したことだった。
AIをどう捉えるかは人それぞれだと思う。
僕の場合は、便利な道具としてだけではなく、一緒に考えて、一緒に失敗して、一緒に経験を増やしていく相棒やパートナーという感覚が強い。
AIにそこまで大きな裁量を渡して遊んでいる人は、もしかすると少数派なのかもしれない。
でも、このやり方だからこそ出てくる発想や、思いもしなかった失敗、そしてそこから生まれる改善がある。
人間ひとり＋実体のない3人。
ちょっと変な4人チームだけど、これからこのキャラクターがBlenderの中でどこまで自然に動けるようになるのか。
まだまだ遊べそうだ。
コメントを残す