関連記事で、手話動画の作成を試みました。大雑把なモノは、作成できるのですが、手話の様な「細かい指の動き」には、現段階のAI技術が追随しておらず、一旦、諦めました。今回、ZEPETO（ゼペット）アバターを活用して、思い通りになったので、ご報告です。
AI技術が追随していない根本的原因
関連記事「【初心者向け】AI技術を活用して、テキストから「ショート動画（手話）」を作成」にも記載しましたが、AI技術では、入力テキスト（プロンプト、呪文）が、非常に重要です。
・関連記事で最も優れていた「Microsoft Designer」（無料）で、以下のプロンプトで、手話で「泣く」がうまく作成できました。
| 首元まである赤いシャツを着た髪が長い若い白人の女性が、眼を開けて、こちらを見ながら、片手で無く、地面と水平方向にして、揃えた両手の先で、眼元に触れている。 A young Caucasian woman with long hair, wearing a neck-length red shirt, opened her eyes, looked at me, and touched her eyes with the tips of her hands, not with one hand, but with the tips of her hands parallel to the ground. |
・ただ、手話で「助けられた」は、「左手の立てた親指を右手で2回、引き寄せる」なので、以下のプロンプトを試みましたが、左手を右手を混乱しており、右手も忘れ去られました（AIは、「親指を立てる」＝「右手」の固定概念もある様です）。他のプロンプトでも、無理でした。現段階のAI技術では、追随していないと判断しました。
・特に、手話の様な「細かい指の動き」の実現性は、非常に低いと言わざるを得ません。
| 首元まである赤いシャツを着た髪が長い若い白人の女性が、眼を開けて、こちらを見ています。彼女が左手の親指を立てながら、その左手に右手を添えます。 A young white woman with long hair, wearing a neck-length red shirt, looks at me with her eyes open. Place her right hand on her left hand while she puts her left thumb up. |
ZEPETO（ゼペット）アバターに至った経緯
次が、「Webカメラだけで“手も動かせるVTuber”に 無料の3Dアバター操作ソフトをエイベックスが公開」記事に記載の「VTuberツール「RiBLA Broadcast (β)」Ver1.0.0 Win/Mac」です。
・ダウンロードしてトライしました。デモ動画でもある様に、「両手をあげる」は、追随します。ただ、1枚目の手話で、「構わない、よろしい」は、追随しますが、2枚目の手話で、「事」は、両手で括弧になっていないので、残念でした。要するに、「細かい指の動き」が実現しないです。
]
「Pica AI 画像ジェネレーター」で、リアル写真をアニメ化
「細かい指の動き」の動きが必要なので、「Pica AI 画像ジェネレーター」で、リアル写真のアニメ化を行いました。ただ、指の再現性が低いです。特に、重なっている箇所が課題です。
・本トライで、気づきがありました。「細かい指の動き」の動きは、現段階では、「リアル写真には、勝てない」です。
ZEPETO（ゼペット）アバターの活用
「細かい指の動き」の動きは、現段階では、「リアル写真には、勝てない」です。従って、顔だけをアバター化して、「指は、リアル写真」としました。アバター化は、iPhoneでは、「ミー文字」もありますが、Androidでも使用可能な「ZEPETO（ゼペット）アバター」としました。
・自分のZEPETOアバターを作成して、カメラ撮影した手話（静止画）が以下です。満足する出来栄えとなりました。記事「ZEPETOアプリの使い方！写真からアバターを作る方法、ポーズの撮影のやり方」が参考になります（ちなみに、うちでは、パーツだけで作成しました）。なお、ZEPETOのカメラ撮影画像は、一般的なカメラと左右が逆なので、静止画にした段階で、左右逆処理をお願いします。
・これらの静止画を活用した「ショート動画（手話）」が「手話を一緒に勉強しませんか。本ショート動画の最終目標は、「虹（菅田将暉）」が手話で歌える様になる事です①(^^) 」です。よろしければ、ご確認ください。
| ・「数枚の静止画」→「ショート動画」は、「CapCut（キャップカット）」をスマートフォンアプリで使用しました。「CapCut(キャップカット)とは？基本的な機能・使い方を解説」が参考になります。 |
・なお、「自分のZEPETO（ゼペット）アバター」で、ミニ動画を撮影して、これをつなぎ合わせても良いのですが、そもそも、私の様な手話の初心者は、「静止画でじっくりと理解する」必要があり、ミニ動画を避けたのが理由です。もちろんの事ながら、手話の中級者以上であれば、ミニ動画でも問題無いと考えます。
■後日談
・本記事を記載中に、ネットで「Webcam Motion Capture – Webカメラだけで指・手のトラッキング」を見つけました。つまり、「Webカメラだけで自然で安定した手と指のトラッキングができます。」であり、デモ動画でも、指が完全追随しています。
・ただ、うちでは、「数枚の静止画」→「ショート動画」なので、現時点では、特に必要が無いと判断しました（確かに、気になる方は、指画像もイラスト化で、メリット有りですが…）。
まとめ
手話の様な「細かい指の動き」には、現段階のAI技術が追随しておらず、一旦、諦めました。今回、ZEPETO（ゼペット）アバターを活用して、思い通りになったので、ご報告です。
・ポイントは、「細かい指の動き」の動きは、現段階では、「リアル写真には、勝てない」です。従って、「顔は、ZEPETO（ゼペット）アバター」で、「指は、リアル写真」としました。これらの静止画を活用した「ショート動画（手話）」は、満足する出来栄えとなりました。
皆さんのご参考まで（＾＾） 何かあれば、お気軽にお問い合わせください。
2024年3月10日
関連記事
| 本記事で紹介した関連記事「【初心者向け】AI技術を活用して、テキストから「ショート動画（手話）」を作成」 |
上記も含めた、本ブログの「気ままな独り言」カテゴリー（水槽、ブログ、仕事、猫と人間など）の記事リスト（約30件）です。他の記事も、どうぞ。
・各記事の左上に「検索窓」があるので、気になるキーワードを入れて頂ければ、ご要望の記事があるかもしれません。
