EllisShang

ケーススタディ

ラグジュアリースニーカーEC向け3DデジタルヒューマンAIエージェント

AIエンジニア · Besneakers · 2024年10月 - 2025年4月

概要

自然言語処理とPythonベースのAIエージェント、3Dデジタルヒューマンを組み合わせ、Besneakersの高級スニーカーブランド向けカスタマー体験を支えるAIシステムを開発。

主要技術

PythonNLPLLMSTTTTSAudio2FaceMetaHumanThree.jsWebGLReactTypeScriptOpenAI APIWebRTC11 LabsNvidia OmniverseAudio2FaceRunPod

成果

  • ヨーロッパのラグジュアリースニーカーブランド向けに 3D AI ショッピングアシスタント体験を提供。

ストーリーとプロセス

概要

Besneakersは、イタリアで製造された高品質なスニーカーを専門とするエリートブランドです。バルカナイズ製法、ストローベル製法、ボードラスティングなどの技術を駆使し、自社特許マシンと卓越したクラフトマンシップによって高い品質基準を維持しています。

本プロジェクトでは、AIエンジニアとして、自然言語処理とPythonベースのAIエージェント、そして3Dデジタルヒューマンを組み合わせたカスタマー向け対話システムの構築を担当しました。

担当内容

  • プロジェクトファウンダーと密にコミュニケーションを取り、WebおよびAI技術に基づく開発方針を策定し、その革新性と実用性を両立させました。
  • 3Dチームとの連携をリードし、デジタルヒューマンに必要なAIモジュール(音声認識/STT、自然言語理解/LLM、音声合成/TTS、Audio2Faceによる表情生成)を包括的に設計・実装。
  • エージェントのナレッジベースを調整し、英語とイタリア語のバイリンガル対応を実現することで、スイスおよびイタリアのビジネスクライアントとの円滑なコミュニケーションを支援しました。
  • MetaHumanベースのアニメーションシーケンスを開発・最適化し、会話コンテキストに応じて柔軟に切り替えることで、自然で滑らかなインタラクションを実現しました。
  • 独自ツールやワークフローを活用してAI開発プロセスの効率と品質を高め、継続的なプロダクトイノベーションを推進。
  • プロジェクト進行状況を定期的に評価し、必要に応じて技術戦略を調整することで、スケジュールどおりのデリバリーと品質目標の達成に貢献しました。
  • 複数部門との連携会議に参加し、技術ロードマップをブランドポジショニングおよび市場ニーズと整合させ、製品競争力の向上を図りました。
  • 最新のAIおよび3D技術動向を継続的にキャッチアップし、Besneakersのプロダクトアップグレードと技術革新に向けた提案を行いました。

成果

この3DデジタルヒューマンAIエージェントにより、Besneakersはオンラインチャネルにおいてもブランドのクラフトマンシップとラグジュアリー性を反映したプレミアムな顧客体験を提供できるようになりました。