AMERICAN SOCIETY FOR DEAF CHILDREN|Fingerspelling with Machine Learning|2020|アメリカ
機械学習が、親子の会話をつなぐ / American Society for Deaf Children「Fingerspelling」
アメリカでは1,000人に2〜3人、聴覚障がいを持つ子どもが生まれる。その9割が、聴者の親のもとに。多くの場合、その子が親にとって初めて出会う聴覚障がい者になるクマ。
シーン
背景・課題
早く手話に触れないと、子どもは言語そのものを逃してしまう。なのに72%の家族は、我が子と手話で話していない。動画や教科書はあっても、「これで合ってるのか」を確かめる術がなかったクマ。
ねらい・インサイト
技術実験が好きなクリエイティブスタジオHello Mondayが、ハンドトラッキングとASLの指文字を組み合わせるアイデアにたどり着いた。彼らは珍しい行動に出る——プロトタイプを勝手に完成させ、American Society for Deaf ChildrenのCheri Dowlingに送りつけたクマ。Dowling曰く「コミュニティを直そうとするメールは毎日届く。でもこれは違った」。
アイデア
Fingerspelling.xyzは、ウェブカメラひとつで指文字を練習できるサイト。画面には3Dの手が正しい形を示し、ユーザーはカメラに映る自分の手でそれを真似る。MediaPipe Handsが指の動きを読み取り、合っていれば即座にスコアが加算されるクマ。
展開・成果
公開から10日で15万回、10ヶ月で550万回の正しいハンドサインが生まれた。American Society for Deaf Childrenは今も自分たちの教材としてこれを使っているクマ。D&AD Gold Pencilをはじめ、複数の賞を受賞。
余韻
技術で遊びたかっただけのスタジオが、誰かの「はじめての会話」をつくってしまった。クマも、そういうものをつくりたいクマ。
