AMERICAN SOCIETY FOR DEAF CHILDREN|Fingerspelling with Machine Learning|2020|アメリカ

機械学習が、親子の会話をつなぐ / American Society for Deaf Children「Fingerspelling」

毎年、アメリカでは1,000人のうち2〜3人の子どもが、聴覚障がいをもって生まれてくる。そしてその90%が、聴者の親のもとに生まれるクマ。多くの場合、その子が、親にとってはじめて出会う聴覚障がい者になるクマ。

▎背景・課題

早期に手話に触れる機会がなければ、聴覚障がいのある子どもは言語習得そのものを逃してしまう可能性があり、それは言語の遅れや剥奪につながり、長期的に深刻な影響をもたらすクマ。でも実際には、72%の家族が聴覚障がいのある子どもと手話でコミュニケーションをとっていない。教科書や動画で学べたとしても、決定的に欠けているのは「正しくできているか」という確信クマ。言語剥奪に対処し、聴覚障がいのある子どもと聴者である親・友人との間のコミュニケーションの壁を取り払うため、クリエイティブスタジオHello MondayはAmerican Society for Deaf Childrenとパートナーシップを結んだクマ。

▎ねらい・インサイト

技術実験が大好きなHello Mondayが、リサーチとアイデアセッション中に「ハンドトラッキングとASLフィンガースペリングを組み合わせられるのでは」というアイデアの種を見つけ、フィンガースペリングの世界と、より良いソリューションの必要性を深掘りし始めた。数ヶ月のプロトタイピングを経て、同社は珍しい選択をした——クライアントを自分たちで選び、プロトタイプをAmerican Society for Deaf ChildrenのCheri Dowlingに送ったクマ。Dowlingは「こういうメールはほぼ毎日届く。ほとんどは『聴覚障がいコミュニティを修正しようとしている』ものばかり」と振り返るけれど、このプロジェクトは違ったクマ。

▎アイデア

Fingerspelling.xyzは、ウェブカメラと機械学習を使ったハンドトラッキング体験で、手話のアルファベットを学べるツール。ASL教授と密に協働しながら、MediaPipe Handsという高精度なハンド&フィンガートラッキングソリューションを使ってユーザーの手の動きを追跡するクマ。3Dの手のモデルが画面左に表示され、各文字で手と指をどう配置すべきかを示す。たとえば「Able」という単語が出題されると、最初の文字「A」をサインするよう促される。ユーザーは右側のウェブカメラ映像で自分の手を見ながら、3Dモデルを真似る。リアルタイムでフィードバックが返され、正確にスペルできた単語と文字ごとにスコアが加算されるクマ。デザインの目標は、フィンガースペリングを可能な限りクリーンでシンプルに伝えること。3Dの手を中心に配置し、遊び心のあるタイプフェイス「Labil Grotesk」と組み合わせた。角度のついたグリフが、手のジェスチャーに似たダイナミックな動きを反映している。

▎展開・成果

ローンチから10日以内に15万回の正しいハンドサインが作られ、10ヶ月後には550万回を超えたクマ。American Society for Deaf Childrenは、Fingerspelling.xyzを自身のトレーニング教材の一部として使用している。D&AD Gold Pencil（Interactive & Mobile Craft - Innovation、Interactive, Online & Mobile - Utility）、Silver Pencil複数部門、Webby Awards複数部門など、数々の賞を受賞したクマ。

▎余韻

技術の実験から始まったプロジェクトが、本当に必要とされる場所に届いて、親子の会話を、未来をつないでいる。「聴覚障がいは障がいではない。言語剥奪こそが障がいだ」というAmerican Society for Deaf Childrenの信念が、Hello Mondayの技術への好奇心と出会って、こんなにも美しい形になったクマ。クマも、自分のつくるものが誰かの「はじめての会話」になれたら、と思うクマ。