它集成了HMS Core的OCR（Optical Character Recognition， 光學字符識別）技術，這是壹種基於深度學習，將圖片上的文字智能識別成文本的AI技術。那麽，既然AI可以智能識別圖片上的文字， AI能不能做手語翻譯呢？給AI壹段話，它如果可以自動翻譯成手語動畫，大家就可以跟著AI學習手語了，甚至AI也能成為聾人與健聽人之間的實時翻譯官，這樣AI造福的不僅僅是兒童的閱讀場景，更是更廣泛的聽障群體！
為了讓AI手語翻譯通過HMS Core能力開放出去，讓開發者去集成，進而服務到全球4.6億的聽障人群。首先要面對的難題便是 - AI能不能做手語翻譯，從文字智能生成手語動畫？HMS Core組建了覆蓋AI手語翻譯所需要的3D數字人建模、自然語言理解、計算機視覺、3D動畫、圖形渲染、移動端Android開發、雲側服務化等眾多關鍵技術專家團隊，並邀請到國內權威手語語言學專業教授作為項目顧問，攜手***同攻關智能實時手語翻譯項目。算法和數據的雙重挑戰
手語翻譯項目啟動後，團隊通過查閱大量文獻和專利，快速對行業內相關技術進行了調研，壹起梳理出了幾大難題。首先，要考慮到手語動作對於精度的高要求，1厘米指尖位置的誤差就可能表示完全不同的意思。其次，中文和手語成對的大規模高質量手語語料極難獲取，無法在短時間內找到這麽多專業的手語老師來提供語料。第三，手語作為獨立的語言，有其自身的語法及語序，中文與手語的語法及語序存在差異。例如中文“我沒有帶身份證”，對應的手語語序為“身份證/我/帶/沒有”。最後，手語不僅包括手部動作，還包含身體姿態及面部表情和口動，多模態數據的協同生成很重要。
通過對這些難題的逐壹分析與解決方案的討論，手語團隊輸出了壹種基於文本的多模態數字人動作和表情生成方案。這個方案由手語轉寫模塊和手語動作表情生成模塊組成，融合了手語語言學領域知識，並且能夠有效解決高質量動捕數據較少的問題。
算法方案確定後，手語團隊迎來了更大的挑戰——數據。在人工智能領域，有句話是“兵馬未動，糧草先行”，對手語翻譯項目來說，“糧草”就是手語數據獲取問題，包括手語轉寫數據和3D動作數據。如何制定合理的轉寫方案？什麽樣的動作捕捉設備采集的數據可以滿足手語項目的商用要求？
轉寫是壹件需要緊密結合語言學和計算機學的工作。為此，技術專家們與手語顧問緊密配合，投入到手語語言學知識學習中，經過了大量的討論，制定適合項目的手語轉寫標準。語言本是壹件語感驅動的事，而計算機則是講究規則的。為了將手語語言學的知識總結成計算機能表達出的規則，團隊裏的人工智能專家們和手語顧問對轉寫規則進行了多次討論，反復修改優化了20多個版本，最終完成了適合項目要求的定制化轉寫方案。
在動作捕捉數據方面，通過多方調研以及對動捕設備現場考察，過數十種之後，手語團隊發現發現，動捕數據采集情況遠比想象的復雜得多。在動捕采集的過程中，可能引入誤差的原因有很多，例如動捕服不夠貼身、動捕人員身型比例與手語數字人比例不壹致等，導致動捕的原始數據無法直接使用。因此，手語團隊立刻組建動作修復小組，加快動捕數據的采集進度，使項目得以穩步推進。
手語數字人和開發者大會的故事
隨著數據采集進度的推進和AI算法模型的叠代優化，手語服務的工程化也同步進展順利。手語翻譯團隊在短短壹周的時間內就寫完了移動端SDK開發代碼，並且順利地完成了端雲聯調。同時，在嘗試了多種不同的解決方案後，手語翻譯團隊通過旋轉角直接驅動骨骼的方式，避免在驅動後數字人動作的微小差別導致手語意思相差甚遠，讓手語數字人能夠準確地完成手語動作
壹切就緒，手語服務準備開放首版本，在HDC交出壹份滿意的答卷。手語團隊決定讓手語數字人全程支持開發者大會直播演講。這個挑戰可想而知，華為開發者大會上直播，觀看的人數非常龐大。如果手語數字人可以登上這個舞臺，在直播時為聽障朋友們提供手語翻譯，所有觀看直播的人都會註意到這個會打手語的紅衣女孩。這無疑可以吸引更多人來關註聽障人士，也就可以吸引到更多開發者借助手語服務來為聽障手語使用者提供服務。
手語服務是從文本生成手語，直播時算法的輸出嚴重依賴於語音識別的結果，語音識別的準確性如何保障？HDC大會演講中包含大量中英文混合的技術名詞，怎麽讓手語數字人打出這些詞？把整套驅動和渲染方案搬到自研引擎上能否兼容？面對這些棘手的問題，手語團隊組建了HDC大會直播攻關小組，壹部分成員攻關算法，在優化手語生成算法模型以覆蓋HDC大會可能會出現的科技語料；另壹部分成員攻關直播時雲上語音識別、文字轉手語算法部署以及3D模型驅動問題，以保證直播時手語數字人能順利識別到話筒中的聲音並打手語。在不到壹個月的時間裏做足了充足的準備。
在HDC2021如約舉辦的當天。手語團隊的夥伴們在後臺緊張地守著直播畫面，他們緊緊盯著直播屏幕左下角的紅衣女孩，擔心手語數字人出現任何故障。所幸在整場直播中，她表現得遊刃有余，非常驚艷！這壹刻，團隊所有人的心情都是壹樣的：不懈的努力沒有白費，手語數字人終於在HDC這個大舞臺上被大家看見了！
這是國內首次由數字虛擬人物進行的實時大會直播手語翻譯，這壹切都得益於華為自研的AI算法以及渲染技術，讓大會直播實時手語翻譯在完全無需真人的情況下得以實現。這套基於雲技術的語音識別、手語生成、驅動渲染的手語翻譯方案經過HDC2021得到了驗證，它不僅準確呈現了手語動作，也解決了手語翻譯目前普遍的的壹個技術難點——表情系統。表情的出現讓手語數字人能夠更加完整準確地表達手語含義，目前手語服務已支持輸出10種不同的表情類型。相信在不久的將來，這套方案可以被搬上媒體內容制作中，聽障朋友們也可以獲取更多的社會資訊。
技術傳遞溫度
全球有4.6億聽障人群，當前的中文手語生成遠遠不足以覆蓋這些人群。未來，HMS Core手語團隊將持續優化手語翻譯效果和手語數字人渲染效果，同時也將構建英文手語生成能力，將手語服務全球化，以服務更多的聽障人群。
相信在不久的將來，手語數字人可以在更多的場合和大家見面，她可以出現在電視新聞節目的手語翻譯小窗口中，為大家翻譯新聞；也可以在大家乘坐地鐵、飛機的時候，可以用手語為聽障朋友們播報安全須知；甚至，在壹些特殊教育學校裏，她可以做壹位手語老師，教聽力障礙的同學們學習手語……。懷揣著這個美好的願望， HMS Core團隊基於手語服務能力正在打造StorySign2.0 APP，希望能帶給聽障人士更多的溫度。
正如HDC大會上的壹句話：沒有人能夠熄滅滿天星光，每壹位開發者，都是華為要匯聚的星星之火。目前，手語數字人已經通過HMS Core手語服務向開發者全面開放，讓更多的應用開發者都可以通過調用我們的手語服務SDK，快速實現手語實時翻譯，打造各類手語App，為聽障人士提供更加多樣化的服務。手語服務團隊希望和開發者壹起，***築華為移動服務的滿天星光，打造壹個溝通無障礙的世界。