在2020年小米開發(fā)者大會（MIDC）上，小米集團(tuán)副總裁、愛同奧秘集團(tuán)技術(shù)委員會主席崔寶秋宣布小愛同學(xué)5.0正式上線。小米小米學(xué)進(jìn)小愛同學(xué)由語音助手正式升級為智能生活助手。官方
在小愛同學(xué)持續(xù)進(jìn)化的揭秘技術(shù)背后，是愛同奧秘小米AI技術(shù)的強(qiáng)大支撐和不斷深耕，也離不開小米AI實驗室工程師們的小米小米學(xué)進(jìn)努力。
2020年，官方小米AI實驗室克服多項技術(shù)難點，揭秘技術(shù)在計算機(jī)視覺、愛同奧秘計算機(jī)語音、小米小米學(xué)進(jìn)計算機(jī)聲學(xué)、官方自然語言處理、揭秘技術(shù)知識圖譜、機(jī)器學(xué)習(xí)、論文與競賽等方面均卓有成效。小米自研AI技術(shù)已經(jīng)全面賦能了小米各項業(yè)務(wù)——手機(jī)、AIoT、互聯(lián)網(wǎng)等，HDR技術(shù)助力小米10 Pro/至尊紀(jì)念版奪得DXOMARK評測第一。
小米公司2020，小米AI努力前行，突破邊界，在自研創(chuàng)新的路上越來越堅定。2021，我們希望用人工智能的技術(shù)和產(chǎn)品，為你帶來更美好和更智能的生活。
一、計算機(jī)語音
計算機(jī)語音，就是對人說的話進(jìn)行處理，這是一個很常用的技術(shù)，在小愛同學(xué)里面的語音交互、語音生成等都用到了計算機(jī)語音技術(shù)。
2020年，小米AI實驗室做了大量的工作，在語音的喚醒、識別、生成等方面取得了重大的突破。
1、語音喚醒
2020年，小米自研兩麥語音喚醒、低功耗語音喚醒方案分別上線了小愛音箱Art、小愛音箱Art電池版和Redmi小愛觸屏音箱Pro 8英寸電池版，技術(shù)上取得了重大突破。
我們通過技術(shù)升級，杭州富陽（預(yù)約外圍）找外圍vx《1662-044-1662》提供外圍女上門服務(wù)快速選照片快速安排不收定金面到付款30分鐘可到達(dá)讓誤喚醒率降低了25%、喚醒延遲優(yōu)化了33%，Redmi小愛觸屏音箱Pro 8英寸電池版在喚醒性能沒有降低的情況下，待機(jī)時長增加了30%。
在喚醒方面，小米語音喚醒技術(shù)為了兼顧低功耗與高性能，采用了雙級喚醒策略。低功耗待機(jī)喚醒詞檢測模型，利用子采樣與共享隱含層等技術(shù)，減少模型資源消耗的同時保證召回率在一個較高的水平。
高性能誤喚醒檢測模型，采用粗粒度建模單元，結(jié)合局部信息與長時上下文信息，高效抑制誤喚醒。通過從海量數(shù)據(jù)中自動挖掘高區(qū)分度訓(xùn)練樣本，再經(jīng)過數(shù)據(jù)擴(kuò)充技術(shù)，提高喚醒模型在低信噪比與小音量場景下的魯棒性。
2、語音識別
2020年，小米語音識別在技術(shù)創(chuàng)新和業(yè)務(wù)應(yīng)用上均取得了明顯的進(jìn)步，主要包括4個方面：
第一，多通道端到端語音識別算法的研究取得一系列重要進(jìn)展。論文《MULTI-CHANNEL AUTOMATIC SPEECH RECOGNITION USING DEEP COMPLEX UNET》作為研究成果之一已入選IEEE信號處理協(xié)會的旗艦活動 SLT 2021會議。
文章實驗結(jié)論表明，提出的算法與亞馬遜AI團(tuán)隊最近提出的神經(jīng)波束形成方法相比具有約10%的性能提升。論文發(fā)布后，此研究繼續(xù)取得突破，相比于經(jīng)過工業(yè)界長期驗證的遠(yuǎn)場語音識別傳統(tǒng)解決方案，自研多通道端到端方案取得20%的相對提高，并入選小米集團(tuán)年度技術(shù)大獎前20位。
第二，包括手機(jī)、音箱、電視等線上主要業(yè)務(wù)業(yè)務(wù)識別準(zhǔn)確率大幅提高，相比去年同期識別錯誤率下降50%+。為小愛同學(xué)提供了更加精準(zhǔn)的環(huán)境感知能力，進(jìn)一步提升了小愛同學(xué)用戶語音交互體驗。
第三，在細(xì)分人群和細(xì)分場景等方面取得了明顯的改進(jìn)。2020年，小米語音對音樂點播、翻譯查詞等頭部場景的中英文混合識別能力進(jìn)行了專項優(yōu)化，英文歌曲識別準(zhǔn)確率較改善前提升100%，翻譯查詞識別準(zhǔn)確率提升50%。另外，針對兒童等細(xì)分人群識別準(zhǔn)確率低的問題也進(jìn)行了專門的聲學(xué)調(diào)教，童音識別準(zhǔn)確率提升近10個百分點。第四，動態(tài)識別、并行推理等新技術(shù)應(yīng)用改善了線上服務(wù)能力。動態(tài)識別技術(shù)極大地提高了對突發(fā)或新增內(nèi)容的支持力度，對新熱資源、網(wǎng)絡(luò)新梗、突發(fā)名詞等已實現(xiàn)分鐘級動態(tài)增強(qiáng)。在語音識別業(yè)務(wù) batch 推理優(yōu)化方面，小米的在線語音識別業(yè)務(wù)通過深度優(yōu)化 Kaldi 中模型推理模式，將原來的單序列模式改為 batch 模式，幫助業(yè)務(wù)的吞吐量提升3倍。
3、語音合成
2020年，小愛同學(xué)在聲音體驗上做了很多創(chuàng)新，如奶萌泡芙童聲、多情感語音、粵語合成、定制聲音等，不僅滿足了用戶對聲音情感化以及多樣化的需求，還通過黑科技帶給用戶更個性化的聲音體驗。小愛同學(xué)聲音體驗升級的背后，其實正是小米自研語音合成技術(shù)的迭代創(chuàng)新。
語音合成的工程師們付出了很大的努力，對端到端語音合成技術(shù)的框架做了重大升級，也就是“第二代端到端語音合成技術(shù)”，只需目標(biāo)發(fā)音人少量的錄音數(shù)據(jù)，便可實現(xiàn)在音色和情感自然度等層面的合成效果高保真還原。
此外，工程師們進(jìn)行了創(chuàng)新性探索，首先通過在模型中加入聲紋編碼和風(fēng)格編碼，使得目標(biāo)音色在利用其他數(shù)據(jù)完善自己對各類型文本駕馭能力的同時，保存了本真聲音特點，如童聲的奶萌，青蔥和茉莉的開心、關(guān)心；其次，我們上線了基于深度神經(jīng)網(wǎng)絡(luò)的聲碼器，使得生成的聲音在音質(zhì)上和對細(xì)節(jié)的刻畫上更趨于自然飽滿。
用心打磨粵語整體鏈路體驗，我們對超過兩萬句回復(fù)做了符合粵語表述的優(yōu)化，只為讓粵語功能更地道、更好用。粵語功能將跟隨小愛同學(xué)5.0在手機(jī)端上線，小米小愛音箱、小愛音箱Pro、小愛音箱Art、小愛音箱Art 電池版四款音箱已全量上線。
2020年2月，在小米10發(fā)布會上亮相了黑科技“定制聲音”，用戶只需要20句話就能夠復(fù)刻自己、戀人、親人的聲音。作為目前行業(yè)內(nèi)唯一一家大規(guī)模落地語音助手場景的公司，我們在不斷給用戶帶來溫情和爽點功能的背后，也曾面臨各種挑戰(zhàn)，例如如何基于少量低音質(zhì)數(shù)據(jù)、如何實現(xiàn)海量聲音模型云端智能調(diào)度、如何降低服務(wù)成本等，是這個功能落地背后工程師們一直致力解決的“難題”。
但在小米投資企業(yè)深聲科技的幫助下，小愛同學(xué)的工程師們花了大量時間精力打磨優(yōu)化，在短短幾個月時間攻克了難題，最終帶給用戶更流暢更逼真的效果體驗。
4、聲紋識別
2020年，聲紋識別技術(shù)持續(xù)擴(kuò)充新能力，優(yōu)化提升關(guān)鍵指標(biāo)，以覆蓋更多應(yīng)用場景。擴(kuò)充新能力層面，我們新增了兒童細(xì)粒度識別，進(jìn)一步保護(hù)兒童內(nèi)容健康。此外，我們將聲紋的注冊成本由原先的5句降低到3句，大幅降低了用戶的注冊成本。
近期，小米聲紋的工程師更進(jìn)一步，通過前沿的深度學(xué)習(xí)技術(shù)，直接將3句降成0句，用戶幾乎零注冊成本就可以使用聲紋能力。目前該技術(shù)已在小米電視5上線，大大提高了聲紋用戶覆蓋率。
在識別準(zhǔn)確率與誤識率層面，經(jīng)過一年的迭代優(yōu)化，我們達(dá)到了業(yè)界領(lǐng)先水平。
目前小米自研的聲紋能力，已落地在手機(jī)、音箱、電視等多種設(shè)備上，誕生了聲紋鎖、個性化聊天響應(yīng)、聲紋追劇、聲紋支付等很多用戶非常喜愛的場景功能。
二、計算機(jī)聲學(xué)
小米聲學(xué)技術(shù)致力于研發(fā)業(yè)界領(lǐng)先的智能聲學(xué)技術(shù)，以物理聲學(xué)、心理聽覺、信號處理、深度學(xué)習(xí)為理論基礎(chǔ)，開展陣列增強(qiáng)、通話降噪、智能感知、音頻聲場、聲學(xué)測量等技術(shù)領(lǐng)域的研究工作，全面支持小米集團(tuán)各個業(yè)務(wù)線的聲學(xué)算法需求，其中通話降噪、麥克風(fēng)陣列、協(xié)同喚醒、組合立體聲、全屋播放、揚(yáng)聲器均衡等算法達(dá)到行業(yè)領(lǐng)先水平，已在多款小愛同學(xué)產(chǎn)品上線。
1、協(xié)同喚醒
大家都知道，當(dāng)我們只有一個智能設(shè)備時，下達(dá)指令非常簡單且直接。但隨著用戶家里的智能設(shè)備越來越多，在使用和操作方面也變得更加復(fù)雜，小米一直在思考如何讓智能生活變得足夠簡單輕松、沒有負(fù)擔(dān)和門檻——小愛同學(xué)5.0，就是那個能幫你決策最佳執(zhí)行設(shè)備的“智能生活助手”。
小米希望通過全場景智能協(xié)同，為用戶提供多設(shè)備跨場景的靈活應(yīng)答和執(zhí)行能力，能夠智能地選出最符合預(yù)期的設(shè)備喚醒應(yīng)答、調(diào)起能力最匹配的設(shè)備執(zhí)行指令、通過最適合的設(shè)備觸達(dá)提醒。
首先在協(xié)同喚醒方面，當(dāng)你用語音喚醒小愛同學(xué)時，小愛同學(xué)將會從設(shè)備距離、活躍狀態(tài)、形態(tài)等綜合條件判斷，選擇最優(yōu)的設(shè)備應(yīng)答并傾聽，避免一呼百應(yīng)。在控制功耗、不增加時延的同時，實現(xiàn)與其他設(shè)備的高效協(xié)同，突破原本“就近喚醒原則”的限制，實現(xiàn)根據(jù)場景不同喚醒不同設(shè)備的協(xié)同喚醒。
其次是協(xié)同響應(yīng)方面，小愛同學(xué)解決了空間位置關(guān)系感知、設(shè)備能力統(tǒng)一建模、用戶上下文狀態(tài)管理等方面的技術(shù)難題，讓小愛同學(xué)在接收并理解你指令后，自主選擇出設(shè)備能力最能滿足當(dāng)前語義需求的設(shè)備，更好的滿足你的需求。
最后是協(xié)同提醒方面，借助小米IoT生態(tài)的優(yōu)勢，小愛同學(xué)會即時通過海量小米智能設(shè)備獲知環(huán)境狀態(tài)，加上對用戶家居控制習(xí)慣的學(xué)習(xí)記憶，預(yù)測你潛在的設(shè)備控制需求，適時主動為你作出提醒和建議，例如說晚安提醒你關(guān)燈，溫度高時提醒你開空調(diào)或風(fēng)扇。
2、陣列增強(qiáng)
在日常生活場景中，如果說話的人距離智能設(shè)備的麥克風(fēng)較遠(yuǎn)，加上周圍存在的噪聲、多徑反射和混響，會導(dǎo)致麥克風(fēng)收取信號的質(zhì)量下降，嚴(yán)重影響語音識別率。
針對這一問題，2019年，小米聲學(xué)與語音團(tuán)隊聯(lián)合推出了自主研發(fā)的陣列喚醒算法，并于2月20日上線小米AI音箱，有效提升噪聲場景平均喚醒率及回聲場景平均喚醒率。
9月20日發(fā)布的小愛音箱Pro及小愛音箱全量采用六麥自主研發(fā)的陣列喚醒算法，成為小米首款落地的全自主研發(fā)的智能音箱。
2020年，小愛音箱Art、小愛音箱Art電池版、Redmi小愛觸屏音箱Pro 8英寸電池版陸續(xù)發(fā)布，均搭載了小米自研兩麥陣列增強(qiáng)技術(shù)，采用兩麥盲源分離降噪前端，通過盲源分離、降噪、回聲消除等技術(shù)，在多聲源的嘈雜環(huán)境、音箱自身播放音樂時，都能結(jié)合語音增強(qiáng)技術(shù)，消除噪音的強(qiáng)干擾，獲得干凈、準(zhǔn)確的人聲音頻。
未來，這項技術(shù)將應(yīng)用到更多的小米設(shè)備中。
3、組合立體聲/全屋播放
小米AI實驗室聲學(xué)團(tuán)隊，依托自研分布式技術(shù)，持續(xù)研發(fā)出了基于Wi-Fi組網(wǎng)的分布式放音技術(shù)，并實現(xiàn)了國內(nèi)智能音箱首次落地組合立體聲的放音能力。
2020年，聲學(xué)團(tuán)隊分布式放音技術(shù)全面升級，跟隨小愛音箱Art發(fā)布立體聲2.0，持續(xù)在全屋播放場景深挖技術(shù)，打通了設(shè)備端與云端的復(fù)雜信息同步，創(chuàng)新性地實現(xiàn)了語音支持全屋播放，用戶只需說一句“全屋播放XXX的音樂”，即可實現(xiàn)同賬號同Wi-Fi下的所有設(shè)備自動組網(wǎng)、并自動同步播放相同音頻。在實現(xiàn)語音自動組網(wǎng)的同時，也仍然支持APP內(nèi)操作組建播放組，滿足用戶不同場景的不同播放需求。
除此以外，組合立體聲功能在2020年還實現(xiàn)了支持藍(lán)牙、Auxin場景，用戶可以通過藍(lán)牙或Auxin模式，自由地在組合立體聲上播放自己喜愛的音樂。
4、聲學(xué)標(biāo)準(zhǔn)
結(jié)合小米在硬件產(chǎn)品上的交互經(jīng)驗和數(shù)據(jù)累積，2020年，聲學(xué)實驗室完成了《智能語音設(shè)備聲學(xué)硬件準(zhǔn)入標(biāo)準(zhǔn)和設(shè)計建議》企業(yè)標(biāo)準(zhǔn)報批，并且作為起草單位參與了《信息技術(shù)智能語音交互測試》國家標(biāo)準(zhǔn)和《智能家居終端技術(shù)要求及等級評估方法》IEEE標(biāo)準(zhǔn)的制定。
建立適用于智能語音交互產(chǎn)品的遠(yuǎn)場語音前端系統(tǒng)測評規(guī)范，旨在從用戶體驗角度建立一套科學(xué)完善的系統(tǒng)性能測評標(biāo)準(zhǔn)，為技術(shù)改進(jìn)和方案選型提供有力支撐，促進(jìn)語音技術(shù)產(chǎn)業(yè)良性發(fā)展。
三、自然語言處理
1、MiNLP平臺
經(jīng)過兩年多的打造，小米AI實驗室從0到1，推出了一個技術(shù)領(lǐng)先、應(yīng)用廣泛、有小米特色的自然語言處理平臺（下稱MiNLP平臺）。目前MiNLP平臺已經(jīng)升級到了3.0版本，包含數(shù)十項NLP功能，已有30多個業(yè)務(wù)使用該平臺，每天調(diào)用量達(dá)到80億次。2020年11月，我們開源了MiNLP平臺中文分詞工具，后續(xù)還將陸續(xù)開源詞性標(biāo)注、命名實體識別、句法分析、語義分析工具。
分詞是自然語言處理的基礎(chǔ)，對小愛同學(xué)理解用戶意圖起著重要的作用。小愛同學(xué)之前采用開源分詞，準(zhǔn)確性不高且未針對業(yè)務(wù)場景進(jìn)行優(yōu)化。MiNLP平臺通過對分詞功能進(jìn)行升級，在語料自動標(biāo)注、領(lǐng)域數(shù)據(jù)增強(qiáng)、深度學(xué)習(xí)模型、人工干預(yù)機(jī)制、多端支持等方面有了很大的創(chuàng)新，先進(jìn)的MiNLP平臺為小愛同學(xué)提供強(qiáng)大基礎(chǔ)技術(shù)支撐。
2、機(jī)器翻譯
我們經(jīng)常遇到的翻譯是語音輸入——大家說話然后把它翻譯成其他語言。在機(jī)器翻譯過程中，第一步是通過語音識別系統(tǒng)將語音識別成文字，然后通過文字翻譯系統(tǒng)，將文字翻譯成另外一種文字。在這個過程當(dāng)中，語音識別系統(tǒng)可能會發(fā)生錯誤，且錯誤率一直較高。
針對這個問題，小米AI實驗室給出了一些解決方法，其中，提出了基于對抗訓(xùn)練的抗噪語音翻譯技術(shù)，簡單來說，就是訓(xùn)練時盡量構(gòu)造一些可能出錯的句子一起加入訓(xùn)練。
同時，小米通過技術(shù)探索，對現(xiàn)有主流的神經(jīng)機(jī)器翻譯模型進(jìn)行了優(yōu)化，在移動端設(shè)備上實現(xiàn)了基于低計算能力CPU的高質(zhì)量低延時的離線翻譯。
3、多模態(tài)內(nèi)容理解
“多模態(tài)”，簡單來說就是：擁有各種傳感器的智能設(shè)備，除了能聽（耳）會說（嘴）外，同時還能利用攝像頭（眼）觀察、利用底盤云臺（腳）移動等，從而全面的理解用戶意圖，和用戶進(jìn)行溝通，滿足用戶的需求。
作為多模態(tài)融合的應(yīng)用場景之一，小米在視覺模塊上投入了較多精力，全面擴(kuò)充了小愛同學(xué)的視覺能力，包括集成鍵盤輸入、語言輸入、圖像輸入的多模態(tài)輸入能力，自動截屏進(jìn)行翻譯、識物的語音與屏幕融合能力，還有新版掃一掃集成的六大核心功能：掃文檔、翻譯、掃碼、識物、掃題、名片，全新的小愛同學(xué)5.0實現(xiàn)了多場景視覺能力提升，小愛同學(xué)的“眼睛”更好用了。
從語音輸入走向視覺輸入，未來的人工智能不僅會是生活的工具，也將會朝著人機(jī)交互、情感交互的的趨勢發(fā)展，而如你我所見，小米的人工智能，一直在追求更自然地交互、更懂用戶的需求的方向上努力，從未停下腳步。
4、人機(jī)對話
語音交互中的全雙工連續(xù)對話能力，是目前業(yè)界比較關(guān)注的熱點。全雙工語音交互的特點是具備“邊說邊聽，可隨時打斷”的能力。小愛同學(xué)是首個在手機(jī)上實現(xiàn)自然連續(xù)對話的智能語音助理。作為小米人工智能應(yīng)用前沿探索的先鋒，小愛同學(xué)經(jīng)歷了幾代的技術(shù)積累與成長，也正朝著人文化、智能化的方向邁進(jìn)。
小愛同學(xué)5.0的對話式主動智能，改變過去語音助手有問才有答的產(chǎn)品形態(tài)，小愛同學(xué)將會自己和你溝通，像人一樣發(fā)起問題來增進(jìn)對你的了解，擁有了關(guān)于你的記憶，背后強(qiáng)大的全場景主動服務(wù)能力也得以更好的施展。
為了讓小愛同學(xué)能像人一樣，擁有“記憶”，小米克服了很多難點，首先，有賴于小米NLP技術(shù)支持的30多個業(yè)務(wù)場景、日調(diào)用次數(shù)達(dá)80億的深厚積累，用戶對小愛同學(xué)說過的話會經(jīng)過NLP分析處理，并主動學(xué)習(xí)其中關(guān)于用戶的知識，另外，小愛同學(xué)還能計算哪些問題可以主動向用戶提問，并在合適的時機(jī)加入到對話式主動智能的溝通隊列中。
然后是記憶的存儲，用戶專屬的小愛同學(xué)云端大腦會為用戶建立多維度的個人畫像，實現(xiàn)了全設(shè)備個人信息互聯(lián)互通，每次交互都可以結(jié)合個人畫像進(jìn)行計算，產(chǎn)生出面向用戶的個性化結(jié)果。
四、知識圖譜
知識圖譜，簡單理解就是知識庫，包括小愛同學(xué)的問答、搜索、推薦等能力都有涉及。知識圖譜對小愛應(yīng)用場景支持更廣泛，除了知識問答場景外，支持音樂、視頻、古詩、菜譜、復(fù)雜推理、閑聊等場景。我們還在小愛同學(xué)中增加了字、詞、篇章、古詩的教育類能力，強(qiáng)化了“世界之最”以及“十萬個為什么”知識專項。
小愛同學(xué)背后的知識圖譜技術(shù)的提升主要體現(xiàn)在以下幾個方面：
知識融合：多源異構(gòu)知識融合技術(shù)不僅支持了文本知識融合還支持了多模態(tài)知識的融合；
知識構(gòu)建：知識自動構(gòu)建技術(shù)已經(jīng)可以支持用戶定制及敏捷擴(kuò)展，可以更高效的支撐更多的業(yè)務(wù)；
知識關(guān)聯(lián)：目前已經(jīng)可以支持復(fù)雜的關(guān)系推理和知識推薦場景；
概念圖譜：概念圖譜體系持續(xù)擴(kuò)展，目前概念體系擴(kuò)展到了97%的實體；
實體鏈接：實體鏈接技術(shù)更加成熟，效果在小愛場景上準(zhǔn)召都到98%以上。
2021年，小米將打造更自動化的知識圖譜構(gòu)建技術(shù)、更智能化的知識表示和知識推理應(yīng)用、更開放化的知識圖譜社區(qū)、更特色化的知識內(nèi)容。
2020年，小米AI技術(shù)持續(xù)發(fā)展背后，藏著無數(shù)位工程師們的付出和堅持，也融合著小米期望將AI科技融入智能生活的美好愿景。
未來，小米AI實驗室將繼續(xù)攻克一個又一個難題，探索科技新高度，用人工智能的技術(shù)和產(chǎn)品，為每一個人帶來更美好和更智能的生活。
作者:探索
.gif)
.gif)
.gif)
.gif)
.gif)
.gif)
.gif)
.gif)
.gif)
.gif)
