前言 現(xiàn)在市面上的智能電子產(chǎn)品千千萬(wàn),為了達(dá)到人們使用更加方便的目的,很多智能產(chǎn)品都開(kāi)發(fā)了語(yǔ)音識(shí)別功能,用來(lái)語(yǔ)音喚醒進(jìn)行交互;另外,各大公司也開(kāi)發(fā)出來(lái)了各種智能語(yǔ)音機(jī)器人,比如小米公司的“...
前言
現(xiàn)在市面上的智能電子產(chǎn)品千千萬(wàn),為了達(dá)到人們使用更加方便的目的,很多智能產(chǎn)品都開(kāi)發(fā)了語(yǔ)音識(shí)別功能,用來(lái)語(yǔ)音喚醒進(jìn)行交互;另外,各大公司也開(kāi)發(fā)出來(lái)了各種智能語(yǔ)音機(jī)器人,比如小米公司的“小愛(ài)”,百度公司的“小度”,三星公司的“bixby”,蘋(píng)果的“siri”等等。這些語(yǔ)音識(shí)別的功能,提高人們使用電子的產(chǎn)品的體驗(yàn),但是作為一名測(cè)試員,給你一款語(yǔ)音識(shí)別產(chǎn)品,要怎么進(jìn)行測(cè)試呢?
接下來(lái),我就以小米手機(jī)為例,給大家介紹小米手機(jī)語(yǔ)音識(shí)別如何測(cè)試。
小米語(yǔ)音識(shí)別功能如何進(jìn)行測(cè)試?
要知道語(yǔ)音識(shí)別功能如何測(cè)試,我們先了解智能產(chǎn)品語(yǔ)音交互流程:
所以,要進(jìn)行測(cè)試的話,我們需要從以下幾個(gè)維度來(lái)準(zhǔn)備測(cè)試點(diǎn):
基礎(chǔ)功能測(cè)試:
1、聲紋的錄入:
語(yǔ)音喚醒,為了確保每個(gè)人的聲音、每個(gè)人在不同場(chǎng)景下的聲音都能成功語(yǔ)音喚醒,測(cè)試一定要有各種不同的聲紋來(lái)進(jìn)下測(cè)試。所以,就需要錄入各種不同的聲紋,來(lái)豐富測(cè)試場(chǎng)景的覆蓋;
2、語(yǔ)音喚醒:
正常喚醒:使用正常的聲紋進(jìn)行語(yǔ)音喚醒,檢查可以成功;
異常喚醒:使用異常的聲音,比如視頻/錄音進(jìn)行喚醒,音樂(lè)聲進(jìn)行喚醒,確保不會(huì)有誤喚醒。
3、喚醒后的功能:
a、語(yǔ)音找設(shè)備:可以喚醒設(shè)備,比如手機(jī),通過(guò)語(yǔ)音找到設(shè)備。
b、音量調(diào)節(jié):可以通過(guò)語(yǔ)音對(duì)設(shè)備進(jìn)行音量調(diào)節(jié)
c、連續(xù)對(duì)話:?jiǎn)拘言O(shè)備后,可以與期進(jìn)行持續(xù)的語(yǔ)音對(duì)話,功能正常。
d、指令識(shí)別:?jiǎn)拘押?,可以下發(fā)指令比如播放音樂(lè),查詢天氣,撥打電話、定鬧鐘等,檢查指令可以正常被執(zhí)行。
4、功能沖突交互測(cè)試
a、中斷測(cè)試:語(yǔ)音識(shí)別過(guò)程中,有中斷干擾,比如手機(jī)喚醒的時(shí)候有電話中斷;有鬧鐘中斷、低電量中斷等,確保這些中斷能被正常處理,不會(huì)造成異常;
b、麥克風(fēng)沖突:如果麥克風(fēng)被占用了,測(cè)試是否能被喚醒;
5、多用戶場(chǎng)景
因?yàn)橛脩羰褂谜Z(yǔ)音識(shí)別的場(chǎng)景非常多,測(cè)試很難進(jìn)行完全的覆蓋。所以,我們需要通過(guò)分析用戶的主流使用場(chǎng)景,來(lái)覆蓋主要的場(chǎng)景。
通過(guò)一些數(shù)據(jù)的采集,發(fā)現(xiàn)用戶使用的場(chǎng)景屏幕分布如下:
調(diào)查結(jié)果發(fā)現(xiàn),用戶使用語(yǔ)音功能主要覆蓋一下場(chǎng)景:
所以測(cè)試就主要優(yōu)先去覆蓋這些用戶場(chǎng)景,其他的場(chǎng)景用例優(yōu)先級(jí)可以逐步降低,調(diào)整測(cè)試權(quán)重,保證用戶主流場(chǎng)景的穩(wěn)定性和準(zhǔn)確性。
UI 測(cè)試
語(yǔ)音喚醒的有 UI 界面需要進(jìn)行 UI 測(cè)試。比如手機(jī)的語(yǔ)音喚醒功能,需要進(jìn)行 UI 界面的檢查,保持 UI 的友好型和美觀性;
兼容性測(cè)試
第三方應(yīng)用的兼容性測(cè)試如果設(shè)備里有安裝其他的應(yīng)用,比如手機(jī)里的其他應(yīng)用,是否可以通過(guò)語(yǔ)音識(shí)別喚醒后進(jìn)行指定的動(dòng)作操作;第三方應(yīng)用兼容性需要保證;
外界設(shè)備兼容a、三段式耳機(jī)接入
b、四段式耳機(jī)接入
c、type-c 數(shù)字耳機(jī)接入
d、藍(lán)牙耳機(jī)接入
通過(guò)接入這些第三方的耳機(jī)設(shè)備,可以進(jìn)行語(yǔ)音識(shí)別并且功能正常。
自動(dòng)化語(yǔ)音識(shí)別測(cè)試
以上都是通過(guò)手工進(jìn)行測(cè)試的,要進(jìn)行一個(gè)比較完整的語(yǔ)音識(shí)別覆蓋,至少需要以下配置:
測(cè)試人數(shù):10/20 人(男女各一半)
測(cè)試次數(shù):每個(gè)場(chǎng)景 50 次
測(cè)試環(huán)境:辦公室、會(huì)議室
測(cè)試場(chǎng)景:亮屏喚醒、滅屏喚醒、手機(jī)播放音樂(lè)喚醒、聲紋誤喚醒、基本語(yǔ)句識(shí)別率
但是手工測(cè)試是有不可忽視的一些嚴(yán)重缺陷的:
1、測(cè)試手法不統(tǒng)一:不同的距離和不同的角度都會(huì)導(dǎo)致識(shí)別結(jié)果不一樣。
2、測(cè)試過(guò)程中人員聲音波動(dòng)大
同一算法,同一產(chǎn)品,在測(cè)試人員不變,場(chǎng)景一致的情況下,多輪測(cè)試的數(shù)據(jù)差異大;
由此可見(jiàn),手工測(cè)試耗時(shí)耗力、測(cè)試數(shù)據(jù)參考價(jià)值低。所以,語(yǔ)音識(shí)別測(cè)試也可以進(jìn)行一些自動(dòng)化測(cè)試。
自動(dòng)化測(cè)試的關(guān)鍵點(diǎn)
1、開(kāi)發(fā)測(cè)試腳本,實(shí)現(xiàn)半自動(dòng)化語(yǔ)音測(cè)試
因?yàn)槭止y(cè)試就是沒(méi)有辦法提供那么多人進(jìn)行不同語(yǔ)料的測(cè)試,所以需要實(shí)現(xiàn)語(yǔ)料自動(dòng)合成和模擬??梢圆捎?python+pyaudio 開(kāi)發(fā) + 音箱模擬人聲,來(lái)對(duì)語(yǔ)音進(jìn)行識(shí)別測(cè)試。
而且通過(guò)增加語(yǔ)料量級(jí)(至少 40 組聲紋),降低喚醒/識(shí)別頻次;增加不同的噪音環(huán)境,不同噪音 + 不同距離,模擬用戶真實(shí)環(huán)境。
這樣,就可以覆蓋更多的不同的語(yǔ)料以及場(chǎng)景,大大提高識(shí)別的正確率。
2、語(yǔ)料自動(dòng)化播放 + 自動(dòng)化檢測(cè)
現(xiàn)在有了語(yǔ)料,但是需要手動(dòng)播放的話,工作量依然很大,所以需要實(shí)現(xiàn)語(yǔ)料自動(dòng)播放和自動(dòng)化監(jiān)測(cè)。
3、增加噪聲播放系統(tǒng) + 滑軌控制系統(tǒng)
因?yàn)橛脩舻氖褂脠?chǎng)景往往有很多的噪音,如果測(cè)試不模擬這種噪音環(huán)境,是沒(méi)有辦法真正還原用戶場(chǎng)景的。所以,需要設(shè)置一些噪音源,可以自動(dòng)化增加噪音,并可以調(diào)整距離。、
如下圖,就是小米公司的專為為測(cè)試語(yǔ)言識(shí)別造的混響室,以及自動(dòng)化調(diào)節(jié)人頭系統(tǒng)