用戶測(cè)試是開發(fā)語音用戶界面（VUI）過程中非常重要的一環(huán)。 本章講述語音用戶界面測(cè)試的實(shí)用方法（成本由低到高），包括如何訪談測(cè)試對(duì)象以及如何衡量測(cè)試結(jié)果。 1、VUI 用戶測(cè)試的特殊考慮因素 ...
用戶測(cè)試是開發(fā)語音用戶界面（VUI）過程中非常重要的一環(huán)。
本章講述語音用戶界面測(cè)試的實(shí)用方法（成本由低到高），包括如何訪談測(cè)試對(duì)象以及如何衡量測(cè)試結(jié)果。
1、VUI 用戶測(cè)試的特殊考慮因素
開始測(cè)試前，不要主動(dòng)向用戶透露系統(tǒng)有語音識(shí)別功能（其他途徑了解除外）。
測(cè)試中需重點(diǎn)確認(rèn)：
1、用戶是否知道他們可以與系統(tǒng)對(duì)話？
2、他們知道如何開始對(duì)話、何時(shí)開始說話嗎？
2、用戶及用例背景研究
強(qiáng)烈推薦早期階段進(jìn)行用戶調(diào)研。
不要重造輪子
1、尋找類似開發(fā)產(chǎn)品，即使實(shí)現(xiàn)方式不同。
2、通過市場(chǎng)已有產(chǎn)品，了解類似功能如何運(yùn)作以及產(chǎn)品特色。
3、如果存在類似 IVR 系統(tǒng)，通常會(huì)有呼叫中心的人工客服做后盾?？梢宰诤艚兄行慕勇犽娫?，了解來電用戶的真實(shí)情況。
4、對(duì)呼叫中心的客服做調(diào)研，從他們那里了解用戶想要什么？用戶最大的抱怨是什么？什么樣的信息是用戶難以獲取的。
5、采訪你的目標(biāo)服務(wù)人群。
如果你正在設(shè)計(jì)沒有 IVR 組件的移動(dòng) App，你應(yīng)該明確你的 VUI 系統(tǒng)可以解決什么？
3、為真實(shí)用戶設(shè)計(jì)研究方案
盡早對(duì)真實(shí)用戶進(jìn)行測(cè)試，根據(jù)用戶的實(shí)際情況進(jìn)行優(yōu)化設(shè)計(jì)。
1、任務(wù)定義
無論是做早期測(cè)試、原型測(cè)試，還是在測(cè)試系統(tǒng)上進(jìn)行全面的可用性測(cè)試，都必須仔細(xì)定義你要求用戶執(zhí)行的任務(wù)。
測(cè)試內(nèi)容：主要集中在對(duì)話的主流程（如常用功能）、高風(fēng)險(xiǎn)區(qū)域的任務(wù)、完成主要目的的任務(wù)、以及需求定義期間確定的設(shè)計(jì)標(biāo)準(zhǔn)。
撰寫任務(wù)：只描述任務(wù)目標(biāo)即可，避免提及相關(guān)指令和操作步驟。
任務(wù)內(nèi)容：內(nèi)容簡(jiǎn)單易懂，不易誤解。語氣溫和讓參與者保持輕松狀態(tài)。
任務(wù)順序：為了避免排序造成的影響，最好隨機(jī)排列任務(wù)順序。
如何更好的進(jìn)行任務(wù)測(cè)試：拉丁方陣設(shè)計(jì)，每一項(xiàng)任務(wù)在每個(gè)位置都被安排一次，并且每一項(xiàng)任務(wù)可以輪次緊接著另外幾項(xiàng)任務(wù)，而不必通過出現(xiàn)所有可能的排列方式來試驗(yàn)。
2、選擇參與者
在目標(biāo)用戶中抽取測(cè)試用戶。因?yàn)槭茉囌唠x目標(biāo)群體越遠(yuǎn)，測(cè)試結(jié)果越不可靠。
絕大數(shù)用戶研究是定性的：參與者越多，測(cè)試成本越高。一般測(cè)試人員控制在5-10人最為合理。
篩選測(cè)試用戶：準(zhǔn)備一份文檔，描述測(cè)試用戶所具備的條件，以確保他們符合目標(biāo)用戶的條件。
如何招募測(cè)試用戶：
2.1、通過招募公司
2.2、朋友和家人作為測(cè)試用戶
2.3、遠(yuǎn)程測(cè)試拓展招募范圍
3、提問
正確的問題更能梳理出用戶體驗(yàn)的關(guān)鍵要素。
需要注意：面對(duì)面的訪談中，大多數(shù)人會(huì)表現(xiàn)得更加友善，有時(shí)會(huì)對(duì)提供消極反饋猶豫不決，也可能會(huì)夸大事物的積極面。所以我們要學(xué)會(huì)合理判斷用戶是否說真話。
測(cè)試之前：友善引導(dǎo)受試者，請(qǐng)他們幫助改善系統(tǒng)功能，表示希望能聽到他們的真實(shí)反饋，即使是負(fù)面反饋也會(huì)欣然接受。
測(cè)試過程中：避免誘導(dǎo)用戶，盡量讓他們用自己的話解釋。我們需要做的就是傾聽、引導(dǎo)、挖掘用戶的內(nèi)在想法。
測(cè)試結(jié)束后：受試者在任務(wù)之間切換可能會(huì)忘記一些細(xì)節(jié)。所以每項(xiàng)任務(wù)完成后，詢問受試者幾個(gè)問題，并在整個(gè)測(cè)試結(jié)束再設(shè)置一組問題。
李克特量表的幾條實(shí)用指導(dǎo)原則：
1、用一般現(xiàn)在時(shí)來陳述或提問。
2、不要使用本來就是事實(shí)的陳述或能夠被理解為事實(shí)的陳述。
3、避免使用可能會(huì)有歧義的陳述。
4、避免使用大多數(shù)人都會(huì)贊成或反對(duì)的陳述。
5、盡量使積極陳述和消極陳述的數(shù)量相當(dāng)。
6、語句應(yīng)該簡(jiǎn)短，控制在 20 詞以內(nèi)。
7、每句話都應(yīng)該符合語法規(guī)范。
8、避免使用普遍性的修飾詞，如：所有、總是、沒有人、從不，這些詞經(jīng)常會(huì)發(fā)生歧義。
9、避免使用不明確的修飾詞，如：只有、僅僅、剛好、很多、很少、罕見等。
10、盡量使用簡(jiǎn)單句，避免用復(fù)合句或并列句。避免使用包含假設(shè)因果關(guān)系的語句。
11、使用回答者可以輕松理解的詞匯。
12、避免使用否定詞，例如：不、無、從不等。
關(guān)于李克特式問卷，這里就不放出表格了，可以去百度搜索下。
調(diào)查問卷包含了 App 的7個(gè)不同緯度：準(zhǔn)確性、概念、建議提供（內(nèi)容）、易用性、會(huì)話的真實(shí)性、用戶好感度和視頻流。
4、開放式回答（口頭提問）
我們需要注意負(fù)面的陳述（系統(tǒng)很難使用）通常與積極的陳述（系統(tǒng)很容易使用）一起使用。這樣做可以避免引起用戶的偏見。
如何統(tǒng)一衡量正面和負(fù)面陳述？
對(duì)負(fù)面陳述的計(jì)分方式與正面陳述相反。然后通過計(jì)算每個(gè)類別的平均得分，對(duì)本次特定用戶測(cè)試分類進(jìn)行總結(jié)。
5、重點(diǎn)觀察事項(xiàng)
通過觀察用戶或觀看遠(yuǎn)程測(cè)試視頻時(shí)，需要注意用戶在 App 前做了什么，還要關(guān)注他們的面部表情和肢體語言。
進(jìn)行 VUI 可用性測(cè)試時(shí)需要觀察的事項(xiàng)：
1、用戶是否知道什么時(shí)候該說話？什么時(shí)候不該說話？
2、假如你正在做早期測(cè)試，在語音識(shí)別功能就緒之前，他們會(huì)說什么？系統(tǒng)如何捕捉現(xiàn)實(shí)語音？
3、他們?cè)谀睦飼?huì)感到困惑和猶豫？
4、任務(wù)測(cè)試期間，用戶需要多長(zhǎng)時(shí)間才能完成測(cè)試任務(wù)？
面對(duì)用戶的提問，我們不應(yīng)該直接回答，而應(yīng)鼓勵(lì)他們多嘗試獨(dú)立操作，當(dāng)用戶出現(xiàn)崩潰或沮喪時(shí)，這時(shí)該給予幫助。
4、早期測(cè)試
概念測(cè)試越早越好，除了測(cè)試移動(dòng)設(shè)備的傳統(tǒng)方法，還需要掌握其他一些低保真測(cè)試方法。
1、示例對(duì)話
VUI 早期測(cè)試工作的第一步就是創(chuàng)建示例對(duì)話。
示例對(duì)話：系統(tǒng)和用戶之間的對(duì)話，不需要很詳細(xì)，只需要展示最常用的會(huì)話路徑、以及一些不常用但非常重要會(huì)話路徑，如錯(cuò)誤校正等。
在編寫完示例對(duì)話后，進(jìn)行模擬朗讀測(cè)試，這些對(duì)話聽起來如何？有重復(fù)嗎？是否感覺呆板？
與開發(fā)人員討論設(shè)計(jì)中復(fù)雜功能（例如：處理代詞或引用用戶先前的表述），但需要得到開發(fā)人員的認(rèn)可，而不是開發(fā)后期再給他們“驚喜”。
2、原型
創(chuàng)建原型是早期階段測(cè)試 App 的外觀和感覺的好好方法，是獲取用戶對(duì)虛擬角色反饋的良好開端。
3、綠野仙蹤測(cè)試法
WOz （綠野仙蹤）測(cè)試是在系統(tǒng)設(shè)計(jì)早期完成的，會(huì)用在被測(cè)對(duì)象實(shí)際還未完工的時(shí)候。
WOz 測(cè)試：語音系統(tǒng)設(shè)計(jì)過程創(chuàng)造性的一部分，而不是用來校準(zhǔn)即將完成開放給用戶使用的模型。
進(jìn)行 WOz 測(cè)試的條件：需要“巫師”和助理，巫師：專注于監(jiān)聽聆聽用戶的話語和表情并開啟下一步操作。所以這個(gè)人不能同時(shí)負(fù)責(zé)訪談和記錄。
移動(dòng)端 App 適用的幾種用戶測(cè)試方案：
4、文字短信法
測(cè)試前告訴用戶對(duì)著你的機(jī)器人發(fā)短信，進(jìn)行會(huì)話測(cè)試（其實(shí)那個(gè)機(jī)器人就是你）。
5、專注于簡(jiǎn)短的任務(wù)
某些情況下，你只想了解用戶在特定情況下會(huì)說什么。這個(gè)測(cè)試不需要語音識(shí)別功能，只需要一個(gè)模擬屏幕畫面和相應(yīng)提示就足夠了。
6、持續(xù)給出“錯(cuò)誤輸出”
在對(duì)話中根據(jù)用戶的回復(fù)，加入后退行為重復(fù)詢問上一段問題，并提供相應(yīng)的 GUI 選項(xiàng)。
7、先測(cè)試 GUI（盡管 VUI 尚未完成）
創(chuàng)建一個(gè)簡(jiǎn)單可用的原型，用戶能夠在原型上滑動(dòng)頁面、按下按鈕、操作部分功能等。
8、WOz 測(cè)試與可用性測(cè)試的區(qū)別
WOz 測(cè)試的優(yōu)點(diǎn)：不僅能夠測(cè)試早期原型，在開發(fā)前期修改系統(tǒng)設(shè)計(jì)會(huì)比開發(fā)中再修改成本低很多。
在測(cè)試 VUI 過程中，WOz 測(cè)試和可用性測(cè)試之間最主要的區(qū)別就是識(shí)別精度。
GUI 進(jìn)行 WOz 測(cè)試時(shí)：用戶的動(dòng)態(tài)操作一清二楚，不會(huì)產(chǎn)生歧義。
VUI 和自然語言交互進(jìn)行 WOz 測(cè)試時(shí)：“巫師”必須做一些實(shí)時(shí)動(dòng)態(tài)的解讀，并判斷這句話在真實(shí)的語音識(shí)別引擎下能否識(shí)別。“巫師”需要對(duì)用戶的會(huì)話作出判斷，了解用戶真正含義以及 VUI 是否能夠處理。
5、可用性測(cè)試
可用性測(cè)試是指 App 已經(jīng)進(jìn)入可運(yùn)行的階段，此時(shí)系統(tǒng)已經(jīng)具備所有待測(cè)試的功能，且它們都可以正常運(yùn)行。
可用性測(cè)試一般不針對(duì)識(shí)別的準(zhǔn)確性進(jìn)行測(cè)試，它的目的是測(cè)試工作流程和易用性。但識(shí)別問題可能會(huì)阻礙用戶完成任務(wù)，所以識(shí)別問題仍是一項(xiàng)很重要的功課。
1、遠(yuǎn)程測(cè)試
遠(yuǎn)程測(cè)試的幾個(gè)優(yōu)點(diǎn)：
1.1、更容易找到符合特征的測(cè)試用戶，因?yàn)檫x擇范圍不必局限在本地。
1.2、一般來說成本更低，因?yàn)槟悴槐刂Ц稖y(cè)試用戶到你所在地的路費(fèi)。
1.3、在自然狀態(tài)下進(jìn)行測(cè)試，更貼近真實(shí)情景。
1.4、減輕用戶不自在的感覺，參與測(cè)試時(shí)沒有人盯著他們。
1.5、有沒有測(cè)試主持都可以，你不在場(chǎng)測(cè)試仍可以進(jìn)行。
2、有人主持測(cè)試與無人主持測(cè)試
我們可以通過視頻會(huì)議或電話來遠(yuǎn)程觀察和訪談受試者。
有主持人：可以觀察受試者的過程，并根據(jù)當(dāng)前行為進(jìn)行提問，主動(dòng)探究更多的細(xì)節(jié)。
無主持人：測(cè)試用戶可以自由的選擇合適時(shí)間來執(zhí)行任務(wù)。
3、錄像
如果在遠(yuǎn)程測(cè)試中，你無法親臨現(xiàn)場(chǎng)，又想記錄用戶參與的情形，可以通過錄像來記錄。
優(yōu)點(diǎn)：能夠了解到用戶對(duì) App 說了些什么，以及觀察到他們當(dāng)前頁面的反應(yīng)。
缺點(diǎn)：增加成本、限制測(cè)試用戶范圍、無法實(shí)時(shí)跟進(jìn)參與者的反應(yīng)。
4、遠(yuǎn)程測(cè)試服務(wù)
一種遠(yuǎn)程用戶測(cè)試的方法：通過諸如 Amazon 的 Mechanical Turk 等在線服務(wù)來找到測(cè)試用戶。愿意接受測(cè)試的人可以自行注冊(cè) Mechanical Turk，“求助者”創(chuàng)建可通過網(wǎng)頁在線完成的任務(wù)。受試者可以選擇他們想做的任務(wù)，并得到一定報(bào)酬。
遠(yuǎn)程測(cè)試服務(wù)的優(yōu)點(diǎn)：
4.1、成本相對(duì)更低。
4.2、可以招募到更多符合要求的用戶。
4.3、不需要到固定地點(diǎn)參加測(cè)試。
4.4、相對(duì)于事先準(zhǔn)備，更容易模擬真實(shí)場(chǎng)景。
5、實(shí)驗(yàn)室測(cè)試
傳統(tǒng)的可用性測(cè)試通常在配備有單向透鏡和記錄設(shè)備的實(shí)驗(yàn)室中進(jìn)行。
招募用戶親臨現(xiàn)場(chǎng)做測(cè)試是非常高效的方法。最好能配置記錄設(shè)備，這樣我們所需要的信息才能被可靠的記錄下來。
實(shí)驗(yàn)室測(cè)試的優(yōu)點(diǎn)：
1、專門的場(chǎng)地用來進(jìn)行用戶測(cè)試。
2、配備了永久記錄設(shè)備。
3、單向透鏡、避免用戶在測(cè)試過程中因有工作人員而感到不自在。
實(shí)驗(yàn)室測(cè)試的缺點(diǎn)：
1、費(fèi)用高昂。
2、建立和維護(hù)實(shí)驗(yàn)室成本過高。
3、限制樣本范圍（當(dāng)本地沒多少目標(biāo)用戶）。
簡(jiǎn)約版實(shí)驗(yàn)室測(cè)試：
1、不需要一個(gè)專門測(cè)試場(chǎng)地，可以專門開辟一個(gè)空間用來做測(cè)試就行了。
2、安裝攝像頭傳遞用戶所看到的信息。
6、游擊測(cè)試
當(dāng)沒有多少預(yù)算時(shí)，你可以在人群中請(qǐng)求人們?cè)囉媚愕?App。
在進(jìn)行現(xiàn)場(chǎng)測(cè)試，我們需要準(zhǔn)備移動(dòng)設(shè)備、任務(wù)內(nèi)容、問題和獎(jiǎng)品等東西。引導(dǎo)用戶進(jìn)行，對(duì)他們提出的意見都做保留記錄，做好積極的反饋。
6、衡量測(cè)試結(jié)果
建議從主觀和客觀兩方面綜合衡量測(cè)試結(jié)果，因?yàn)閺膯我唤嵌热ズ饬坎⒉荒芙o出完整的結(jié)論。
舉例1：有些用戶成功完成了任務(wù)，但他們不喜歡這個(gè) App，又或者從技術(shù)角度而言他們沒能成功完成任務(wù)，但這并不會(huì)影響用戶體驗(yàn)。
舉例2：用戶完成部分任務(wù)就中途退出了。但仍可以認(rèn)為他們完成了任務(wù)。因?yàn)橛脩舻玫搅怂枰男畔?。所以也許用戶只想知道任務(wù)的部分信息。
客觀衡量標(biāo)準(zhǔn)：完整地記錄觀察過程，而不是僅僅依靠印象來記錄。
VUI 測(cè)試5個(gè)關(guān)鍵的衡量指標(biāo)：準(zhǔn)確性與相應(yīng)速度、認(rèn)知程度、清晰/混亂、友好度和聲音。
如何確定用戶“完成”任務(wù)：詢問用戶是否得到所要的信息，如果沒有得到，是什么原因造成的。
7、下一步計(jì)劃
在 VUI 系統(tǒng)中跟蹤錯(cuò)誤數(shù)量和類型非常重要。例如：拒絕識(shí)別與錯(cuò)誤匹配（用戶說的話被識(shí)別成錯(cuò)誤的含義）就是兩種不同的錯(cuò)誤類型。
此外，我們還需要注意之后發(fā)生了什么？用戶修正錯(cuò)誤了嗎？花了多長(zhǎng)時(shí)間？
測(cè)試任務(wù)完成，總結(jié)測(cè)試用戶對(duì)問題的回答、任務(wù)完成率、錯(cuò)誤數(shù)量和類型等信息。
根據(jù)測(cè)試結(jié)果找到用戶的痛點(diǎn)，了解用戶在哪一步感到困擾？他們知道什么時(shí)候可以與系統(tǒng)對(duì)話嗎？或者哪里感到混淆不清或不耐煩？當(dāng)出現(xiàn)任務(wù)出錯(cuò)時(shí)，是否能夠成功修正？
寫下觀察結(jié)果，與團(tuán)隊(duì)分享討論。按問題嚴(yán)重性排序，給出相對(duì)應(yīng)的處理，制定詳細(xì)修正計(jì)劃。
8、測(cè)試汽車、硬件設(shè)備和機(jī)器人的 VUI 系統(tǒng)
硬件設(shè)備環(huán)境中測(cè)試 VUI 的不同之處。
1、汽車
大型汽車公司和一些大學(xué)有駕駛模擬器，但是對(duì)于小公司成本太高。
較低成本選項(xiàng)可以選擇一個(gè)汽車模型（一臺(tái)用于顯示駕駛模擬器的顯示器、一個(gè)方向盤、一臺(tái)用來運(yùn)行 App 的手機(jī)或平板電腦）。
可用性測(cè)試內(nèi)容：了解用戶如何與系統(tǒng)進(jìn)行交互、用戶的分心程度，以及在這個(gè)比實(shí)際駕駛環(huán)境更安全的情景下，哪些任務(wù)可以完成，哪些任務(wù)無法完成。
2、硬件設(shè)施和機(jī)器人
體驗(yàn)原型：假裝自己與真實(shí)的產(chǎn)品進(jìn)行交流溝通（尋找類似產(chǎn)品進(jìn)行替代）。
行動(dòng)是最好的思維方式，你可以花很長(zhǎng)時(shí)間去思考人們將如何與你的設(shè)備進(jìn)行交互，但沒有什么能比人們真正與它交互來的更直觀、高效。
9、本章小結(jié)
VUI 設(shè)備的用戶測(cè)試與其他類型的用戶測(cè)試有許多共通之處：建議盡可能在多個(gè)開發(fā)階段進(jìn)行測(cè)試；仔細(xì)篩選測(cè)試對(duì)象；測(cè)試產(chǎn)品功能的任務(wù)；不要主動(dòng)引導(dǎo)測(cè)試用戶；問正確的問題。
數(shù)據(jù)采集是建立一個(gè)成功 VUI 的重要步驟之一。在測(cè)試階段手機(jī)數(shù)據(jù)可以讓你盡早優(yōu)化 VUI。你可以根據(jù)測(cè)試結(jié)果了解用戶是如何與你的系統(tǒng)互動(dòng)的，并以此設(shè)計(jì)出相對(duì)應(yīng)的用戶界面。
若有收獲，就點(diǎn)個(gè)贊吧
