與機(jī)器進(jìn)行語音交流，讓機(jī)器明白你說什么，是人們長期以來夢寐以求的事情，隨著AI人工智能技術(shù)的實(shí)現(xiàn)，語音識別技術(shù)已經(jīng)開始在各個領(lǐng)域應(yīng)用。而如何驗(yàn)證機(jī)器是否正確采集并識別語音，在測試領(lǐng)域又是一個新...

與機(jī)器進(jìn)行語音交流，讓機(jī)器明白你說什么，是人們長期以來夢寐以求的事情，隨著AI人工智能技術(shù)的實(shí)現(xiàn)，語音識別技術(shù)已經(jīng)開始在各個領(lǐng)域應(yīng)用。而如何驗(yàn)證機(jī)器是否正確采集并識別語音，在測試領(lǐng)域又是一個新興的課題。下文將闡述如何針對語音語義識別技術(shù)進(jìn)行測試。

一、什么是語音&語義

假設(shè)我們對某AI說了心事，那機(jī)器該怎么理解我們所說的呢？首先機(jī)器會對我們發(fā)出的語音信息進(jìn)行識別，語音識別就是讓機(jī)器通過識別和理解過程把語音信號轉(zhuǎn)變?yōu)橄鄳?yīng)的文本或命令的技術(shù)。語音識別技術(shù)主要包括特征提取技術(shù)、模式匹配準(zhǔn)則及模型訓(xùn)練技術(shù)三個方面。特征提取技術(shù)可以對某一模式的組測量值進(jìn)行變換，以突出該模式具有代表性的特征，并通過影像分析和變換，以提取所需的特征，而通過模式匹配準(zhǔn)則，我們就可以精準(zhǔn)的在模板庫里鎖定特征，然后通過大量模型訓(xùn)練形成語音識別模型。這樣可以讓機(jī)器明白了我們說的文字是什么，而機(jī)器不是人，那對自然語言的識別和理解就是語義識別技術(shù)需要解決的問題。

語義識別就是將連續(xù)的講話分解為詞、音素等單位，并建立起一個理解語義的規(guī)則，并把其中分解出來的某一個詞作為關(guān)鍵詞，當(dāng)語義識別出來關(guān)鍵詞的時候，返回識別結(jié)果。語義識別的核心除了理解文本詞匯的含義，還要理解這個詞語在語句、篇章中所代表的意思，這意味著語義識別從技術(shù)上要做到：文本、詞匯、句法、詞法、篇章層面的語義分析和歧義消除，以及對應(yīng)的含義重組，以達(dá)到識別本身的目的。

二、語音&語義識別應(yīng)用場景

語音和語義識別技術(shù)可以分析網(wǎng)頁、文件、郵件、音頻、論壇、社交媒體中的大量數(shù)據(jù)，也可以直接應(yīng)用于醫(yī)療、教育、金融等行業(yè)。還可以通過技術(shù)接口應(yīng)用于所有智能語音交互場景，如智能家居、車載語音、可穿戴設(shè)備、VR、機(jī)器人等。

醫(yī)療場景，為醫(yī)療專業(yè)人士提供實(shí)時語音聽寫、電子病歷錄入，也可以讓醫(yī)療專業(yè)人士，通過對癥狀的描述，關(guān)鍵詞查詢，進(jìn)行病癥的初步判斷，分類科室、輔助診斷等。

教育場景，基于自然語言處理技術(shù)進(jìn)行口語能力的測評，同時也可以通過人工智能技術(shù)，題庫系統(tǒng)，以及算法模型，根據(jù)學(xué)生在測試中對上一道問題的回答情況，自動調(diào)整學(xué)生接下來所需回答問題的難度和順序，以達(dá)到讓每一個學(xué)生擁有最合適的學(xué)習(xí)方案

金融場景，運(yùn)用自然語言處理，深度學(xué)習(xí)等多種AI技術(shù)，進(jìn)行量化交易模型的建立來量化交易，以更強(qiáng)大的計(jì)算機(jī)模型運(yùn)用人工智能的技術(shù)對大量客戶進(jìn)行財(cái)富畫像，為客戶量身定制的資產(chǎn)管理投資的智能投顧。

商業(yè)場景，基于系統(tǒng)數(shù)據(jù)庫、知識圖譜，在與客戶的對話中，獲取客戶需求，并提供相應(yīng)的答案來解決客戶的問題。

營銷場景：通過各種算法模型，對用戶在互聯(lián)網(wǎng)上留下的大量個人信息、登錄信息、路徑關(guān)系、社交關(guān)系、消費(fèi)記錄等數(shù)據(jù)進(jìn)行數(shù)據(jù)挖掘，來對用戶進(jìn)行精準(zhǔn)需求分析，自動化營銷。

三、語音&語義識別模型測試方法

1.語音&語義識別功能的測試標(biāo)準(zhǔn)

在常規(guī)的測試內(nèi)容中我們會對模型的接口調(diào)用連通性、參數(shù)非法校驗(yàn)、返回碼正誤等等進(jìn)行測試，而最重要的是測試模型的識別效果。因此語音&語義識別功能的測試通過標(biāo)準(zhǔn)有兩個，第一是模型接口可以成功調(diào)用，而且會對無法識別的語音信息于前端進(jìn)行錯誤拋出；第二就是模型的識別結(jié)果準(zhǔn)確率達(dá)到通過準(zhǔn)則（大量的語音信息，語音的模糊性和環(huán)境噪聲都會對模型的識別造成困擾，很難做到每一次都能識別成功。雖然模型訓(xùn)練追求完美，但目前卻無法保證100%的正確，因此一般來說準(zhǔn)確率就是各自場景的使用人員自行決定準(zhǔn)確率通過準(zhǔn)則，業(yè)界的通用標(biāo)準(zhǔn)是語音識別準(zhǔn)確率達(dá)到99%以上）

2.語音&語義識別功能的測試流程

我們以某掌銀的導(dǎo)航和轉(zhuǎn)賬業(yè)務(wù)為例，下圖展示了測試模型識別效果的主要流程。首先需要準(zhǔn)備一定量的數(shù)據(jù)（當(dāng)數(shù)據(jù)量越大的時候，模型的訓(xùn)練效果越好）分為兩個部分，一部分是語音測試數(shù)據(jù)，一部分是語義測試數(shù)據(jù)。其中語音測試的數(shù)據(jù)都是提前錄好的對應(yīng)文字的語音，語義測試的數(shù)據(jù)是包含意圖關(guān)鍵詞的語料文檔，兩部分的數(shù)據(jù)都包含導(dǎo)航和轉(zhuǎn)賬兩個業(yè)務(wù)場景的語句。

把錄制的語音文件發(fā)送至“語音識別模型”，返回語音識別的結(jié)果，并根據(jù)識別的結(jié)果出具一個語音識別的準(zhǔn)確率，其中包含接口請求的成功率，字準(zhǔn)率（識別正確的字符數(shù)/評測集所有字符數(shù)）和句準(zhǔn)率（全部識別正確的句子數(shù)目/評測集所有句子數(shù)），并將該結(jié)果裝載至“語義識別模型”，返回語義識別結(jié)果，同樣出具一個語義識別準(zhǔn)確率，即詞準(zhǔn)率（正確識別出的某類關(guān)鍵詞（例如意圖）/評測集所有某類關(guān)鍵詞數(shù)（例如意圖）），語音和語義識別的準(zhǔn)確率即為模型效果評價指標(biāo)的方式。

以下圖中第一條自造數(shù)據(jù)為例，當(dāng)客戶說出我要轉(zhuǎn)賬給丁某三十元的時候，把語音識別模型識別出來的結(jié)果裝載至語義識別模型，語義識別模型提取關(guān)鍵字“轉(zhuǎn)賬”、“丁某”、“三十元”，對應(yīng)意圖“TRANSFER”、人名以及金額,即可識別出來客戶需要給丁揚(yáng)轉(zhuǎn)賬30元，當(dāng)該條轉(zhuǎn)賬的操作可以成功完成即測試通過。

當(dāng)導(dǎo)航和轉(zhuǎn)賬的自造數(shù)據(jù)通過批量運(yùn)行腳本都成功加載至語音識別模型和語義識別模型，并在語音識別模型得到了相應(yīng)的字準(zhǔn)率和句準(zhǔn)率，且兩個準(zhǔn)確率均能達(dá)到99%以上的時候，我們可以判定語音識別是成功的，同理，在語義識別模型里，得到的詞準(zhǔn)率也能達(dá)到99%以上的時候，語義識別也是成功的。通過字準(zhǔn)率，句準(zhǔn)率，詞準(zhǔn)率，我們可以認(rèn)為該語音語義識別模型的效果是符合業(yè)界標(biāo)準(zhǔn)的，同時也達(dá)到了測試通過準(zhǔn)則。