1.2.3 線(xiàn)上監控
實(shí)施線(xiàn)上監控的目的是第一時(shí)間發(fā)現線(xiàn)上問(wèn)題并解決問(wèn)題,保證服務(wù)的正常運行。線(xiàn)上監 控是一個(gè)很寬泛的話(huà)題,涉及的技術(shù)點(diǎn)非常多。在本小節中,我們側重于討論基于測試右移的 理念,都有哪些監控工作是需要測試人員重視的。我們總結為以下幾個(gè)要點(diǎn):
·服務(wù)上線(xiàn)后的可用性和性能監控,如遇到問(wèn)題需要快速回滾代碼;
· 持續的服務(wù)關(guān)鍵指標監控,出現報警時(shí)能夠初步定位問(wèn)題,與研發(fā)人員配合實(shí)現止損 和修復;
· 對生產(chǎn)數據進(jìn)行監控,對異常數據及時(shí)介入干預;
· 進(jìn)行線(xiàn)上資金實(shí)時(shí) / 離線(xiàn)核對,對資損風(fēng)險及時(shí)介入干預;
· 進(jìn)行安全性監控,初步識別安全風(fēng)險;
· 對用戶(hù)反饋的問(wèn)題及時(shí)跟進(jìn),通知開(kāi)發(fā)人員盡快解決缺陷,通知產(chǎn)品人員打磨細節、 提升體驗。
對于上述最后一點(diǎn),我們需要強調的是,線(xiàn)上監控不僅僅針對應用服務(wù),輿情監控同樣重 要。對于用戶(hù)反饋的問(wèn)題,由客服人員初步判斷為技術(shù)問(wèn)題后,測試人員(或技術(shù)支持人員) 要能夠及時(shí)跟進(jìn)處理或分流,以便盡可能快速地給予用戶(hù)有效的反饋。
另外,上述要點(diǎn)并不是單純的監控工作內容,我們需要將其內化為質(zhì)量保障的能力,通過(guò) 工具和規范,賦能各個(gè)技術(shù)人員共同參與線(xiàn)上監控的工作。例如,我們可以先將日常的監控項 明確清楚,設計好相關(guān)的質(zhì)量數據報表,再通過(guò)采集監控數據進(jìn)行分析和配置告警,來(lái)觀(guān)察版 本發(fā)布的情況,最終建立一個(gè)線(xiàn)上質(zhì)量看板,以便相關(guān)人員及時(shí)獲悉線(xiàn)上質(zhì)量情況。
1.2.4 用戶(hù)體驗分析
用戶(hù)體驗分析是收集真實(shí)用戶(hù)的反饋,分析數據并總結出系統改進(jìn)措施的過(guò)程。它是測試 右移的極致追求,不僅僅滿(mǎn)足于軟件產(chǎn)品的可用性,還很重視用戶(hù)的情感、喜好、認知印象、 生理和心理反應、行為和成就等各個(gè)方面。
用戶(hù)體驗分析中最常見(jiàn)的方法是問(wèn)卷調查——將精心設計的量表,發(fā)放給特定的真實(shí)用 戶(hù),收集反饋并得出結論。下面我們以 SUS(System Usability Scale,系統可用性量表)為例, 學(xué)習一下問(wèn)卷調查的過(guò)程。
如表 1-1 所示,SUS 問(wèn)卷包含 10 個(gè)題目,每個(gè)題目的分值均為 5 分,奇數項是正面描述 題,偶數項是反面描述題。我們要求用戶(hù)在填寫(xiě) SUS 問(wèn)卷時(shí),不要互相討論,也不要過(guò)多思 考,而應盡可能快速地完成所有題目。
表 1-1 SUS 問(wèn)卷標準版
收回所有的 SUS 問(wèn)卷,統計總分。先確定每道題的轉化分值,分值范圍為 0 ~ 4。對于 正面描述題,轉化分值是量表原始分減去 1;對于反面描述題,轉化分值是 5 減去量表原始 分。將所有題目的轉化分值相加后再乘以 2.5,得到 SUS 問(wèn)卷的總分。所以 SUS 分值范圍為 0 ~ 100,以 2.5 分為增量。
將得到的 SUS 問(wèn)卷的總分對應到表 1-2,即可得到產(chǎn)品的可用程度,我們可以將其作為用 戶(hù)體驗的一個(gè)重要參考。
表 1-2 SUS 問(wèn)卷總分的曲線(xiàn)分級范圍
上面介紹的 SUS 非常實(shí)用,但它也有缺點(diǎn)。由于它的評分結果是抽象的,這個(gè)分數只能 讓我們大概了解針對某產(chǎn)品用戶(hù)體驗的好壞,在具體問(wèn)題上缺乏指引。當我們希望了解產(chǎn)品評 分較低時(shí)應當如何聚焦產(chǎn)品的優(yōu)化方向時(shí),SUS 就無(wú)能為力了。
下面我們介紹一種更通用的用戶(hù)體驗分析方法——雷達圖分析法。該方法的實(shí)施具體分三步。
第一步,對潛在的用戶(hù)體驗問(wèn)題進(jìn)行分類(lèi),得到基礎的分析項,例如視覺(jué)呈現、界面設 計、導航設計、信息設計、交互設計、信息架構、功能規格、內容需求等。
第二步,以問(wèn)卷的形式交由目標用戶(hù)評估,如表 1-3 所示。與 SUS 問(wèn)卷不同,這些目標 用戶(hù)需要具備一定的可用性分析能力,建議由專(zhuān)家帶領(lǐng)討論,以便解答評估過(guò)程中的困惑。
第三步,將問(wèn)題匯總整理,以雷達圖的形式展示出來(lái)。
表 1-3 用戶(hù)體驗問(wèn)題記錄表
如圖 1-9 所示,雷達圖能夠以直觀(guān)的形式展現多個(gè)維度用戶(hù)體驗問(wèn)題的整體情況,便于我 們全面分析和解讀指標,以及一目了然地發(fā)現哪些方面存在用戶(hù)體驗問(wèn)題。
圖 1-9 用戶(hù)體驗雷達圖
1.2.5 總結
測試右移致力于在生產(chǎn)環(huán)境或生產(chǎn)階段進(jìn)行測試或相關(guān)質(zhì)量保障工作,作為傳統測試工 作的有力補充,本節對測試右移理念下的 A/B 測試、灰度發(fā)布、線(xiàn)上監控和用戶(hù)體驗分析這 4 項實(shí)踐內容進(jìn)行了解讀,并提供了一些實(shí)用的方法。