客服電話
17792550360
掃描二維碼
關(guān)注卓目鳥學(xué)苑公眾號(hào)
官方微信
掃描二維碼
關(guān)注卓目鳥學(xué)苑公眾號(hào)
摘要：大多數(shù)組織都知道測(cè)試自動(dòng)化對(duì)于現(xiàn)代應(yīng)用程序交付過程至關(guān)重要。他們只是不確定如何在沒有高昂的開銷和大規(guī)模破壞的情況下在企業(yè)環(huán)境中實(shí)現(xiàn)它。企業(yè)組織通常取得小的勝利，但是由于五個(gè)主要領(lǐng)域的挑戰(zhàn)，該過程 ...
|
摘要： 大多數(shù)組織都知道測(cè)試自動(dòng)化對(duì)于現(xiàn)代應(yīng)用程序交付過程至關(guān)重要。他們只是不確定如何在沒有高昂的開銷和大規(guī)模破壞的情況下在企業(yè)環(huán)境中實(shí)現(xiàn)它。企業(yè)組織通常取得小的勝利，但是由于五個(gè)主要領(lǐng)域的挑戰(zhàn)，該過程最終會(huì)惡化。了解這些挑戰(zhàn)將幫助我們克服挑戰(zhàn)。 在傳統(tǒng)的瀑布式開發(fā)模型中，僅靠手動(dòng)測(cè)試就可完成所有測(cè)試. 雖然自動(dòng)化測(cè)試的成本很高,但是好處也很明顯; 但是，手動(dòng)測(cè)試的低廉成本使其在控制期內(nèi)的工作時(shí)間長(zhǎng)于預(yù)期。借助觸手可及的高性價(jià)比手動(dòng)測(cè)試選項(xiàng)，組織推遲了構(gòu)建和擴(kuò)展測(cè)試自動(dòng)化的計(jì)劃。
甚至在五年前，根據(jù)第六版《世界質(zhì)量報(bào)告》中的調(diào)查反饋，只有30％的企業(yè)軟件測(cè)試是在內(nèi)部完全執(zhí)行的，并且絕大部分測(cè)試不是自動(dòng)化的。今天，根據(jù)最新的《敏捷狀態(tài)報(bào)告》中的響應(yīng)，有97％的組織在某種程度上正在實(shí)踐敏捷，而73％的組織已經(jīng)在積極或計(jì)劃中進(jìn)行DevOps計(jì)劃。通過這種根本的轉(zhuǎn)變，測(cè)試自動(dòng)化達(dá)到了一個(gè)臨界點(diǎn)。預(yù)計(jì)測(cè)試人員將嵌入團(tuán)隊(duì)中，以便可以“在sprint中”完成測(cè)試。 為什么向敏捷和DevOps的轉(zhuǎn)變使測(cè)試自動(dòng)化勢(shì)在必行？ l 可用的時(shí)間更少了：現(xiàn)代應(yīng)用程序開發(fā)涉及在越來越緊迫的時(shí)間表上發(fā)布越來越復(fù)雜和分布式的應(yīng)用程序。如果沒有高度的自動(dòng)化，就不可能完成“ in sprint”測(cè)試所需的范圍和復(fù)雜性。手動(dòng)測(cè)試周期需要數(shù)周。這與當(dāng)今的節(jié)奏不一致，在這種節(jié)奏中，兩周的沖刺和（至少）每天的構(gòu)建已成為常態(tài)-現(xiàn)在趨勢(shì)正在朝著連續(xù)交付的方向發(fā)展。 l 團(tuán)隊(duì)期望持續(xù)不斷的即時(shí)反饋：敏捷團(tuán)隊(duì)和DevOps團(tuán)隊(duì)期望在整個(gè)發(fā)布周期內(nèi)不斷傳遞反饋。即使您雇用了一整隊(duì)手動(dòng)測(cè)試人員，這對(duì)于手動(dòng)測(cè)試是不可能的（順便說一句，這將是非常昂貴的）。在沒有快速反饋有關(guān)最新更改如何影響核心端到端交易的情況下，加速交付會(huì)使每次發(fā)布的用戶體驗(yàn)面臨風(fēng)險(xiǎn)。 l 業(yè)務(wù)期望有很大的不同：隨著公司優(yōu)先考慮數(shù)字化轉(zhuǎn)型計(jì)劃，“速度，成本，質(zhì)量-選擇兩個(gè)”這一古老格言不再適用。在穩(wěn)定（甚至降低）成本的壓力下，現(xiàn)在期望IT領(lǐng)導(dǎo)者比以往更快地交付更多創(chuàng)新的應(yīng)用程序。如今，從CEO到下層的每個(gè)人都意識(shí)到，無視質(zhì)量不可避免地會(huì)導(dǎo)致品牌侵蝕以及客戶流失。在受監(jiān)管的行業(yè)中，質(zhì)量欠佳的影響更為嚴(yán)重。 大多數(shù)組織已經(jīng)知道，測(cè)試自動(dòng)化對(duì)于現(xiàn)代應(yīng)用程序交付過程至關(guān)重要。他們只是不確定如何在沒有高昂的開銷和大規(guī)模破壞的情況下在企業(yè)環(huán)境中實(shí)現(xiàn)它。 你不能真正責(zé)怪他們。盡管在軟件測(cè)試會(huì)議，網(wǎng)絡(luò)研討會(huì)和出版物上不乏測(cè)試自動(dòng)化成功案例，但它們主要針對(duì)開發(fā)人員和技術(shù)測(cè)試人員，這些人員包括： 1）專注于測(cè)試簡(jiǎn)單的Web UI； 2）擁有構(gòu)建其應(yīng)用程序的奢侈性；以及在過去幾年中從頭開始進(jìn)行測(cè)試過程。 他們的故事引人入勝-但對(duì)于具有異構(gòu)架構(gòu)，合規(guī)性要求和質(zhì)量流程的典型Global 2000公司而言，這些公司在過去數(shù)十年中發(fā)展緩慢。 測(cè)試自動(dòng)化現(xiàn)實(shí)與目標(biāo) 在深入測(cè)試自動(dòng)化之前，讓我們澄清一下我們?cè)谶@里談?wù)摰膬?nèi)容。 許多類型的測(cè)試可以（并且應(yīng)該）自動(dòng)化： l 單獨(dú)檢查功能或類（編程單元）的單元測(cè)試 l 組件測(cè)試，在應(yīng)用程序上下文中檢查幾個(gè)單元的交互 l 確定是否滿足特定要求的功能驗(yàn)證測(cè)試 l 端到端功能測(cè)試，從用戶角度（UI或API層）在多個(gè)組件和應(yīng)用程序之間進(jìn)行端到端業(yè)務(wù)交易 l 性能測(cè)試，可以衡量上述任何級(jí)別的應(yīng)用程序在負(fù)載下的可靠性，可伸縮性和可用性 本文重點(diǎn)介紹功能驗(yàn)證和端到端功能測(cè)試，但是大多數(shù)有關(guān)“測(cè)試自動(dòng)化率”的報(bào)告都包括所有類型的測(cè)試自動(dòng)化，包括開發(fā)人員通常實(shí)踐的單元測(cè)試自動(dòng)化。 根據(jù)Tricentis從2015年到2018年進(jìn)行的研究，我們發(fā)現(xiàn)公司最初報(bào)告說，他們已經(jīng)自動(dòng)化了大約18％的設(shè)計(jì)并添加到其測(cè)試套件中的端到端功能測(cè)試。當(dāng)您考慮定期運(yùn)行多少測(cè)試時(shí)，它實(shí)際上要低得多。而且，當(dāng)您關(guān)注全球2000強(qiáng)企業(yè)時(shí)，該數(shù)字甚至進(jìn)一步下降至8％。 《2018-19年度世界質(zhì)量報(bào)告》基于1,600名受訪者的訪談，這些訪談主要來自擁有10,000名及以上員工的公司，該報(bào)告還報(bào)告了測(cè)試自動(dòng)化率低于20％： “測(cè)試活動(dòng)的自動(dòng)化水平仍然很低（不同活動(dòng)之間在14％至18％之間）。自動(dòng)化程度低是企業(yè)成熟測(cè)試的第一瓶頸。” 無論選擇哪種來源，其底線都是相同的：我們所處的位置與我們需要成為的位置之間存在巨大差距。 我們應(yīng)該在哪里？連續(xù)測(cè)試要求測(cè)試自動(dòng)化率要更高。這導(dǎo)致了我所說的持續(xù)測(cè)試彩虹： 為了實(shí)現(xiàn)連續(xù)測(cè)試，自動(dòng)化率需要超過整個(gè)測(cè)試活動(dòng)的85％。剩下的唯一手動(dòng)測(cè)試應(yīng)該是探索性測(cè)試，并且自動(dòng)化的類型也應(yīng)該改變。自動(dòng)化應(yīng)主要集中在API或消息級(jí)別，要求服務(wù)虛擬化以模擬許多不連續(xù)的API或其他組件，而這些組件對(duì)于自動(dòng)化的端到端測(cè)試不是連續(xù)可用或不可訪問的。UI測(cè)試自動(dòng)化不會(huì)消失，但將不再是自動(dòng)化的焦點(diǎn)。 在探討達(dá)到理想狀態(tài)所需的條件之前，讓我們先來看一下為什么會(huì)出現(xiàn)這種差距。 許多企業(yè)（例如，Global 2000）組織已經(jīng)進(jìn)行了測(cè)試自動(dòng)化的試驗(yàn)，通常是使一些UI測(cè)試自動(dòng)化并將其執(zhí)行集成到持續(xù)集成過程中。他們?nèi)〉貌c祝了小的勝利，但是過程并沒有擴(kuò)大。實(shí)際上，它最終會(huì)衰減。 通?？梢詺w結(jié)為以下五類的障礙： l 時(shí)間和資源 l 復(fù)雜 l 相信 l 利益相關(guān)者的統(tǒng)一 l 規(guī)模 時(shí)間和資源 團(tuán)隊(duì)嚴(yán)重低估了可持續(xù)測(cè)試自動(dòng)化所需的時(shí)間和資源。是的，讓一些基本的UI測(cè)試自動(dòng)運(yùn)行是一個(gè)很好的開始。但是，您還需要計(jì)劃以下時(shí)間和資源： l 確定要測(cè)試的內(nèi)容以及如何對(duì)其進(jìn)行測(cè)試 l 建立一個(gè)支持重用和數(shù)據(jù)驅(qū)動(dòng)測(cè)試的測(cè)試框架，這兩者對(duì)于使自動(dòng)化長(zhǎng)期可持續(xù)發(fā)展至關(guān)重要 l 使更廣泛的測(cè)試框架與不斷發(fā)展的應(yīng)用程序保持同步 l 執(zhí)行測(cè)試套件-尤其是當(dāng)您嘗試頻繁運(yùn)行大型且用戶界面繁重的測(cè)試套件時(shí) l 檢查并排除測(cè)試失敗，其中許多是“誤報(bào)”（失敗并不表示應(yīng)用程序有問題） l 確定每個(gè)誤報(bào)是否源自測(cè)試數(shù)據(jù)問題，測(cè)試環(huán)境問題或“脆弱”腳本（例如，對(duì)預(yù)期的應(yīng)用程序更改過于敏感的測(cè)試，例如動(dòng)態(tài)名稱和日期元素） l 隨著應(yīng)用程序的發(fā)展，添加，更新或擴(kuò)展測(cè)試-測(cè)試套件“膨脹”得越多（例如，冗余度高，重用性低），更新就越困難 l 確定如何自動(dòng)化更多高級(jí)用例，并使它們?cè)谶B續(xù)測(cè)試環(huán)境中保持一致運(yùn)行 l 查看并解釋測(cè)試結(jié)果的數(shù)量 復(fù)雜 在Web應(yīng)用程序中自動(dòng)化對(duì)一個(gè)簡(jiǎn)單的“創(chuàng)建”操作的測(cè)試是一回事，例如注冊(cè)一個(gè)新帳戶并從頭開始完成一個(gè)簡(jiǎn)單的交易。這是自動(dòng)化最關(guān)鍵業(yè)務(wù)的事務(wù)的另一種方法，這些事務(wù)通常通過多種技術(shù)（移動(dòng)設(shè)備，API，SAP，大型機(jī)等）進(jìn)行，并且需要復(fù)雜的設(shè)置和流程。 為了切實(shí)評(píng)估預(yù)生產(chǎn)環(huán)境中的端到端用戶體驗(yàn)，您需要確保： l 您的測(cè)試資源了解如何自動(dòng)化所有不同技術(shù)的測(cè)試，以及如何將數(shù)據(jù)和結(jié)果從一種技術(shù)連接到另一種技術(shù) l 您擁有建立真實(shí)的測(cè)試以及通過一系列復(fù)雜的步驟（每次以及每次執(zhí)行測(cè)試）進(jìn)行測(cè)試所需的狀態(tài)，安全且合規(guī)的測(cè)試數(shù)據(jù) l 您可以可靠，持續(xù)且經(jīng)濟(jì)高效地訪問測(cè)試所需的所有相關(guān)系統(tǒng)（包括API，第三方應(yīng)用程序等），這些系統(tǒng)可能不穩(wěn)定，在不斷發(fā)展或僅在有限的時(shí)間訪問 相信 帶有測(cè)試結(jié)果的最常見的投訴是需要檢查和解決的絕大多數(shù)誤報(bào)。當(dāng)您剛開始使用測(cè)試自動(dòng)化時(shí)，處理誤報(bào)可能是可行的。但是，隨著測(cè)試套件的增加和測(cè)試頻率的增加，迅速解決誤報(bào)成為一項(xiàng)不可克服的任務(wù)。 一旦您開始忽略誤報(bào)，您將處于滑坡。開發(fā)人員開始假設(shè)測(cè)試暴露的每個(gè)問題都是假陽性，測(cè)試人員需要更加努力地工作才能解決關(guān)鍵問題。此外，如果利益相關(guān)者不信任測(cè)試結(jié)果，那么他們就不會(huì)根據(jù)測(cè)試結(jié)果進(jìn)行判斷。 利益相關(guān)者一致 持續(xù)測(cè)試就是在正確的時(shí)間向正確的利益相關(guān)者提供正確的反饋。在沖刺期間，這可能意味著在“小調(diào)整”實(shí)際上對(duì)更廣泛的用戶體驗(yàn)產(chǎn)生重大影響時(shí)提醒開發(fā)人員。隨著發(fā)行的臨近，這可能意味著幫助產(chǎn)品所有者了解已測(cè)試和通過應(yīng)用程序風(fēng)險(xiǎn)的百分比。 但是，大多數(shù)團(tuán)隊(duì)都專注于測(cè)量不可操作的“計(jì)數(shù)”指標(biāo)，例如測(cè)試數(shù)量，這些指標(biāo)在任何時(shí)候都不是任何利益相關(guān)者的正確反饋。 規(guī)模 大多數(shù)測(cè)試自動(dòng)化計(jì)劃都始于組織中績(jī)效最高的團(tuán)隊(duì)。這是有道理的-他們通常最渴望接受新挑戰(zhàn)，也為推動(dòng)新項(xiàng)目取得成功做好了最充分的準(zhǔn)備。很有可能，如果您查看擁有成功的自動(dòng)化測(cè)試能力的任何組織，就會(huì)發(fā)現(xiàn)他們的精英團(tuán)隊(duì)可以實(shí)現(xiàn)這一目標(biāo)。 這是一個(gè)很好的開始，但是它必須在整個(gè)組織中擴(kuò)展，以實(shí)現(xiàn)當(dāng)今加速的高度自動(dòng)化軟件交付流程所需的速度，準(zhǔn)確性和可見性。 突破企業(yè)測(cè)試自動(dòng)化的障礙 具有復(fù)雜系統(tǒng)的成熟公司如何才能達(dá)到現(xiàn)代交付計(jì)劃和流程所需的測(cè)試自動(dòng)化水平？有四種策略已幫助許多組織最終突破了測(cè)試自動(dòng)化的障礙：簡(jiǎn)化整個(gè)技術(shù)體系的自動(dòng)化，結(jié)束測(cè)試維護(hù)的噩夢(mèng)，轉(zhuǎn)向API測(cè)試以及選擇適合您需求的工具。 |
分享本篇文章給更多人:
2020-05-27
2020-02-24
2020-05-27
2022-12-05
2020-05-27
卓目鳥學(xué)苑 - 專注軟件測(cè)試菁英教育！( 陜ICP備2025058934號(hào)-2 )
版權(quán)所有 ? 西安菁英教育科技有限公司 2023-2026
請(qǐng)發(fā)表評(píng)論