做自動(dòng)化測(cè)試要考慮什么？34年的測(cè)試專家這樣說(shuō)

寫在前面

這篇文章譯自著名測(cè)試專家James Bach的《Test Automation Snake Oil》一文，是筆者在學(xué)習(xí)和研究探索性測(cè)試時(shí)偶然發(fā)現(xiàn)的一篇較有意義的文章，很好地解答了我們對(duì)自動(dòng)化測(cè)試的疑惑。

比如萬(wàn)能的自動(dòng)化測(cè)試是否可以替代一切，還給我們提供了可行性很強(qiáng)的建議。

正如作者所說(shuō)：先思考測(cè)試，再思考自動(dòng)化，切莫本末倒置。

案例分析

先看幾個(gè)案例。

案例1

一個(gè)產(chǎn)品從開發(fā)運(yùn)維人員傳遞到下一個(gè)。

新開發(fā)人員發(fā)現(xiàn)產(chǎn)品設(shè)計(jì)文檔已經(jīng)過時(shí)，構(gòu)建過程被破壞了。經(jīng)過一個(gè)月的分析，每個(gè)人都宣稱自己的設(shè)計(jì)很差，并堅(jiān)持重寫大部分代碼。再過幾個(gè)月，開發(fā)人員要么辭職，要么被重新分配，如此循環(huán)往復(fù)。

案例2

一個(gè)產(chǎn)品在開發(fā)過程中被匆忙完成，開發(fā)人員沒有充分理解它應(yīng)該解決的問題。

交付幾個(gè)月后，審查發(fā)現(xiàn)問題，運(yùn)行和維護(hù)系統(tǒng)的成本比自動(dòng)化執(zhí)行的流程的成本要高。

案例3

花費(fèi)10萬(wàn)美元購(gòu)買一套現(xiàn)代化的集成開發(fā)工具，很快就發(fā)現(xiàn)，這些工具的功能不夠強(qiáng)大，可移植性不強(qiáng)，也不可靠，不足以服務(wù)于大規(guī)模的開發(fā)工作。

經(jīng)過近兩年的努力讓它們工作，最終還是被拋棄了。

案例4

編寫軟件是為了自動(dòng)化一組的業(yè)務(wù)任務(wù)，但是任務(wù)變化太大，導(dǎo)致項(xiàng)目遠(yuǎn)遠(yuǎn)落后于進(jìn)度，系統(tǒng)的輸出也不可靠。為了幫助手工完成任務(wù)，開發(fā)人員會(huì)周期性地退出項(xiàng)目，這使得他們?cè)谲浖系穆浜蟪潭冗M(jìn)一步加深。

案例5

一個(gè)由數(shù)百個(gè)幾乎獨(dú)立的功能組成的程序，只經(jīng)過了基本的測(cè)試就投入使用，就在交付之前，作為調(diào)試的一部分，很大一部分功能被停用。幾乎過了一年，才有人發(fā)現(xiàn)這些功能不見了。

這些都是我自己的經(jīng)歷，但我打賭它們聽起來(lái)很熟悉。人們經(jīng)常抱怨大多數(shù)軟件項(xiàng)目都失敗了，這也不該驚訝——從外部來(lái)看，軟件似乎很簡(jiǎn)單，但魔鬼就藏在細(xì)節(jié)中，不是嗎？

經(jīng)驗(yàn)豐富的軟件工程師知道這一點(diǎn)，并以警惕的眼光和懷疑的心態(tài)來(lái)對(duì)待每個(gè)新項(xiàng)目。

自動(dòng)化測(cè)試也很困難，再看一下上面的五個(gè)例子，它們不是來(lái)自產(chǎn)品開發(fā)項(xiàng)目，相反，它們每一個(gè)都是自動(dòng)化測(cè)試的成果。

在我管理測(cè)試團(tuán)隊(duì)和與測(cè)試自動(dòng)化一起工作的9年里(注意，在一些軟件行業(yè)最時(shí)髦、最富有的公司)，我獲得的最重要的洞察力是，測(cè)試軟件項(xiàng)目和任何其他軟件項(xiàng)目一樣容易失敗。

事實(shí)上，在我的經(jīng)驗(yàn)中，他們失敗的頻率更高，主要是因?yàn)榇蠖鄶?shù)組織沒有像對(duì)待交付產(chǎn)品那樣，對(duì)他們的測(cè)試件報(bào)以同樣的關(guān)心。

奇怪的是，幾乎所有的測(cè)試專家、實(shí)踐測(cè)試人員、測(cè)試經(jīng)理，當(dāng)然還有銷售測(cè)試工具的公司，都以壓倒性的熱情推薦測(cè)試自動(dòng)化。

好吧，也許用“奇怪”這個(gè)詞并不合適，畢竟CASE工具曾經(jīng)風(fēng)行一時(shí)，測(cè)試工具只是CASE的另一種。

從面向?qū)ο蟮健盁o(wú)程序員”編程，對(duì)我們這個(gè)行業(yè)來(lái)說(shuō)，不切實(shí)際的鼓吹并不是什么新鮮事。

因此，也許關(guān)于測(cè)試自動(dòng)化的公開信息和分析質(zhì)量不高并不奇怪，而僅僅是該領(lǐng)域不成熟的標(biāo)志。

也許我們還處于贊賞測(cè)試自動(dòng)化很酷的想法階段，還沒有到認(rèn)識(shí)到它的陷阱的地步。

比起其他測(cè)試任務(wù)，我更喜歡做自動(dòng)化。大多數(shù)全職測(cè)試人員，以及可能所有的開發(fā)人員都?jí)粝胫梢园聪乱粋€(gè)巨大的綠色按鈕，讓一個(gè)充滿忠誠(chéng)的機(jī)器人的實(shí)驗(yàn)室去做艱難的測(cè)試工作，解放自己去做其他事，比如玩游戲。然而，我們想要實(shí)現(xiàn)這樣的夢(mèng)想，就必須謹(jǐn)慎行事。

本文對(duì)GUI應(yīng)用回歸測(cè)試自動(dòng)化的“腳本和回放”進(jìn)行了批判性分析。

剖析自動(dòng)化測(cè)試

揭穿經(jīng)典自動(dòng)化的理由

“自動(dòng)化測(cè)試在沒有人為干預(yù)的情況下執(zhí)行一系列操作，這種方法有助于消除人為錯(cuò)誤，并提供更快的結(jié)果。由于大多數(shù)產(chǎn)品需要多次測(cè)試，而自動(dòng)化測(cè)試通常會(huì)帶來(lái)顯著的人工成本節(jié)省。通常，一個(gè)公司在運(yùn)行兩到三次自動(dòng)化測(cè)試后，就會(huì)超過勞動(dòng)力成本的盈虧平衡點(diǎn)。”

這句話來(lái)自于一個(gè)領(lǐng)先的測(cè)試工具供應(yīng)商發(fā)布的關(guān)于測(cè)試自動(dòng)化的白皮書，類似的聲明可以在大多數(shù)商業(yè)回歸測(cè)試工具的廣告和文檔中找到。

有時(shí)，文檔中還夾雜著令人印象深刻的圖表，這些說(shuō)法與圖標(biāo)可以歸結(jié)為：計(jì)算機(jī)比人類更快、更便宜、更可靠，因此選擇自動(dòng)化。

這種推理基于許多不顧后果的假設(shè)，讓我們來(lái)看看其中的8個(gè)：

魯莽假設(shè)1：測(cè)試是一個(gè)“行動(dòng)序列”

一種更有用的方法是將測(cè)試看作是穿插著評(píng)估的一系列交互，這些交互中有些是可預(yù)測(cè)的，有些可以用純粹客觀的術(shù)語(yǔ)來(lái)指定。

然而，還有許多其他的交互是復(fù)雜、模糊和不穩(wěn)定的。盡管將包含給定測(cè)試的一般動(dòng)作序列概念化通常是有用的，但如果我們?cè)噲D將測(cè)試簡(jiǎn)化為死記硬背的一系列動(dòng)作，結(jié)果將得到一個(gè)狹窄和淺層的測(cè)試集。

而人工測(cè)試則是一個(gè)容易適應(yīng)變化、能夠應(yīng)對(duì)復(fù)雜情況的過程。人類能夠檢測(cè)出數(shù)百種問題模式，一眼望去，就能立刻將它們與無(wú)害的異常區(qū)分開。

人類甚至可能不會(huì)意識(shí)到他們正在進(jìn)行評(píng)估，但在“行動(dòng)序列”中，每一個(gè)評(píng)估都必須明確規(guī)劃。測(cè)試可能看起來(lái)只是一組行動(dòng)，但好的測(cè)試是一個(gè)互動(dòng)的認(rèn)知過程。這就是為什么自動(dòng)化最好只應(yīng)用于一小部分的測(cè)試，而不是大部分的測(cè)試過程。

如果你打算將所有必要的測(cè)試都執(zhí)行自動(dòng)化，可能會(huì)花費(fèi)大量的金錢和時(shí)間來(lái)創(chuàng)建相對(duì)較弱的測(cè)試，這些測(cè)試忽略了許多有趣的bug，并發(fā)現(xiàn)許多“問題”，這些問題最終只不過是意料之外的正確行為。

魯莽假設(shè)2：測(cè)試意味著一遍又一遍地重復(fù)相同的動(dòng)作

一旦一個(gè)特定的測(cè)試用例被執(zhí)行了一次，并且沒有發(fā)現(xiàn)任何bug，那么這個(gè)測(cè)試用例找到bug的可能性就很小了，除非一個(gè)新的bug被引入到系統(tǒng)中。

不過，如果測(cè)試用例中有變化，就像手工執(zhí)行測(cè)試時(shí)通常會(huì)出現(xiàn)的情況一樣，那么新問題和舊問題暴露出來(lái)的可能性就會(huì)更大，可變性是手工測(cè)試相對(duì)于腳本和回放測(cè)試的一大優(yōu)勢(shì)。

當(dāng)我在Borland的時(shí)候，電子表格組用來(lái)跟蹤bug是通過自動(dòng)化還是手動(dòng)測(cè)試發(fā)現(xiàn)的——始終如一。超過80%的bug是通過手動(dòng)發(fā)現(xiàn)的，盡管在自動(dòng)化方面投入了幾年的時(shí)間。

他們的理論是，手工測(cè)試的變量更多，針對(duì)新功能就更容易發(fā)現(xiàn)bug的特定變化領(lǐng)域。

高度可重復(fù)性的測(cè)試實(shí)際上可以將發(fā)現(xiàn)所有重要問題的幾率降到最低，同理，踩著別人的腳印也可以將踩坑的幾率降到最低。

魯莽假設(shè)3：我們可以做自動(dòng)化測(cè)試

一些對(duì)人來(lái)說(shuō)容易的任務(wù)對(duì)計(jì)算機(jī)來(lái)說(shuō)很難，也許自動(dòng)化最難的部分是解釋測(cè)試結(jié)果。對(duì)于GUI軟件來(lái)說(shuō)，在忽略無(wú)關(guān)緊要的問題的同時(shí)，自動(dòng)注意到所有類別的重大問題是非常困難的。

在一個(gè)典型的創(chuàng)新軟件項(xiàng)目中，高度的不確定性和變化加劇了自動(dòng)化的問題。在市場(chǎng)驅(qū)動(dòng)的軟件項(xiàng)目中，通常使用增量開發(fā)方法，這幾乎可以保證產(chǎn)品將發(fā)生根本性的變化。

再加上通常沒有完整準(zhǔn)確的產(chǎn)品規(guī)格說(shuō)明，使得自動(dòng)化開發(fā)有點(diǎn)像開車穿越無(wú)指示牌的森林：可以做到，但必須慢一點(diǎn)，有可能會(huì)走回頭路，也可能會(huì)卡住。

即使我們有一個(gè)特定的操作序列，原則上是可以自動(dòng)化的，但我們只有在擁有合適的的工具的情況下，才能做到這一點(diǎn)。

然而，關(guān)于工具的信息很難獲得，回歸測(cè)試工具的最關(guān)鍵的點(diǎn)是不可能評(píng)估的，除非我們使用該工具創(chuàng)建或?qū)彶楣I(yè)規(guī)模的測(cè)試套件。

以下是在選擇測(cè)試工具時(shí)需要考慮的一些因素，請(qǐng)注意，其中有多少永遠(yuǎn)無(wú)法通過閱讀用戶手冊(cè)或觀看貿(mào)易展演示來(lái)評(píng)估：

可學(xué)習(xí)性：能在短時(shí)間內(nèi)掌握工具嗎，是否有培訓(xùn)課程或書籍來(lái)幫助這個(gè)過程？

性能闡述：與手工測(cè)試相比，該工具的是否足夠快，能夠大幅節(jié)省測(cè)試開發(fā)和執(zhí)行時(shí)間？

非侵入性：該工具模擬實(shí)際用戶的效果如何，被測(cè)軟件在有沒有自動(dòng)化的情況下是一樣的嗎?

魯莽假設(shè)4:自動(dòng)化測(cè)試更快，因?yàn)樗恍枰斯じ深A(yù)

所有自動(dòng)化測(cè)試套件都需要人工干預(yù)，哪怕只是診斷結(jié)果和修復(fù)有問題的測(cè)試，要讓一個(gè)復(fù)雜的測(cè)試套件順利運(yùn)行，也可能出乎意料地困難。

常見的罪魁禍?zhǔn)资潜粶y(cè)軟件的變化、內(nèi)存問題、文件系統(tǒng)問題、網(wǎng)絡(luò)故障以及測(cè)試工具本身的bug。

魯莽假設(shè)5：自動(dòng)化減少了人為錯(cuò)誤

確實(shí)減少了一些錯(cuò)誤，比如人類在被要求執(zhí)行一長(zhǎng)串測(cè)試時(shí)會(huì)犯的錯(cuò)誤。

但其他錯(cuò)誤被放大了，任何在生成主比較文件時(shí)未被注意到的bug都會(huì)消失。

每次執(zhí)行套件時(shí)都會(huì)系統(tǒng)地忽略掉，或者調(diào)試過程中的一個(gè)疏忽可能會(huì)意外地使數(shù)百個(gè)測(cè)試失效。

Borland的dBase團(tuán)隊(duì)曾經(jīng)發(fā)現(xiàn)，他們的套件中大約有3000個(gè)測(cè)試被硬編碼報(bào)告成功，而不管產(chǎn)品中實(shí)際存在什么問題。為了避免這些問題，應(yīng)該定期對(duì)自動(dòng)化進(jìn)行測(cè)試或?qū)彶椤?/p>

在另一方面，使用基本的測(cè)試管理文檔、報(bào)告和實(shí)踐，更容易發(fā)現(xiàn)相應(yīng)的失誤。

魯莽假設(shè)6：我們可以量化手動(dòng)測(cè)試和自動(dòng)化測(cè)試的成本和收益

事實(shí)是，手動(dòng)測(cè)試和自動(dòng)化測(cè)試實(shí)際上是兩個(gè)不同的過程，而不是兩種不同的方式來(lái)執(zhí)行同一個(gè)過程。它們的動(dòng)態(tài)是不同的，它們傾向于揭示的bug也是不同的。

因此，直接以成本或發(fā)現(xiàn)的bug數(shù)量來(lái)比較它們是沒有意義的。

此外，最好的評(píng)估方法是在一系列真實(shí)的軟件項(xiàng)目的背景下進(jìn)行。這就是為什么我建議把測(cè)試自動(dòng)化作為一個(gè)優(yōu)秀的測(cè)試策略的多方面追求的一部分，而不是一個(gè)支配過程的活動(dòng)，或者獨(dú)立于它。

魯莽假設(shè)7：自動(dòng)化將帶來(lái)“顯著的勞動(dòng)力成本節(jié)省”

“通常，一家公司在進(jìn)行兩到三次自動(dòng)化測(cè)試后，就會(huì)超過勞動(dòng)力成本的盈虧平衡點(diǎn)。”這種估計(jì)可能來(lái)自實(shí)地?cái)?shù)據(jù)，也可能來(lái)自營(yíng)銷專家的想法，無(wú)論如何，這都是無(wú)稽之談。

自動(dòng)化測(cè)試的成本由幾個(gè)部分組成:闡述自動(dòng)化開發(fā)的成本-操作自動(dòng)化測(cè)試的成本-產(chǎn)品變化時(shí)維護(hù)自動(dòng)化的成本-其他必要的新任務(wù)的成本。

這必須與任何剩余的人工測(cè)試的成本進(jìn)行權(quán)衡，這可能會(huì)相當(dāng)多。事實(shí)上，我從未經(jīng)歷過這樣的自動(dòng)化，它將手動(dòng)測(cè)試的需求減少到如此程度，以至于手動(dòng)測(cè)試人員最終需要做的工作更少。

這些成本如何計(jì)算取決于很多因素，包括被測(cè)試的技術(shù)、使用的測(cè)試工具、測(cè)試開發(fā)人員的技能，以及測(cè)試套件的質(zhì)量。

編寫一個(gè)測(cè)試腳本并不一定需要很多精力，但是構(gòu)建一個(gè)合適的測(cè)試工具可能需要幾周或幾個(gè)月的時(shí)間。決定購(gòu)買哪種工具、自動(dòng)化哪些測(cè)試、如何將自動(dòng)化跟蹤到測(cè)試過程的其余部分，當(dāng)然還有學(xué)習(xí)如何使用工具，然后實(shí)際編寫測(cè)試程序的過程，也是如此。

要思考出一個(gè)全面的方法來(lái)處理這個(gè)過程（即一個(gè)產(chǎn)生有用的產(chǎn)品）通常需要幾個(gè)月的全職工作，如果自動(dòng)化開發(fā)人員對(duì)測(cè)試自動(dòng)化的問題或工具和技術(shù)的細(xì)節(jié)缺乏經(jīng)驗(yàn)，則需要更長(zhǎng)的時(shí)間。

持續(xù)的維護(hù)成本如何呢？大多數(shù)自動(dòng)化測(cè)試的成本分析完全忽略了因?yàn)樽詣?dòng)化而必須完成的特殊的新任務(wù)，比如：

測(cè)試用例必須被仔細(xì)地記錄下來(lái)；

自動(dòng)化本身必須經(jīng)過測(cè)試；

每次執(zhí)行套件時(shí)，都必須有人仔細(xì)檢查結(jié)果，以區(qū)分假陰性和真正的bug；

必須審查待測(cè)試產(chǎn)品中的根本變化，以評(píng)估它們對(duì)測(cè)試套件的影響，并且可能必須編寫新的測(cè)試代碼來(lái)應(yīng)對(duì)它們；

如果被測(cè)試的產(chǎn)品隨后被移植到一個(gè)新的平臺(tái)，甚至是同一個(gè)平臺(tái)的新版本，那么必須要做移植測(cè)試。

這些新任務(wù)對(duì)測(cè)試人員的日常生活產(chǎn)生了重大影響，我工作過的大多數(shù)GUI軟件測(cè)試團(tuán)隊(duì)都嘗試過讓所有測(cè)試人員做兼職自動(dòng)化工作，但每個(gè)團(tuán)隊(duì)最終都放棄了這個(gè)想法，轉(zhuǎn)而選擇一個(gè)專門的自動(dòng)化工程師或團(tuán)隊(duì)。

編寫測(cè)試代碼和執(zhí)行交互式手測(cè)試是如此不同的活動(dòng)，一個(gè)被分配到這兩種職責(zé)的人將傾向于專注于其中一項(xiàng)而忽略另一項(xiàng)。

而且，由于自動(dòng)化開發(fā)是軟件開發(fā)，它需要一定的開發(fā)人才數(shù)量，有些測(cè)試人員做不到。無(wú)論如何，對(duì)自動(dòng)化持嚴(yán)肅態(tài)度的公司通常最終會(huì)有全職員工來(lái)做這件事，而這必須計(jì)入到整體戰(zhàn)略的成本中。

不計(jì)后果的假設(shè)8：自動(dòng)化不會(huì)傷害測(cè)試項(xiàng)目

最后留下了我們?cè)谧非笞詣?dòng)化策略時(shí)面臨的所有問題中最棘手的一個(gè)：將我們不理解的東西自動(dòng)化是危險(xiǎn)的。

如果我們?cè)谝胱詣?dòng)化之前沒有弄清楚測(cè)試策略，測(cè)試自動(dòng)化的結(jié)果將是大量完全沒有人能理解的測(cè)試代碼。

隨著套件的原始開發(fā)人員漂移到其他任務(wù)中，其他人接管維護(hù)工作，套件在測(cè)試團(tuán)隊(duì)中獲得了某種歸屬身份。維護(hù)者害怕扔掉任何舊的測(cè)試，即使它們看起來(lái)毫無(wú)意義，因?yàn)樗鼈兛赡茉谝院蟊蛔C明是重要的。

因此，這套套件繼續(xù)增加新的測(cè)試，成為一個(gè)越來(lái)越神秘的神諭，就像一些古老的喜馬拉雅大師或迪士尼電影中的說(shuō)話橡樹。沒有人知道套件實(shí)際測(cè)試的是什么，也沒有人知道產(chǎn)品“通過測(cè)試套件”意味著什么，而且規(guī)模越大，就越不可能有人不費(fèi)苦心地去尋找。

這種情況在我個(gè)人身上發(fā)生過（不止一次，在我吸取教訓(xùn)之前），我也看到和聽說(shuō)過這種情況發(fā)生在許多其他測(cè)試經(jīng)理身上。

大多數(shù)人甚至沒有意識(shí)到這是一個(gè)問題，直到有一天一個(gè)開發(fā)經(jīng)理問測(cè)試套件覆蓋了什么，不覆蓋什么，沒有人能夠給出答案。

或者有一天，在最需要它的時(shí)候，整個(gè)測(cè)試系統(tǒng)崩潰了，并且沒有手動(dòng)的過程來(lái)進(jìn)行備份。這種情況的諷刺之處在于，誠(chéng)實(shí)地嘗試更專業(yè)地進(jìn)行測(cè)試，最終可能會(huì)確保它是盲目和無(wú)知地完成的。

手動(dòng)測(cè)試策略也可能會(huì)受到混淆的影響，但是當(dāng)測(cè)試是從相對(duì)較小的一組原則或文檔動(dòng)態(tài)創(chuàng)建時(shí)，審查和調(diào)整策略就容易得多。是的，手動(dòng)測(cè)試速度較慢，但更靈活，它可以應(yīng)對(duì)不完整和不斷變化的產(chǎn)品和規(guī)格的混亂。

一種明智的自動(dòng)化方法

盡管本文提出了關(guān)注，但我確實(shí)相信測(cè)試自動(dòng)化，畢竟我是一名測(cè)試自動(dòng)化顧問。

就像可以有高質(zhì)量的軟件一樣，也可以有高質(zhì)量的自動(dòng)化測(cè)試。然而，要?jiǎng)?chuàng)建好的測(cè)試自動(dòng)化，我們必須小心謹(jǐn)慎，這條道路充滿了陷阱。以下是一些需要牢記的關(guān)鍵原則:

仔細(xì)區(qū)分自動(dòng)化和它所自動(dòng)化的過程。測(cè)試過程應(yīng)該是一種便于審查的形式，并映射到自動(dòng)化過程中，套件將與人工測(cè)試一起使用，而不是作為人工測(cè)試的替代品。

仔細(xì)選擇測(cè)試工具。從其他測(cè)試人員和組織收集經(jīng)驗(yàn)，在購(gòu)買之前嘗試候選工具的評(píng)估版本。

仔細(xì)考慮購(gòu)買或構(gòu)建一個(gè)測(cè)試管理工具，一個(gè)好的測(cè)試管理系統(tǒng)可以真正幫助使套件更可查看和可維護(hù)。

確保測(cè)試套件的每一次執(zhí)行都會(huì)產(chǎn)生一個(gè)狀態(tài)報(bào)告，其中包括哪些測(cè)試通過了，哪些測(cè)試失敗了，以及實(shí)際發(fā)現(xiàn)的bug。該報(bào)告還應(yīng)詳細(xì)說(shuō)明為維護(hù)或增強(qiáng)套件所做的任何工作，我發(fā)現(xiàn)這些報(bào)告是分析自動(dòng)化的成本效益的不可或缺的原始材料。

確保產(chǎn)品足夠成熟，使不斷更改測(cè)試的維護(hù)成本不會(huì)壓倒所提供的任何好處。

幾年前的一天，在一場(chǎng)猛烈的夜間風(fēng)暴中發(fā)生了一次停電，影響了我們團(tuán)隊(duì)創(chuàng)建的測(cè)試套件。當(dāng)我們第二天早上到達(dá)工作地點(diǎn)時(shí)，我們發(fā)現(xiàn)我們的套件已經(jīng)自動(dòng)重啟了自己，重置了網(wǎng)絡(luò)，從中斷的地方重新開始，并完成了測(cè)試。

為了讓我們的套件變得如此防彈，我們做了很多工作，我們很高興。事情是這樣的，我們后來(lái)在審查套件中的測(cè)試腳本時(shí)發(fā)現(xiàn)，在大約450個(gè)測(cè)試中，只有大約18個(gè)測(cè)試是真正有用的。

這是一個(gè)很長(zhǎng)的故事，但它的結(jié)果是，我們有一個(gè)可靠性極高測(cè)試套件，發(fā)現(xiàn)我們正在測(cè)試的軟件的任何重要的bug。

我已經(jīng)把這個(gè)故事告訴了其他不以為然的測(cè)試經(jīng)理,他們不認(rèn)為這種事情會(huì)發(fā)生在他們身上，但如果測(cè)試的機(jī)器讓你從測(cè)試的技巧上分心，它就會(huì)發(fā)生。

自動(dòng)化是個(gè)好想法，但要讓它成為一項(xiàng)好的投資，秘訣是先考慮測(cè)試，然后再考慮自動(dòng)化。如果測(cè)試是為了了解軟件質(zhì)量的一種手段，那么自動(dòng)化只是一種手段中的手段。你不會(huì)從廣告中了解到這一點(diǎn)，但它只是支持有效軟件測(cè)試的眾多策略之一。

最后：在我的V：atstudy-js，可以免費(fèi)領(lǐng)取一份10G軟件測(cè)試工程師面試寶典文檔資料。以及相對(duì)應(yīng)的視頻學(xué)習(xí)教程免費(fèi)分享！其中包括了有基礎(chǔ)知識(shí)、Linux必備、Shell、互聯(lián)網(wǎng)程序原理、Mysql數(shù)據(jù)庫(kù)、抓包工具專題、接口測(cè)試工具、測(cè)試進(jìn)階-Python編程、Web自動(dòng)化測(cè)試、APP自動(dòng)化測(cè)試、接口自動(dòng)化測(cè)試、測(cè)試高級(jí)持續(xù)集成、測(cè)試架構(gòu)開發(fā)測(cè)試框架、性能測(cè)試、安全測(cè)試等。