實(shí)用軟件測試指南

　　本書所給出的測試并非傳統(tǒng)意義上基于書面測試計(jì)劃實(shí)施的循規(guī)蹈矩的測試，也沒有討論艱深的測試?yán)碚?，而是直接面向?qū)嶋H應(yīng)用，使測試員進(jìn)行“自由”的測試，提出了對軟件進(jìn)行攻擊的思想，從軟件的用戶界面、文件系統(tǒng)接口和操作系統(tǒng)接口三個(gè)最易于攻擊的方面來實(shí)施攻擊，并利用了所開發(fā)的軟件，幫助測試員簡單地捕獲異常并強(qiáng)制執(zhí)行一般錯誤，最終能更快、更多地發(fā)現(xiàn)軟件中的錯誤，改進(jìn)軟件，提高軟件質(zhì)量。本書可作為計(jì)算機(jī)專業(yè)高年級本科生、計(jì)算機(jī)專業(yè)研究生的軟件測試教材或參考書，也可作為軟件開發(fā)人員、軟件測試人員和軟件管理人員的參考手冊。前言關(guān)于本書本書基本上沒有包含測試?yán)碚?。闡述測試?yán)碚摰臅芏?，但講述一個(gè)好的測試員如何開展實(shí)際測試的書基本上沒有。所以我寫了這樣一本書。我試圖進(jìn)入我所遇到過的最佳測試員的大腦并把最好的技術(shù)形成文字，指出隱錯在什么地方以及如何最有效地找到這些隱錯的方式繼而獲得可發(fā)布的高質(zhì)量產(chǎn)品。我寫本書的第二個(gè)目的是使它閱讀起來充滿趣味性并且包含的技術(shù)應(yīng)用起來也很有趣。我愛中斷軟件。我希望我的熱情將為軟件測試行業(yè)增添光彩的一頁。關(guān)于本書讀者聽起來有點(diǎn)像推銷，但每一個(gè)讀者都可以從本書中獲得一些他所需要的知識。它以一種吸引初學(xué)者的指導(dǎo)風(fēng)格書寫，而最老練的測試人員可能欣賞本書獨(dú)特的內(nèi)容。當(dāng)然，目前我作為大學(xué)教授也意味著我在寫作本書時(shí)要把學(xué)生放在心上。我把本書用于本科生和研究生測試課程。學(xué)會如何成為一個(gè)優(yōu)秀的測試員并超越基礎(chǔ)理論是很重要的。關(guān)于本書的例子本書給出了來自實(shí)際應(yīng)用軟件的真實(shí)錯誤消息和奇異行為（我敢說是“隱錯”嗎？）的屏幕顯示。包含這些例子用來描述本書所講述的攻擊技術(shù)。其中有些是大隱錯，而有些只是小麻煩。例子的主要目的是教學(xué)和說明。這并不意味著僅僅作為大隱錯的例子（盡管其中的一些確實(shí)如此），也不意味著我們?nèi)⌒ιa(chǎn)該應(yīng)用程序的公司。實(shí)際上，我精心選擇了市場領(lǐng)頭羊的應(yīng)用程序，所以能夠被絕大多數(shù)讀者立即認(rèn)可。更進(jìn)一步，每個(gè)例子都來自我平常交往的、其開發(fā)實(shí)踐和文化是我所推崇的公司生產(chǎn)的應(yīng)用程序。我提醒讀者在應(yīng)用本書中的技術(shù)或再現(xiàn)屏幕顯示的隱錯時(shí)要謹(jǐn)慎。許多攻擊會使應(yīng)用程序崩潰。確信在嘗試攻擊之前保存了你的工作，確保不丟失任何重要的數(shù)據(jù)。關(guān)于本書的組織本書由四部分組成。第一部分是對軟件中斷研究領(lǐng)域的介紹，以適應(yīng)講授對軟件和它所工作的復(fù)雜環(huán)境的理解。對軟件測試人員而言，理解軟件環(huán)境很重要，這樣他們就注意到軟件內(nèi)部在做什么以及它是如何與環(huán)境交互的。沒有這樣的理解，很難成為一個(gè)成功的軟件中斷者。第二部分詳細(xì)介紹了能通過用戶接口應(yīng)用的特定攻擊。無論接口是GUI或是程序的API，這一部分將會給出如何從接口攻擊軟件，何時(shí)應(yīng)用每個(gè)攻擊，攻擊在破壞軟件時(shí)為什么會成功以及是怎樣成功的。這一部分可能成為在對你的軟件目標(biāo)進(jìn)行攻擊行動時(shí)最常引用的部分。第三部分討論了非人類系統(tǒng)接口的測試問題（即如何測試應(yīng)用程序的文件系統(tǒng)、操作系統(tǒng)、軟件接口）。討論了攻擊策略。介紹了一個(gè)新的稱為HEAT的工具，即不利環(huán)境應(yīng)用程序測試器（HostileEnvironmentApplicationTester）。你可以在本書選配光碟中找到“CannedHEAT”。CannedHEAT允許測試員以一種稱為運(yùn)行期故障植入的技術(shù)來測試系統(tǒng)接口。第四部分是結(jié)論，結(jié)論是軟件測試永遠(yuǎn)不能真正地掌握。相反，它要求不斷地學(xué)習(xí)并獲取新的技能。這部分我們描述了在Florida技術(shù)學(xué)院發(fā)生的兩件有趣的充滿教訓(xùn)的事。你可以把它們用在你？氖笛槭依鎩Ｋ潛Ｖつ馨蜒昂陀槔止餐諶氳餃魏穩(wěn)砑饈苑絞街校？附錄B～附錄D為軟件中斷者提供了特定的資源。附錄B討論了運(yùn)行期故障植入。附錄C描述了CannedHEAT的使用，CannedHEAT是選配光碟上的一個(gè)易于使用的故障植入工具。附錄D重印了在“IEEESoftware”上已發(fā)表過的一篇文章，它描述了一般的軟件測試過程。這些附錄補(bǔ)充了本書的內(nèi)容，可以單獨(dú)閱讀或作為本書的附加材料閱讀。附錄A包含了常用編程術(shù)語的定義。關(guān)于本書的內(nèi)容本書脫離了傳統(tǒng)的測試。在傳統(tǒng)測試中，測試員準(zhǔn)備好書面測試規(guī)劃并把它作為測試軟件時(shí)的腳本，測試提前規(guī)劃好并以一種機(jī)械的方式執(zhí)行。本書中的測試技術(shù)是靈活的，而傳統(tǒng)測試是嚴(yán)格的。如果在一個(gè)軟件項(xiàng)目中，需求改變了，隱錯變成特性，進(jìn)度壓力強(qiáng)制計(jì)劃重新評估時(shí)，就需要靈活性。軟件測試并不是可以預(yù)先確定測試什么、執(zhí)行計(jì)劃并按計(jì)劃來實(shí)施的一門精確的科學(xué)，這需要上帝般的遠(yuǎn)見。不是靠計(jì)劃，而是靠智能、洞察力、經(jīng)驗(yàn)以及對隱錯隱藏位置的敏銳判斷等來指導(dǎo)測試人員。本書會幫助測試員開發(fā)這種洞察力。作為測試規(guī)劃和自動測試執(zhí)行的一個(gè)長期擁護(hù)者，我對這種自由形式測試的第一個(gè)感覺是懷疑。但是，事實(shí)簡單地駁倒了我。聰明的人做的探索測試找到了所有我見過的最佳隱錯。同樣是這些聰明的人在最佳測試自動化上也做得更好，不是一個(gè)小的零頭而是一個(gè)數(shù)量級。當(dāng)項(xiàng)目需做困難的、認(rèn)真的測試時(shí)，往往是調(diào)入最聰明的測試員而不是測試計(jì)劃或測試自動化。當(dāng)需要做出關(guān)鍵的運(yùn)載決定時(shí)，聰明的管理員會忽略測試計(jì)劃的部署而注重最有經(jīng)驗(yàn)的測試員的意見。我不久就確信我那宏大的全自動測試研究議程需要認(rèn)真地重新考慮。我對那些知道產(chǎn)品并找出了所有隱錯的人表示出強(qiáng)烈的興趣。我可以證實(shí)這些民間方法沒有腳本并設(shè)法拋開了壓在桌上文檔下的正式的測試計(jì)劃。被提問時(shí)，他們總是回答：“那份計(jì)劃并未瞄準(zhǔn)隱錯所在之處。”本書中體現(xiàn)的技術(shù)不僅允許測試員脫離腳本，也鼓勵他們這么做。不要盲目相信文檔，它們可能是過期的或在產(chǎn)品可測試之前寫的。相反，應(yīng)該開動腦筋！睜大眼睛！想一點(diǎn)，測試一點(diǎn)，再想一點(diǎn)。但是，不要認(rèn)為我反對計(jì)劃或文檔。本書簡單地講授測試中的緊張工作計(jì)劃。不要認(rèn)為測試自動化是令人沮喪的。有許多重復(fù)復(fù)雜的任務(wù)需要好的工具（確實(shí)，收錄在本書選配光碟上的就是這樣的工具）。但是，工具永遠(yuǎn)不能代替智能使用。測試員思考并使用工具收集數(shù)據(jù)，以幫助他們更加快速有效地探究應(yīng)用程序。如果給本書一句題詞，則可以是：熟悉你的產(chǎn)品，考慮你的步調(diào)，并讓經(jīng)驗(yàn)引導(dǎo)你。甚至可以更簡單：開動腦筋，睜開眼睛……測試！我長期熱衷于研究這樣的測試。我通過觀察人們以及研究他們的隱錯來做這項(xiàng)工作。為找出隱錯，最好的測試員在做些什么？最佳隱錯有什么共同之處？有沒有方法推廣有經(jīng)驗(yàn)的測試員的行動使得缺乏經(jīng)驗(yàn)的測試員能做得更好？我的意圖是捕捉我所遇到的最優(yōu)秀的測試員的最好思想，并把這些思想形成文字，以這種方式使測試新手能夠?qū)W到有用的知識并變得更好。如果本書內(nèi)容未能達(dá)到這個(gè)目標(biāo)，那只是因?yàn)槲覀€(gè)人的溝通技巧不足所致，而不是我的研究主體本身的技巧的反映。本書中好的內(nèi)容都出自同事們細(xì)致研究過的工作。我感謝他們公開了他們找出的隱錯以及他們的洞察力。本書中的錯誤全都?xì)w咎于我。把測試的輝煌景象形成文字對于像我這樣的凡人來說是很困難的事。關(guān)于本書的補(bǔ)充材料本書提供了一張選配光碟，它包含了兩個(gè)非常有用的工具，它們是Florida技術(shù)學(xué)院的教員和學(xué)生編寫的。CannedHEAT和HolodeckLite是運(yùn)行期監(jiān)視和故障植入工具，運(yùn)行于WindowsNT系列的平臺上。兩個(gè)工具都很容易使用，在本書的第三部分和附錄中有詳細(xì)的解釋。另外，www.HowToBreakSoftware.com是獲得最近的工具更新、隱錯故事和與破壞軟件原理相關(guān)的技術(shù)公告等信息的在線通道。JamesA.WhittakerMelbourne，F(xiàn)loridaAugust2001

　　James A.Whittaker博士是佛羅里達(dá)技術(shù)學(xué)院計(jì)算機(jī)科學(xué)系統(tǒng)軟件工程研究中心的教授和主任。他也是一位出色的演說家和產(chǎn)業(yè)界顧問，經(jīng)常出現(xiàn)在擁護(hù)的僅容立足的地方，為全球一流的企業(yè)講演軟件測試。他的工作已經(jīng)贏得了無數(shù)“最佳表述”和“年度優(yōu)秀教師”獎。