Selenium is het begrip als het gaat om testautomatisering. Het wordt beschouwd als de industriestandaard voor het geautomatiseerd testen van webapplicaties op gebruikersinterfaces. Volgens het Test Automation Landscape in 2020 Report gebruikt 54% van de respondenten Selenium als tool voor automatiseringstests.
Voor ontwikkelaars en testers die ervaring en vaardigheden hebben op het gebied van programmeren en scripting, biedt Selenium een flexibiliteit die in veel andere testautomatiseringstools en -frameworks niet te vinden is. Gebruikers kunnen testscripts schrijven in veel verschillende talen (zoals Java, Groovy, Python, C#, PHP, Ruby en Perl) die draaien op meerdere systeemomgevingen (Windows, Mac, Linux) en browsers (Chrome, Firefox, IE en Headless browsers).
Sinds de nieuwste versie Selenium 4.0.0 Alpha 7, uitgebracht in november van 2020, biedt het een meer naadloze testervaring door W3C-standaardisatie mogelijk te maken. Dankzij deze nieuwe functie hoeven ontwikkelaars nu geen codes meer aan te passen om met verschillende browsers te werken, omdat Chrome, Safari, Firefox, Internet Explorer en Edge ook het W3C-standaardprotocol zullen volgen.
Om Selenium effectief te gebruiken, moeten gebruikers over geavanceerde programmeervaardigheden beschikken en veel tijd besteden aan het bouwen van automatiseringsframeworks en bibliotheken die nodig zijn voor automatisering. Dit is het belangrijkste nadeel van Selenium, dat wordt aangepakt in andere tools die zijn gebouwd voor codeloze testautomatisering, zoals Katalon Studio.
Website: https://selenium.dev/
Licentie: Open-source
Katalon Studio
Katalon Studio is een krachtige en uitgebreide automatiseringsoplossing voor het testen van API, het testen van web-, mobiele en desktopapplicaties. Het heeft ook een rijke feature set voor deze typen testen en ondersteunt meerdere platformen waaronder Windows, macOS en Linux.
Met behulp van Selenium en Appium engines biedt Katalon Studio een unieke geïntegreerde omgeving voor testers die moeite hebben met het integreren en inzetten van verschillende frameworks en libraries om Selenium en Appium te gebruiken, maar ook voor degenen die al bekend zijn met deze engines.
Katalon Studio is uitgeroepen tot een 2020 Gartner Peer Insights Customers’ Choice for Software Test Automation met meer dan 600 positieve reviews, wat eens te meer bewijst dat de tool nu een van de grootste spelers in de markt is.
Hoogtepunten van de tool zijn onder meer:
- Een complete feature set voor testautomatisering van API/Web services, Web, en mobiele applicaties
- Ondersteunt zowel SOAP als RESTful voor het testen van API en services
- Honderden ingebouwde trefwoorden voor het maken van testgevallen
- Ondersteunt BDD Cucumber om testscenario’s in natuurlijke talen uit te drukken
- Kan worden gebruikt voor zowel geautomatiseerd als verkennend testen
- De testmogelijkheden kunnen worden uitgebreid via plugins op Katalon Store
- Bekijk kwaliteitsrapporten op Katalon TestOps, een test orkestratie platform voor Agile teams.
In januari 2021 heeft Katalon haar nieuwste update – Katalon Studio 7.9.0 – uitgebracht met belangrijke verbeteringen: geüpgraded Eclipse IDE framework met moderne look and feel, integratie met application lifecycle management (ALM) tools, standaard Class File Decompiler voor debugging ondersteuning, en diverse bug issues opgelost.
Website: https://www.katalon.com/
Licentie: Gratis – $759 per jaar
UFT One
UFT One (voorheen bekend als UFT) is een populair commercieel hulpmiddel voor het testen van web, desktop-, mobiele en RPA-toepassingen te testen. Het is uitgebreid met een goede set mogelijkheden voor het testen van API’s. Door de ondersteuning van meerdere platforms voor de doelapplicatie onder test (AUT), biedt UFT One een handige keuze om de AUT te testen die op desktop, web en mobiel werkt.
UFT One biedt verschillende geavanceerde mogelijkheden voor slimme objectdetectie, beeldgebaseerde objectdetectie en -correctie. In november 2020 heeft Microfocus de nieuwste versie van UFT (v15.0.2) uitgebracht. De update biedt nieuwe functies en verbeteringen die de testprocessen stroomlijnen, de testefficiëntie verbeteren en de kwaliteit op peil houden terwijl de testtijd wordt verkort.
Een aantal hoogtepunten van de tool:
- Maak een meer platform-agnostische test met de voorgestelde objectstappen in AI Transformation Assistant
- Gebruik ParallelRunner om meerdere API- en GUI-tests parallel uit te voeren
- Volg en rapporteer WiFi-status, thermische toestand, en beschikbare schijfruimte metriek in de Record & Run instellingen
- Ondersteunt automatische pagina checkpoints voor Firefox of Chrome browsers
Website: https://software.microfocus.com/fr-ca/software/uft
Licentie: Vanaf $3.200 per jaar.
TestComplete
TestComplete staat ook dit jaar weer op de lijst vanwege de krachtige en uitgebreide set functies voor het testen van web, mobiele en desktopapplicaties. Testers kunnen JavaScript, VBScript, Python of C++Script gebruiken om testscripts te schrijven.
Net als UFT One heeft TestComplete een engine voor objectherkenning die dynamische elementen van de gebruikersinterface nauwkeurig kan detecteren. Deze engine is vooral nuttig in applicaties die dynamische en frequent veranderende gebruikersinterfaces hebben.
In januari 2021 werd TestComplete versie 14.72 uitgebracht, inclusief verbeteringen in testruns en webtesten. Self-healing functionaliteit maakt gebruik van de verbeterde AI-gebaseerde algoritmen om een vervangend object te vinden door zijn afbeelding. Testers kunnen gemakkelijk gebruik maken van TestComplete’s record en playback functie, zoals Katalon Studio. Zij kunnen checkpoints in teststappen invoegen om resultaten te verifiëren. Als een product van SmartBear, kan TestComplete gemakkelijk worden geïntegreerd met andere producten die door SmartBear worden aangeboden.
Website: https://smartbear.com/product/testcomplete/overview/
Licentie: Vanaf $6,095 per jaar
SoapUI
SoapUI is geen testautomatiseringstool voor het testen van webapps of mobiele apps, maar het kan een hulpmiddel bij uitstek zijn voor het testen van API en diensten. Het is een headless functionele testtool die speciaal is ontworpen voor het testen van API’s.
SoapUI ondersteunt zowel REST- als SOAP-services. API automatisering testers kunnen gebruik maken van zowel de open-source of pro-versie. De pro-editie heeft een gebruikersvriendelijke interface en een aantal geavanceerde functies, zoals assertion wizard, form editor, en SQL query builder. SoapUI is een tool van de ReadyAPI suite, aangeboden door SmartBear.
De tool biedt een vrij uitgebreide set functies voor het testen van API’s met veel geavanceerde mogelijkheden, waaronder:
- Genereren van tests eenvoudig met drag-and-drop, point-and-click
- Krachtig data-driven testen met gegevens uit bestanden en databases
- Asynchroon testen
- Scripts kunnen eenvoudig worden hergebruikt
- Creëren van mock services met RESTful mocking
Meer, SoapUI heeft onlangs de API Explorer-functie van SoapUI Pro naar de open-source versie gebracht, waardoor ontwikkelaars en testers direct de antwoorden van hun API’s kunnen debuggen.
De nieuwste versie 5.6 van SoapUI (Open-source) is uitgebracht op juli 2020 met bijgewerkte third-party bibliotheken (org.apache.httpcomponents, commons-logging, commons-codec, en Junit). Terwijl, SoapUI Pro 3.5.1 is de nieuwste opvolger in de gecommercialiseerde versie aangedreven door Smartbear, met inbegrip van een aantal verbeteringen om API-testen naadloos en krachtiger.
Website: https://www.soapui.org/
Licentie: Gratis – $749 per jaar.
Let op: SoapUI en Postman zijn slechts twee vertegenwoordigers van een aantal top API-testtools in deze lijst. Om meer te leren over de vergelijking tussen deze tools, verwijzen wij u naar deze post.
IBM Rational Functional Tester (RFT)
IBM Rational Functional Tester is een testautomatiseringshulpmiddel dat is ontworpen voor het testen van toepassingen die zijn ontwikkeld met behulp van verschillende talen en technologieën, zoals Web, .Net, Java, Visual Basic, Siebel, SAP, PowerBuilder, Adobe Flex, en Dojo Toolkit. Het is ook een data-gedreven testplatform voor functionele en regressie testen.
Enkele hoogtepunten van de tool:
- Visuele bewerking door middel van screenshots biedt een visuele, storyboard-indeling voor het weergeven van testacties die gebruikers in staat stelt om frequente wijzigingen in de gebruikersinterface op te vangen en een toename in de onderhoudsoverhead te voorkomen.
- Geavanceerde ScriptAssure-technologie
- Vroegere detectie van gegevens
- Testscripting stelt gebruikers in staat om te kiezen tussen Java of Visual Basic .NET
- Integratie met andere software ter ondersteuning van collaborative application lifecycle management
RFT V10.1.0 (juli 2020) is algemeen beschikbaar gesteld met nieuwe functies, evenals bugfixes voor door klanten gerapporteerde en intern gevonden defecten. Het in deze versie verbeterde unified report is beschikbaar voor Functional, Web UI en Compound tests, en Accelerated Functional Test (AFT) suites, evenals een uitgebreide gebruikersinterface, om de details van de testresultaten te analyseren en te filteren.
Website: https://en.wikipedia.org/wiki/Rational_Functional_Tester
Licentie: Commercieel – Neem contact op met Verkoop
Tricentis Tosca
Er zijn een paar platforms voor continu testen die uitgebreide toolsets bieden ter ondersteuning van de meeste, zo niet alle testactiviteiten, variërend van testontwerp en testautomatisering tot testrapporten en analyses. Tricentis Tosca is er daar een van.
Deze tool heeft veel functies zoals dashboards, analyses, integraties en gedistribueerde executies ter ondersteuning van continue integratie en DevOps-praktijken. Bovendien biedt het een vriendelijke gebruikersinterface en een rijke set functies voor het ontwerpen, implementeren, uitvoeren, beheren en optimaliseren van API-tests.
Enige andere hoogtepunten van de tool:
- Kan eenvoudig worden geïntegreerd als cruciaal onderdeel van DevOps-processen
- API-tests kunnen worden uitgevoerd in browsers, mobiele apparaten en platforms
- Meerdere protocollen en standaarden zijn mogelijk, waaronder HTTP(s) JMS, AMQP, Rabbit MQ, TIBCO EMS, SOAP, REST, en IBM MQ
- Een goede set van test rapportage en analyse mogelijkheden
- Automeer UI test cases op basis van een mockup in plaats van codes
Tricentis Tosca ondersteunt API security configuratie in de API Connection Manager. Het stelt gebruikers ook in staat om de handtekening beveiligingsoptie te gebruiken om meerdere delen van een bericht te ondertekenen.
Tricentis claimt regressie testen aanzienlijk te verminderen (binnen de omvang van minuten van weken). Deze claim moet echter zorgvuldig worden geverifieerd door testteams.
In de laatste update 13.4 in september 2020 werd de eerste versie van Project NEO, Tricentis’ AI-powered test automation engine geïntroduceerd. Met Project NEO kunnen geautomatiseerde tests snel en virtueel worden uitgevoerd.
Website: https://www.tricentis.com/
Licentie: Commercieel – Neem contact op met Verkoop
Ranorex
Het bedrijf bestaat al vele jaren, Ranorex biedt een uitgebreide en professionele set functies voor web-, mobiele, desktop- en API-tests. Ranorex maakt gebruik van zijn ervaring in desktop-gebaseerde testautomatisering en heeft geavanceerde mogelijkheden voor het identificeren, bewerken en beheren van UI-elementen.
Net als Katalon Studio maakt Ranorex automatiseringstesten eenvoudig voor testers met zijn vriendelijke en intuïtieve GUI, record/playback en het genereren van scripts.
Testers kunnen Ranorex integreren met Selenium Grid om gedistribueerd testen mogelijk te maken, samen met parallelle testuitvoeringen.
Ranorex 9.3 introduceert verbeterde Jira en TestRail rapportage. De nieuwste release, Ranorex Studio 9.3.4 (november 2020) verhoogde ondersteuning voor Delphi TAdvStringGrid’s verborgen kolommen, ook voor Apple iOS 14 en Android 11 gebaseerde apparaten, naast een aantal bug fixes.
Website: https://www.ranorex.com/
Licentie: Vanaf €5.460 voor Premium Bundle.
Postman
Postman is een ander automatiseringshulpmiddel dat is ontworpen voor het testen van API’s. Gebruikers kunnen deze tool installeren als een browserextensie of een desktopapplicatie op Mac, Linux en Windows. Het is niet alleen populair onder testers voor automatisering van API-tests, maar ook onder ontwikkelaars die de tool gebruiken voor het ontwikkelen en testen van API’s. Het is in feite een ontwikkelomgeving om API’s te ontwikkelen en te testen.
Enkele highlights van de tool:
- Volledige functieset voor het ontwerpen, debuggen, testen, documenteren en publiceren van API’s
- Vriendelijke en gebruiksvriendelijke gebruikersinterface
- Ondersteunt zowel geautomatiseerde als verkennende tests
- Accepteert Swagger en RAML API-formaten
- Vragen en antwoorden kunnen worden verpakt en gedeeld met teamleden
Start vanaf versie 7.3 in 2020, helpt Postman gebruikers de collecties en API-elementen (mock server, monitors, tests en documentatie) die zijn gegenereerd uit API-schema’s beter te organiseren door gebruik te maken van de nieuwe geavanceerde voorkeuren. De nieuwste versie 8.0 voor betere API-ontwikkelingservaringen is uitgebracht in januari 2021. De nieuwe versie versterkt de universele navigatiefunctie (werkruimten, rapporten, verkennen, enz.) en maakt een verenigde web- en native interface mogelijk.
Website: https://www.getpostman.com/
Licentie: Gratis – $216 per gebruiker per jaar
Apache JMeter
JMeter is een open-sourcetool ontworpen voor het laden van tests en het meten van prestaties – twee functies waar JMeter bekend om staat. De tool wordt nu echter ook gebruikt voor het testen van API’s en services, met name voor API-prestaties.
Hoogtepunten van de tool zijn:
- Lichtgewicht met een eenvoudige en gebruiksvriendelijke gebruikersinterface
- Testresultaten kunnen opnieuw worden afgespeeld
- Support CSV-bestanden om waarden voor API-parameters in te stellen
- Support integratie met CI-tools zoals Jenkins. JMeter wordt vaak gebruikt als onderdeel van CI en DevOps toolchains
Als meest recente release in december 2020, is JMeter 5.4 gestapeld met meerdere veranderingen:applicatie-modaal splash scherm, LogKit logger gedeeltelijk verwijderen, bug fixes, en JMeter implementeert voor functioneel testen.
Website: https://jmeter.apache.org/
Licentie: Open-source
Telerik Test Studio
Ontwikkeld als een Windows-gebaseerde software testtool, Telerik Test Studio is algemeen bekend voor functionele web- en desktoptests, het testen van softwareprestaties en het testen van mobiele toepassingen. Deze oplossing maakt zowel codegebaseerde mogelijkheden als een codevrije aanpak mogelijk, waardoor een optimale app-kwaliteit met de meest uitmuntende resultaten wordt gegarandeerd.
Hoogtepunten van de tool zijn:
- Intuïtieve recorder met cross-browser ondersteuning
- Testresultaten weergegeven in het executive dashboard
- Intelligente hybride element detectie
- Planning en concurrent runs
- Test element management
De laatste release, Test Studio R3 2020 SP1 (v.2020.3.1209)in december 2020, brengt gloednieuwe functies, zoals Dark Theme en nieuwe notificatieversie in de statusbalk. Daarnaast zijn er ook updates in het communicatiemechanisme om gemaakte projecten efficiënt te laten werken.
Website: https://www.telerik.com/teststudio
Licentie: Contact verkoop
Watir
Watir, uitgesproken als “water”, is een lichtgewicht open-source testtool die is ontworpen voor het automatiseren van het testen van webtoepassingen. Watir beschikt over een uitgebreide set API’s waarmee testers kunnen communiceren met de browser, pagina-elementen kunnen lokaliseren, met waarschuwingen kunnen werken, headless kunnen testen en nog veel meer.
Enige hoogtepunten van de tool:
- Locatie webelementen
- Het maken van screenshots van de uitgevoerde testen zoals vereist
- Page performance
- Test alerts popup in je UI of website
- Headless testing om UI test cases uit te voeren op de command line
Na een lange tijd zonder update, kwam Watir terug met release 6.17 op 28 augustus 2020. Deze versie heeft een aantal kritieke bugs aangepakt met betrekking tot locator code, browser instance, en meer. Bovendien accepteren browsers met Watir 6.17 nu een service-parameter met een Selenium Service instance-waarde. Ruby 2.5 of hoger is vereist voor deze versie.
Website: http://watir.com/
Licentie: Open-source
Worksoft
Bekend als platform voor software voor continue testautomatisering, Worksoft biedt een reeks functies die worden gebruikt voor ERP-applicaties, webapps, mobiele apps en meer. Dit platform is gecertificeerd door SAP voor integratiemogelijkheden met SAP applicaties.
Highlights van de tool zijn onder meer:
- Het gebruik van Groovy als scripttaal & ondersteuning van externe Java-bibliotheek
- Het vermogen om Agile en DevOps testpraktijken te ondersteunen
- Naadloze integraties met andere testtools, ALM-systemen, en DevOps toolchains
- Objectherkenningsmogelijkheden voor SAP Fiori plus de snelle release van versie-updates
De nieuwste versie Worksoft Certify 12, biedt uitgebreide DevOps integraties, plus out-of-the-box optimalisaties voor moderne web- en cloudapplicaties. Certify voegt ook ondersteuning voor Postman toe, evenals verbeteringen aan 12 Jenkins met een officiële plug-in in de Jenkins store.
Website: https://www.worksoft.com/
Licentie: Commercieel (neem contact op met verkoop)
Appium
De andere open-source-tool in deze lijst is Appium, een tool voor automatiseringstests voor mobiele webtoepassingen, hybride toepassingen op mobiele iOS/ Android- en Windows-desktopplatforms.
De hoogtepunten van de tool zijn:
- Ondersteunt meerdere programmeertalen (Java, Ruby, Python, etc.)
- Cross-platform (Android & iOS) testen op echte apparaten, emulators, en simulators
In januari 2021, Appium had een patch release met een bug fix in het instellen van de sessie mogelijkheden.
Website: https://github.com/appium
Licentie: Open-source
Cucumber
Last but not least, Cucumber is een tool voor automatiseringstesten die Behavior Driven Development (BDD) ondersteunt, zodat iedereen op een eenvoudige manier een testcase kan schrijven en uitvoeren, ongeacht de technische kennis.
Hoogtepunten van de tool zijn:
- Werkt op meerdere platformen: Java, JavaScript, Ruby, .NET, en vele andere platforms
- Naadloze automatisering met Selenium, API-calls, of directe functie-aanroepen in hetzelfde proces
- Integratie met Jira om de samenwerking tussen teams te versterken
- Rapporten in HTML, JSON, en andere formaten om de prestaties van het team te monitoren
De nieuwste versie Cucumber Open 6.9.1 is uitgebracht op 14 december 2020, met enkele bugfixes in Core en JUnit Platform.
Website: https://cucumber.io/tools/cucumber-open/
Licentie: Open-source
– – – –
Deze lijst met toptools is niet uitputtend, maar vertegenwoordigt de beste tools die volwassen en populair zijn, en mogelijkheden bieden met behulp van AI/ML om de uitdagingen aan te gaan waar organisaties nu voor staan als het gaat om het leveren van “Quality at Speed”. Deze lijst bevat ook de tools die uitsluitend API- en services-testen ondersteunen die essentieel zijn voor een succesvolle Agile- en DevOps-transformatie.
Het kan worden gezegd dat het landschap van software testing tools in 2021 blijft evolueren. De opkomende trends – AI en machine learning, codeloos, big data en IoT-testen, de intensieve adoptie van testautomatisering (vooral in Agile-teams), enzovoort – zullen zowel uitdagingen als kansen creëren voor de bestaande tools en nieuwe spelers om waarde te laten gelden voor de testgemeenschappen.
Uw keuze van testtools moet niet alleen voldoen aan uw huidige behoeften, maar moet zich ook richten op potentiële trends en verbeteringen. Een fatsoenlijke tool moet ondersteuning bieden voor basisoptimalisatie, automatisering van het genereren van testcases en -gegevens, slimmere oplossingen en analytics.
Er zullen meer tools worden geïntroduceerd omdat er groeimogelijkheden zijn; ook al is het niveau van testautomatisering in organisaties laag: tussen de 14% en 18% (WQR-rapport). Bovendien zal het spannend worden om te zien hoe de bestaande en toekomstige tools AI/ML toepassen om de toekomstige uitdagingen aan te pakken. API en services testing is ook een trend die zich in de toekomst verder zou moeten ontwikkelen.