Selenium jest nazwą domową, jeśli chodzi o automatyzację testów. Jest uważany za branżowy standard w zakresie automatyzacji testów interfejsu użytkownika aplikacji internetowych. Według raportu Test Automation Landscape in 2020 Report, 54% respondentów używa Selenium jako narzędzia do automatyzacji testów.
Dla programistów i testerów, którzy mają doświadczenie i umiejętności w programowaniu i tworzeniu skryptów, Selenium oferuje elastyczność, która jest niespotykana w wielu innych narzędziach i frameworkach do automatyzacji testów. Użytkownicy mogą pisać skrypty testowe w wielu różnych językach (takich jak Java, Groovy, Python, C#, PHP, Ruby i Perl), które działają w wielu środowiskach systemowych (Windows, Mac, Linux) i przeglądarkach (Chrome, Firefox, IE i Headless browsers).
Od czasu wydania najnowszej wersji Selenium 4.0.0 Alpha 7 w listopadzie 2020 roku, oferuje ona bardziej bezproblemowe doświadczenie testowania poprzez umożliwienie standaryzacji W3C. Dzięki tej nowej funkcji, programiści nie muszą już modyfikować kodów, aby pracować z różnymi przeglądarkami, ponieważ Chrome, Safari, Firefox, Internet Explorer i Edge będą również podążać za standardowym protokołem W3C.
Aby efektywnie korzystać z Selenium, użytkownicy muszą posiadać zaawansowane umiejętności programistyczne i muszą poświęcić sporo czasu na budowanie frameworków automatyzacji i bibliotek niezbędnych do automatyzacji. Jest to główna wada Selenium, która została rozwiązana w innych narzędziach stworzonych do bezkodowej automatyzacji testów, takich jak Katalon Studio.
Strona: https://selenium.dev/
Licencja: Open-source
Katalon Studio
Katalon Studio to potężne i kompleksowe rozwiązanie do automatyzacji testów API, Web, aplikacji mobilnych i desktopowych. Posiada również bogaty zestaw funkcji dla tych typów testów i obsługuje wiele platform, w tym Windows, macOS i Linux.
Korzystając z silników Selenium i Appium, Katalon Studio zapewnia unikalnie zintegrowane środowisko dla testerów, którzy mają trudności z integracją i wdrażaniem różnych frameworków i bibliotek do korzystania z Selenium i Appium, jak również dla tych, którzy są już zaznajomieni z tymi silnikami.
Katalon Studio zostało nazwane 2020 Gartner Peer Insights Customers' Choice for Software Test Automation z ponad 600 pozytywnymi recenzjami, co po raz kolejny udowadnia, że narzędzie jest obecnie jednym z największych graczy na rynku.
Do najważniejszych zalet narzędzia należą:
- Kompletny zestaw funkcji do automatyzacji testów API/Web services, Web, i aplikacji mobilnych
- Wspiera zarówno SOAP, jak i RESTful do testowania API i usług
- Setki wbudowanych słów kluczowych do tworzenia przypadków testowych
- Wspiera BDD Cucumber do wyrażania scenariusza testowego w językach naturalnych
- Może być używane zarówno do testów automatycznych, jak i eksploracyjnych
- Możliwości testowania mogą być rozszerzone poprzez wtyczki w Katalon Store
- Widok raportów jakości w Katalon TestOps, platformie do orkiestracji testów dla zespołów Agile.
W styczniu 2021 roku, Katalon wydał swoją najnowszą aktualizację – Katalon Studio 7.9.0 – z głównymi ulepszeniami: uaktualniony framework Eclipse IDE z nowoczesnym wyglądem i działaniem, integracja z narzędziami do zarządzania cyklem życia aplikacji (ALM), domyślny dekompilator plików klasowych do wsparcia debugowania i rozwiązanie kilku problemów z błędami.
Strona internetowa: https://www.katalon.com/
Licencja: Darmowa -. $759 rocznie
UFT One
UFT One (dawniej znany jako UFT) to popularne komercyjne narzędzie do testowania aplikacji webowych, desktop, mobile oraz aplikacji RPA. Zostało ono rozszerzone o dobry zestaw możliwości do testowania API. Dzięki obsłudze wielu platform dla docelowej testowanej aplikacji (AUT), UFT One zapewnia wygodny wybór do testowania AUT, które działa na desktopie, w sieci i na urządzeniach mobilnych.
UFT One zapewnia kilka zaawansowanych funkcji do inteligentnego wykrywania obiektów, wykrywania obiektów na podstawie obrazu i korekcji. W listopadzie 2020 roku, Microfocus wydał najnowszą wersję UFT (v15.0.2). Aktualizacja oferuje nowe funkcje i ulepszenia, które usprawniają procesy testowania, zwiększają wydajność testowania i utrzymują jakość przy jednoczesnym skróceniu czasu testowania.
Kilka najważniejszych cech narzędzia:
- Stwórz testy bardziej odporne na platformy dzięki sugerowanym krokom obiektu w AI Transformation Assistant
- Użyj ParallelRunner, aby uruchomić wiele testów API i GUI równolegle
- Śledzenie i raportowanie stanu WiFi, stan termiczny i dostępne miejsce na dysku w ustawieniach Record & Run
- Obsługa automatycznych punktów kontrolnych strony dla przeglądarek Firefox lub Chrome
Strona: https://software.microfocus.com/fr-ca/software/uft
Licencja: Od 3200 dolarów za rok.
TestComplete
TestComplete nadal znajduje się na liście w tym roku ze względu na swój potężny i wszechstronny zestaw funkcji do testowania aplikacji webowych, mobilnych i desktopowych, aplikacji mobilnych i desktopowych. Testerzy mogą używać JavaScript, VBScript, Python lub C++Script do pisania skryptów testowych.
Tak jak UFT One, TestComplete posiada silnik rozpoznawania obiektów, który potrafi dokładnie wykryć dynamiczne elementy interfejsu użytkownika. Silnik ten jest szczególnie przydatny w aplikacjach, które posiadają dynamiczne i często zmieniające się interfejsy użytkownika.
W styczniu 2021 roku wydana została wersja 14.72 TestComplete, która zawiera ulepszenia w testach uruchamianych i testach sieciowych. Funkcjonalność autoregeneracji wykorzystuje ulepszone algorytmy oparte na sztucznej inteligencji, aby znaleźć obiekt zastępczy na podstawie jego obrazu. Testerzy mogą łatwo korzystać z funkcji nagrywania i odtwarzania TestComplete, podobnie jak Katalon Studio. Mogą oni wstawiać punkty kontrolne do kroków testowych, aby zweryfikować wyniki. Jako produkt firmy SmartBear, TestComplete może być łatwo zintegrowany z innymi produktami oferowanymi przez SmartBear.
Strona internetowa: https://smartbear.com/product/testcomplete/overview/
Licencja: Od 6$,095 rocznie
SoapUI
SoapUI nie jest narzędziem do automatyzacji testów aplikacji webowych czy mobilnych, ale może być narzędziem z wyboru do testowania API i usług. Jest to bezgłowicowe narzędzie do testowania funkcjonalnego, zaprojektowane specjalnie do testowania API.
SoapUI obsługuje zarówno usługi REST jak i SOAP. Testerzy automatyzacji API mogą korzystać z wersji open-source lub pro. Wersja pro posiada przyjazny dla użytkownika interfejs oraz kilka zaawansowanych funkcji, takich jak kreator asercji, edytor formularzy oraz kreator zapytań SQL. SoapUI jest narzędziem wchodzącym w skład pakietu ReadyAPI, oferowanego przez firmę SmartBear.
Narzędzie dostarcza dość obszerny zestaw funkcji do testowania API z wieloma zaawansowanymi możliwościami, w tym:
- Łatwe generowanie testów za pomocą metody przeciągnij i upuść, point-and-click
- Potężne testowanie oparte na danych z plików i baz danych
- Asynchroniczne testowanie
- Skrypty mogą być łatwo ponownie wykorzystane
- Tworzenie kpiących usług za pomocą RESTful mocking
Co więcej, SoapUI niedawno wprowadziło funkcję API Explorer z SoapUI Pro do wersji open-source, pozwalając programistom i testerom na natychmiastowe debugowanie odpowiedzi API.
Najnowsza wersja 5.6 SoapUI (Open-source) została wydana w lipcu 2020 roku wraz ze zaktualizowanymi bibliotekami stron trzecich (org.apache.httpcomponents, commons-logging, commons-codec i Junit). Natomiast SoapUI Pro 3.5.1 to najnowszy następca skomercjalizowanej wersji zasilanej przez Smartbear, zawierający szereg usprawnień, dzięki którym testowanie API jest bezproblemowe i bardziej wydajne.
Strona internetowa: https://www.soapui.org/
Licencja: Free – $749 na rok.
Proszę zauważyć, że SoapUI i Postman są dwoma przedstawicielami kilku najlepszych narzędzi do testowania API tylko na tej liście. Aby dowiedzieć się więcej o porównaniu między tymi narzędziami, proszę odnieść się do tego postu.
IBM Rational Functional Tester (RFT)
IBM Rational Functional Tester jest narzędziem do automatyzacji testów przeznaczonym do testowania aplikacji, które są tworzone przy użyciu różnych języków i technologii, takich jak Web, .Net, Java, Visual Basic, Siebel, SAP, PowerBuilder, Adobe Flex i Dojo Toolkit. Jest to również platforma do testowania opartego na danych dla testów funkcjonalnych i regresyjnych.
Kilka najważniejszych cech narzędzia:
- Wizualna edycja poprzez zrzuty ekranu zapewnia wizualny format storyboardu dla reprezentacji działań testowych, które pozwalają użytkownikom na dostosowanie się do częstych zmian interfejsu użytkownika i uniknięcie wzrostu kosztów utrzymania.
- Zaawansowana technologia ScriptAssure
- Wcześniejsze wykrywanie danych
- Skryptowanie testów pozwala użytkownikom na wybór pomiędzy Javą lub Visual Basic .NET
- Integracja z innym oprogramowaniem w celu wsparcia wspólnego zarządzania cyklem życia aplikacji
RFT V10.1.0 (lipiec 2020) został ogólnie udostępniony wraz z nowymi funkcjami, jak również poprawkami błędów zgłoszonych przez klienta i znalezionych wewnętrznie. Ujednolicony raport udoskonalony w tej wersji jest dostępny dla testów funkcjonalnych, Web UI i złożonych oraz pakietów Accelerated Functional Test (AFT), a także rozbudowany interfejs użytkownika, umożliwiający analizowanie i filtrowanie szczegółów wyników testów.
Strona: https://en.wikipedia.org/wiki/Rational_Functional_Tester
Licencja: Komercyjna – Kontakt Sprzedaż
Tricentis Tosca
Istnieje kilka platform do ciągłego testowania, które zapewniają kompleksowe zestawy narzędzi do wspierania większości, jeśli nie wszystkie czynności związane z testowaniem, począwszy od projektowania testów, poprzez automatyzację testów, aż po raporty i analitykę. Tricentis Tosca jest jednym z nich.
To narzędzie posiada wiele funkcji, takich jak pulpity, analityka, integracje i rozproszone egzekucje, aby wspierać ciągłą integrację i praktyki DevOps. Ponadto, oferuje przyjazny interfejs użytkownika i bogaty zestaw funkcji do projektowania, wdrażania, wykonywania, zarządzania i optymalizacji testów API.
Kilka innych ciekawostek związanych z narzędziem:
- Może być łatwo zintegrowane jako kluczowa część procesów DevOps
- Testy API mogą być wykonywane w przeglądarkach, urządzeniach mobilnych i platformach
- Wielu protokołów i standardów jest włączonych, w tym HTTP(s) JMS, AMQP, Rabbit MQ, TIBCO EMS, SOAP, REST i IBM MQ
- Dobry zestaw funkcji raportowania i analizy testów
- Automatyzacja przypadków testowych UI w oparciu o makietę zamiast kodów
Tricentis Tosca wspiera konfigurację bezpieczeństwa API w API Connection Manager. Pozwala również użytkownikom na wykorzystanie opcji bezpieczeństwa podpisu do podpisywania wielu części wiadomości.
Tricentis twierdzi, że znacznie skraca testy regresji (w granicach minut z tygodni). To twierdzenie musi być jednak dokładnie zweryfikowane przez zespoły testujące.
W ostatniej aktualizacji 13.4 we wrześniu 2020 r. wprowadzono pierwszą wersję Project NEO, napędzanego sztuczną inteligencją silnika automatyzacji testów firmy Tricentis. Dzięki Project NEO, zautomatyzowane testy mogą być szybko i wirtualnie wykonywane.
Strona internetowa: https://www.tricentis.com/
Licencja: Commercial – Contact Sales
Ranorex
Jesteśmy na rynku od wielu lat, Ranorex dostarcza kompleksowy i profesjonalny zestaw funkcji do testowania Web, mobile, desktop i API. Wykorzystując swoje doświadczenie w automatyzacji testów desktopowych, Ranorex posiada zaawansowane możliwości identyfikacji, edycji i zarządzania elementami UI.
Podobnie jak Katalon Studio, Ranorex ułatwia testerom automatyzację testów dzięki przyjaznemu i intuicyjnemu GUI, nagrywaniu/odtwarzaniu i generowaniu skryptów.
Testerzy mogą zintegrować Ranorex z Selenium Grid, aby umożliwić testowanie rozproszone wraz z równoległym wykonywaniem testów.
Ranorex 9.3 wprowadza ulepszone raportowanie Jira i TestRail. Najnowsze wydanie, Ranorex Studio 9.3.4 (listopad 2020) zwiększyło wsparcie dla ukrytych kolumn Delphi TAdvStringGrid, również dla urządzeń Apple iOS 14 i Android 11, oprócz kilku poprawek błędów.
Strona internetowa: https://www.ranorex.com/
Licencja: Od €5,460 za Premium Bundle.
Postman
Postman jest kolejnym narzędziem automatyzacji przeznaczonym do testowania API. Użytkownicy mogą zainstalować to narzędzie jako rozszerzenie przeglądarki lub aplikację desktopową na komputerach Mac, Linux, Windows. Jest on popularny nie tylko wśród testerów do automatyzacji testów API, ale także wśród deweloperów, którzy używają tego narzędzia do tworzenia i testowania API. Jest to w istocie środowisko programistyczne do tworzenia i testowania API.
Kilka ciekawostek na temat narzędzia:
- Wszechstronny zestaw funkcji do projektowania, debugowania, testowania, dokumentowania i publikowania interfejsów API
- Przyjazny i łatwy w użyciu interfejs użytkownika
- Wspiera zarówno testy automatyczne, jak i eksploracyjne
- Akceptuje formaty Swagger i RAML API
- Zapytania i odpowiedzi mogą być pakowane i udostępniane członkom zespołu
Począwszy od wersji 7.3 w 2020 roku, Postman pomaga użytkownikom lepiej organizować kolekcje i elementy API (mock server, monitory, testy i dokumentacja) wygenerowane ze schematów API za pomocą nowych zaawansowanych preferencji. Najnowsza wersja 8.0 dla lepszego doświadczenia rozwoju API została wydana w styczniu 2021 roku. Nowa wersja wymusza uniwersalną funkcję nawigacji (obszary robocze, raporty, eksploracja itp.), a także umożliwia ujednolicony interfejs internetowy i natywny.
Strona internetowa: https://www.getpostman.com/
Licencja: Darmowa – $216 za użytkownika na rok
Apache JMeter
JMeter jest narzędziem open-source’owym narzędziem przeznaczonym do ładowania testów i pomiaru wydajności – dwóch cech, z których JMeter jest znany. Jednak obecnie narzędzie to jest również wykorzystywane do testowania API i usług, zwłaszcza pod kątem wydajności API.
Do najważniejszych cech narzędzia należą:
- Lekkość z prostym i łatwym w użyciu interfejsem użytkownika
- Wyniki testów mogą być odtwarzane
- Obsługa plików CSV do ustawiania wartości parametrów API
- Wsparcie integracji z narzędziami CI, takimi jak Jenkins. JMeter jest często używany jako część CI i DevOps toolchains
Jako najnowsze wydanie w grudniu 2020, JMeter 5.4 został wzbogacony o wiele zmian: application-modal splash screen, LogKit logger partial remove, bug fixes, and JMeter implements for functional testing.
Strona internetowa: https://jmeter.apache.org/
Licencja: Open-source
Telerik Test Studio
Opracowane jako narzędzie do testowania oprogramowania oparte na systemie Windows.narzędzie do testowania oprogramowania, Telerik Test Studio jest szeroko znany z testowania funkcjonalności stron internetowych i komputerów stacjonarnych, testowania wydajności oprogramowania i testowania aplikacji mobilnych. Rozwiązanie to pozwala zarówno na wykorzystanie możliwości opartych na kodzie, jak i na podejście bezkodowe, zapewniając optymalną jakość aplikacji z najlepszymi wynikami.
Do najważniejszych zalet narzędzia należą:
- Intuicyjny rejestrator z obsługą różnych przeglądarek
- Wyniki testów wyświetlane na pulpicie wykonawczym
- Inteligentne wykrywanie elementów hybrydowych
- Scheduling i równoległe przebiegi
- Zarządzanie elementami testowymi
Najnowsza wersja, Test Studio R3 2020 SP1 (v.2020.3.1209) z grudnia 2020 roku, przynosi zupełnie nowe funkcje, takie jak Dark Theme oraz nową wersję powiadomień na pasku stanu. Dodatkowo pojawiają się również aktualizacje w mechanizmie komunikacji, aby tworzone projekty działały sprawnie.
Strona: https://www.telerik.com/teststudio
Licencja: Kontakt Sprzedaż
Watir
Watir, wymawiane jako „woda”, jest lekkim, open-source’owym narzędziem testującym przeznaczonym do automatyzacji testowania aplikacji internetowych. Watir posiada bogaty zestaw interfejsów API, które pomagają testerom w interakcji z przeglądarką, lokalizowaniu elementów strony, pracy z alertami, testowaniu bezgłowym i wielu innych.
Kilka najważniejszych cech narzędzia:
- Lokalizacja elementów strony
- Zrobienie zrzutów ekranu z wykonanych testów w razie potrzeby
- Wydajność strony
- Alerty testowe wyskakujące w twoim UI lub na stronie
- Testy bezgłowe do wykonywania przypadków testowych UI w linii poleceń
Po długim czasie bez aktualizacji, Watir powrócił z wydaniem 6.17 w dniu 28 sierpnia 2020 roku. Ta wersja zaadresowała kilka krytycznych błędów związanych z kodem lokalizatora, instancją przeglądarki i nie tylko. Ponadto, wraz z Watir 6.17, przeglądarki akceptują teraz parametr usługi z wartością instancji Selenium Service. Ruby 2.5 lub nowszy jest wymagany dla tej wersji.
Strona: http://watir.com/
Licencja: Open-source
Worksoft
Znany jako platforma do automatyzacji testów ciągłych, Worksoft oferuje zestaw funkcji wykorzystywanych w aplikacjach ERP, aplikacjach webowych, aplikacjach mobilnych i innych. Platforma ta jest certyfikowana przez SAP pod kątem możliwości integracji z aplikacjami SAP.
Główne zalety narzędzia obejmują:
- Użycie Groovy jako języka skryptowego & wsparcie dla zewnętrznej biblioteki Java
- Możliwość wsparcia praktyk testowania Agile i DevOps
- Bezproblemowe integracje z innymi narzędziami testującymi, systemami ALM, i łańcuchami narzędzi DevOps
- Możliwości rozpoznawania obiektów dla SAP Fiori plus szybkie wydawanie aktualizacji wersji
Najnowsza wersja Worksoft Certify 12, oferuje rozszerzone integracje DevOps, plus optymalizacje out-of-the-box dla nowoczesnych aplikacji webowych i chmurowych. Certify dodaje również wsparcie dla Postman, a także ulepszenia dla 12 Jenkins z oficjalną wtyczką w sklepie Jenkins.
Strona: https://www.worksoft.com/
Licencja: Komercyjna (Contact Sales)
Appium
Drugim narzędziem open-narzędziem open source jest Appium, narzędzie do automatyzacji testów dla mobilnych aplikacji webowych, hybrydowych na platformach mobilnych iOS/ Android oraz desktopowych Windows.
Do najważniejszych cech narzędzia należą:
- Wsparcie dla wielu języków programowania (Java, Ruby, Python, itp.)
- Wsparcie dla wielu języków programowania (Java, Ruby, Python, itp.).)
- Cross-platform (Android & iOS) testowanie na prawdziwych urządzeniach, emulatorach i symulatorach
W styczniu 2021 roku, Appium miał wydanie poprawki z poprawką błędu w ustawianiu możliwości sesji.
Strona internetowa: https://github.com/appium
Licencja: Open-source
Cucumber
Ostatnie, ale nie mniej ważne, Cucumber jest narzędziem do testowania automatyzacji, które wspiera Behavior Driven Development (BDD), zapewniając łatwy sposób na napisanie i wykonanie przypadku testowego dla każdego, niezależnie od wiedzy technicznej.
Do najważniejszych cech tego narzędzia należą:
- Praca na wielu platformach: Java, JavaScript, Ruby, .NET i wiele innych platform
- Bezproblemowa automatyzacja za pomocą Selenium, wywołań API lub bezpośrednich wywołań funkcji w tym samym procesie
- Integracja z Jira w celu wzmocnienia współpracy zespołu
- Raporty w HTML, JSON i innych formatach w celu monitorowania wydajności zespołu
Najnowsza wersja Cucumber Open 6.9.1 została wydana 14 grudnia 2020 roku, z kilkoma poprawkami błędów w Core i JUnit Platform.
Strona internetowa: https://cucumber.io/tools/cucumber-open/
Licencja: Open-source
– – – – – – – –
Ta lista najlepszych narzędzi nie jest wyczerpująca; ale reprezentuje najlepsze narzędzia, które są dojrzałe, popularne i zapewniają możliwości wykorzystujące AI/ML, aby sprostać wyzwaniom, przed którymi stoją obecnie organizacje, jeśli chodzi o dostarczanie „Quality at Speed”. Lista ta zawiera również narzędzia, które wyłącznie wspierają testowanie API i usług niezbędne do udanej transformacji Agile i DevOps.
Można powiedzieć, że krajobraz narzędzi do testowania oprogramowania w 2021 roku nadal ewoluuje. Pojawiające się trendy – AI i uczenie maszynowe, testowanie bezkodowe, big data i IoT, intensywna adopcja automatyzacji testów (szczególnie w zespołach Agile), itp. – stworzą zarówno wyzwania, jak i możliwości dla istniejących narzędzi i nowych graczy, aby zapewnić wartość społecznościom testującym.
Twój wybór narzędzi do testowania powinien nie tylko zaspokajać Twoje obecne potrzeby, ale powinien również skupiać się na potencjalnych trendach i ulepszeniach. Przyzwoite narzędzie powinno wspierać podstawową optymalizację, automatyzację generowania przypadków testowych i danych, inteligentne rozwiązania i analitykę.
Więcej narzędzi będzie wprowadzanych, ponieważ istnieją możliwości rozwoju; nawet jeśli poziom automatyzacji testów w organizacjach jest niski i wynosi od 14% do 18% (raport WQR). Co więcej, ekscytujące będzie obserwowanie, w jaki sposób istniejące i nadchodzące narzędzia stosują AI/ML, aby sprostać nadchodzącym wyzwaniom. Testowanie API i usług jest również trendem, który powinien być dalej rozwijany w przyszłości.