TestAutomatisering & PerformanceTesten

Impact tooling op performance: Dynatrace

In deze blog geef ik kort de resultaten weer van een onderzoekje dat ik bij één van mijn laatste opdrachten heb gedaan naar de impact van het gebruik van de tool Dynatrace op de infrastructuur waar het op draait. Mocht je gebruik maken van tooling als Dynatrace of op een andere manier geïnteresseerd zijn in performance denk ik dat je dit zeker interessant vindt.

Mijn onderzoekje focuste op java agents die draaiden op Websphere Application Servers.

Ik keek vooral naar de impact op CPU en responstijden. Bij de responstijden heb ik me gefocust op 2 veelvoorkomende transacties.

Ik heb testjes gedaan met de volgende settings:

  • Dynatrace uit;
  • Dynatrace aan met default settings;
  • Dynatrace aan zonder Exception Sensor Pack;
  • Dynatrace aan zonder Exception Sensor Pack en Auto Sensors resolution level LOW.

NB! De resultaten zoals hieronder besproken, hebben betrekking op de applicaties die ik geraakt heb met mijn testen. Deze resultaten zijn niet zomaar te generaliseren.

De eerste ronde testen hadden betrekking op de settings bij de eerste 3 bullets. Hieronder mijn bevindingen:

  • Exception Sensor Pack uitzetten zorgt voor een afname van meer dan 50% van geïnstrumenteerde sensors.
  • Exception Sensor Pack lijkt geen invloed te hebben op de responstijden.
  • CPU usage neemt minimaal af bij disablen Exception Sensor Pack
  • Dynatrace zorgt voor een toename in gemiddelde responstijd van circa 10 ms (we hebben het over responstijden van normaal 100 en 190 ms).
  • CPU usage toename van een specifieke applicatie nam relatief 25% toe met dynatrace aan (35% à 44%).

In een tweede ronde testen is samen met een Dynatrace specialist gekeken naar manieren om te zorgen dat de overhead omlaag ging; in ieder geval voor de applicatie waar ik zo’n grote impact had gezien.

Hierbij was ook de Dynatrace specialist aangehaakt. Het enige verschil met voorgaande testen was dat de resolution level van de Auto Sensors van MEDIUM op LOW werd gezet.

Als we dan kijken naar de verschillen tussen Dynatrace uit en deze settings (Auto Sensors op Low en Exception Sensor Pack uitgeschakeld), dan zien we het volgende:

  • De relatieve toename van CPU usage is met slechts 2% afgenomen (25% à 23%).
  • De gemiddelde responstijden van de 2 transacties die ik in de gaten hield, zijn op een paar milliseconden na gelijk aan de andere Dynatrace metingen.

Een volgende stap zou kunnen zijn om nog meer Sensor Packs uit te zetten. Het gevaar bestaat dan wel dat er een kans is dat je dingen gaat missen.

Een boodschap van de Dynatrace expert: het gebruik van Dynatrace komt met een trade off. Niet verrassend natuurlijk, maar stel jezelf dus de vraag of die trade off acceptabel is ten opzichte van de voordelen van deze tool in de situatie waarin je hem gebruikt.

Zo wordt bijvoorbeeld ook de overhead van applicatie logging geaccepteerd vanwege de voordelen die het biedt.

Wat ik al aangaf: de resultaten hierboven hebben betrekking op mijn specifieke situatie. De resultaten kunnen verschillen per applicatie en mogelijk ook afhankelijk zijn van de gebruikte infrastructuur. Ik ben heel benieuwd naar jullie ervaringen met Dynatrace en dan vooral of er ook impact was op performance.

Geef een reactie

Het e-mailadres wordt niet gepubliceerd. Vereiste velden zijn gemarkeerd met *

Nieuws

Blijf op de hoogte

Don’t be a fool, get the right tool!

30/06/2020

Heb jij weleens een keuze gemaakt voor een tool die achteraf gezien toch niet de verstandigste bleek? Helaas een ervaring die veel IT professionals weleens opdoen. En gezien de tools in de moderne ontwikkelomgevingen niet meer aan te slepen zijn, denk ik dat dit nog weleens vaker het geval gaat zijn.. Als testautomatiseerders hebben wij […]

Performance en de cloud

27/05/2020

Eén van de meest genoemde voordelen van de cloud is de in theorie oneindige schaalbaarheid. Zo zou het niet meer nodig zijn om als organisatie veel reservecapaciteit in te richten om pieken op te vangen en de performancerisico’s zouden helemaal verdwijnen. Maar is dat wel altijd zo? Wanneer wel, wanneer niet? Duidelijk is, dat wanneer […]

Ervaringen Performance.Now() 2019

13/12/2019

Ervaringen conferentie PerfNow

Performance test in de pipeline

25/10/2019

In deze blog geef ik kort en bondig neer in welke opzet en met welke tooling ik performancetesten heb geïntegreerd in de pijplijn bij mijn huidige opdracht.

Circle-CI, van code naar webserver met één klik.

13/09/2019

Wanneer je ‘vroeger’ een website had, waren er altijd flink wat handelingen nodig om files via een FTP client op een webserver te krijgen. Vandaag de dag, met behulp van een verscheidenheid aan tooltjes, is dat een fluitje van een cent. Daarnaast krijg je een arsenaal aan mogelijkheden mee als builden, testen, etc.. In deze […]

Een korte intro in data-analyse met R

10/07/2019

Een blog over hoe je met behulp van R grote hoeveelheden data kan analyseren. Een tool dat je helpt bij de analyse van bijvoorbeeld load- en stresstestresultaten.

Installatie Oracle ATS op Windows

28/03/2019

Handleiding over hoe je Oracle ATS installeert op Windows (Versie 13.x of hoger)

Postman API testen in CI

01/02/2019

beschrijving van hoe je jouw Postman collectie laat draaien vanuit Jenkins en hoe je hierbij een praktisch JUnit test report krijgt.

Workshop ‘Stop de Magie!’ bij Qquest

04/12/2018

In het kader van de 4e techday van Qquest heeft Chris met ondersteuning van HenkJaap een workshop gegeven. Basis was de presentatie en demo ‘No more magic’ van Bas en Chris, welke al een groot succes was op de TestAutomationDay en TestNet. Centraal bij het onderwerp ‘No more Magic’ staat het idee dat er bij […]

Visual Regression Testing – Wat is het en wat heb je eraan?

07/11/2018

Visual Regression Testing, of visuele regressie testen, is een categorie van testen die zich focust op het identificeren van visuele wijzigingen tussen iteraties of versies van een website. Dit kan handmatig door schermen of schermafdrukken te vergelijken, maar het is beter herhaalbaar en sneller te testen door dit automatisch te doen. Het mooiste is om deze testen als een […]

Meer efficiency en flexibiliteit in API’s

04/10/2018

Er wordt steeds meer gebruik gemaakt van GraphQL API. Tijdens mijn laatste opdracht heb ik hier dan ook mee gewerkt.. Graag deel ik mijn ervaringen hierover in een aantal blogs. In deze eerste blog wil ik het graag hebben over de uitdagingen met REST API en hoe GraphQL deze oplost. Maar eerst even een korte […]

Impact tooling op performance: Dynatrace

21/09/2018

In deze blog geef ik kort de resultaten weer van een onderzoekje dat ik bij één van mijn laatste opdrachten heb gedaan naar de impact van het gebruik van de tool Dynatrace op de infrastructuur waar het op draait. Mocht je gebruik maken van tooling als Dynatrace of op een andere manier geïnteresseerd zijn in […]