Krijg je wel waar voor je geld?
Benchmarken is de manier om daar achter te komen.
Benchmarken is het proces van het vergelijken van een zekere productiviteit met de gemiddelde productiviteit van een referentie groep. Het onderwerp van benchmarken is:
- De productiviteit van een externe leverancier zoals die is verondersteld in de berekening van de prijs in een offerte, of
- De gemiddelde productiviteit van de eigen organisatie.
Benchmarken is dus noodzakelijk om in staat te zijn controle te houden over je IT budget en de waarde die je krijgt voor je geld.
Benchmarken beantwoordt in wezen de volgende soorten belangrijke vragen:
- Wat is precies de gemiddelde productiviteit in mijn beroepssegment?
- Krijg ik waar voor mijn geld van mijn leveranciers?
- Is deze offerte competitief, een goede deal (goedkoop), of een kat in de zak?
- Is de offerte realistisch? Kan de leverancier dit waar maken? Of is een fiasco waarschijnlijk van de kosten, kwaliteit en tijd van de oplevering?
- Is mijn eigen organisatie competitief vergeleken met de besten in mijn beroepssegment?
- Is er ruimte voor verbetering (als je duur bent vergeleken met gemiddelde productiviteit van je beroepssegment)?
Om te kunnen benchmarken is het noodzakelijk dat de prestatie wordt gemeten in ISO-gestandaardiseerde metrieken, zoals uren/fp. Dit om in staat te zijn objectieve uitspraken en vergelijkingen te doen.
Benchmarken van de prestatie van een externe leverancier
Benchmarken ondersteunt de evaluatie van offertes in de selectiefase van een aanbesteding. Dit gaat verder dan het selecteren van de goedkoopste aanbieder: het maakt het mogelijk de beste deal te selecteren op basis van het effect van de andere kost drivers op de totale kosten van de aankoop. Zo wordt de valkuil voorkomen dat je de goedkoopste aanbieder selecteert, om er naderhand achter te komen dat je een kat in de zak hebt gekocht.
Tijdens de uitvoering van een contract dient de voortgang van de leverancier te worden gemonitord. De werkelijk geleverde prestatie dient te worden vergeleken met de productiviteit zoals die in de offerte verondersteld was. Dit geeft tijdige waarschuwingen als de voortgang begint af te wijken van het overeengekomen tijdschema, en er consequenties kunnen gaan ontstaan voor kosten en/of kwaliteit.
Na het voltooien van het project kan de werkelijk geraliseerde productiviteit van de leverancier worden vastgesteld. Dit is nuttig om te gebruiken bij het evalueren van een volgende offerte van deze leverancier. Je weet dan de daadwerkelijke performance van deze leverancier en dat werkt een stuk beter dan aannames of verkoopverhalen.
Benchmarken van de performance van de eigen organisatie
De gemiddelde performance van de eigen organisatie is gelijk aan de gemiddelde performance van alle projecten in de eigen organisatie. Het belang hiervan is het volgende:
- Dit is bruikbaar als een zeer betrouwbare voorspeller voor de productiviteit en dus het benodigd budget en tijd van je volgende projecten, want dit is gebaseerd op je eigen historische prestatie;
- Het vaststellen van de competitiviteit van je eigen IT afdeling stelt je in staat om antwoorden te krijgen op vragen zoals:
- Zijn er investeringen nodig om mijn IT prestatie te verbeteren?
- Moet ik dit deel van mijn waardeketen uitbesteden naar een meer bekwame leverancier?
Bronnen van benchmark gegevens
Het is verrassend gemakkelijk om aan benchmark gegevens te komen. Volgens het artikel van Capers Jones “sources of software benchmarks” zijn er wel 24 bronnen voor software benchmarking. De meeste hiervan zijn gebaseerd op aanzienlijke hoeveelheden gegevens en zijn erg bruikbaar. Helaas zijn er erg weinig leveranciers die het toestaan dat ook de ruwe onderliggende projectgegevens kunnen worden bekeken. Als gevolg hiervan zijn de meeste benchmark bronnen niet voldoende transparant voor de gebruikers.
Nesma is lid van de International Software Benchmarking Standards Group (ISBSG). Dit is een onafhankelijke non-profit organisatie die industrie-gegevens verzamelt van projecten (zowel nieuwbouw als wijzigingen) en onderhoud (releases). De ISBSG gegevens zijn “open” en kunnen door eenieder in licentie bekeken worden in hun ruwe (Ms Excel) formaat. Nesma adviseert dan ook om de ISBSG gegevens te gebruiken voor benchmarking, want transparantie is essentieel.
Benchmark pakketten
Benchmarken wordt gewoonlijk gedaan met behulp van een of ander software pakket dat benchmark gegevens en benchmark kennis bevat. De meest bekende hiervan zijn (in alfabetische volgorde):
Zie de sites van hun leveranciers voor meer informatie.
Hieronder een voorbeeld van het benchmarken van een project ten opzichte van zijn referentiegroep. In dit voorbeeld is de rode punt het project dat gebenchmarkt wordt. De positie ervan beneden de benchmark lijn geeft aan dat dit project goedkoper is dan andere projecten van vergelijkbare omvang.
Vragen
Heeft u vragen over benchmarking, neem dan contact op met de NESMA-workgroup Benchmarking.
Deze werkgroep kan worden bereikt middels e-mail op: wgBenchmarking@nesma.org.