Modellen & kwantificering

Backtesting

Backtesting is het achteraf vergelijken van de voorspellingen van een risicomodel met de werkelijke uitkomsten, om vast te stellen of het model het risico juist inschat. Een bekend voorbeeld is de dagelijkse vergelijking van de Value at Risk met de werkelijke waardeverandering van een handelsportefeuille. Backtesting is een onderdeel van modelvalidatie, niet het geheel.

Bron: Verordening (EU) nr. 575/2013 (CRR) artikel 366 en 369 (versie van 8 juli 2024, van toepassing tot 1 januari 2027 via artikel 520 bis), artikelen 185, 325 novoquinquagies en 325 duosexagies; Richtlijn 2013/36/EU (CRD) artikel 101 lid 3; Richtlijn 2009/138/EG (Solvency II) artikel 124

Voor banken met een intern marktrisicomodel is backtesting een wettelijke eis met directe gevolgen voor het kapitaal. Tot en met 31 december 2026 telt een bank volgens artikel 366 van Verordening (EU) nr. 575/2013 (CRR), in de versie van 8 juli 2024, de overschrijdingen over de laatste 250 werkdagen: dagen waarop de waardeverandering van de portefeuille groter was dan de berekende Value at Risk voor één dag, gemeten op zowel hypothetische als werkelijke waardeveranderingen. Bij vijf of meer overschrijdingen komt er een opslag van 0,40 tot 1,00 bovenop de vermenigvuldigingsfactor van ten minste 3, en elke overschrijding meldt de bank uiterlijk binnen vijf werkdagen aan de toezichthouder.

Vanaf 1 januari 2027 gelden de nieuwe marktrisicoregels. Backtesting gebeurt dan per handelsdesk: een desk voldoet als er over de laatste 250 werkdagen niet meer dan 12 overschrijdingen zijn van de Value at Risk op het 99e percentiel en niet meer dan 30 op het 97,5e percentiel, zowel op hypothetische als op werkelijke waardeveranderingen (artikel 325 novoquinquagies CRR). Blijkt uit backtesting dat een model niet meer nauwkeurig genoeg is, dan herziet de toezichthouder de voorwaarden voor het gebruik ervan of legt hij maatregelen op om het model snel te verbeteren (artikel 101 lid 3 van Richtlijn 2013/36/EU, CRD).

Backtesting komt ook buiten marktrisico voor. Bij kredietrisicomodellen onder de IRB-benadering vergelijkt een bank regelmatig de werkelijke wanbetalingspercentages per ratingklasse met de geschatte kansen op wanbetaling, analyseert zij afwijkingen en werkt zij die analyse ten minste jaarlijks bij (artikel 185 CRR). Verzekeraars met een intern model toetsen de uitkomsten aan de praktijkervaring en de feitelijke verlieservaring (artikel 124 Solvency II). Backtesting kijkt per definitie terug: een model dat over een rustige periode goed scoort, zegt weinig over een crisis. Daarom vraagt de CRR bij interne marktrisicomodellen naast backtesting ook een stevig programma van stresstests (artikel 325 duosexagies CRR).

Laatst bijgewerkt: · Redactie: ONE Risk Advisory

Veelgestelde vragen

Wat is het verschil tussen backtesting en modelvalidatie?

Backtesting vergelijkt voorspellingen met gerealiseerde uitkomsten. Modelvalidatie is breder: zij beoordeelt ook of het model conceptueel deugt, of de aannames passen en of de gegevens kloppen. Solvency II vraagt naast toetsing aan de praktijkervaring ook een analyse van stabiliteit en gevoeligheid (artikel 124), en de CRR zegt voor interne marktrisicomodellen in het huidige kader uitdrukkelijk dat validatie niet beperkt blijft tot backtesting (artikel 369).

Wat gebeurt er als een bank te veel overschrijdingen heeft?

Het kapitaalvereiste voor marktrisico stijgt via een hogere vermenigvuldigingsfactor. Tot en met 2026 komt er bij vijf of meer overschrijdingen in 250 werkdagen een opslag bovenop de factor van ten minste 3 (artikel 366 CRR). Vanaf 2027 voldoet een handelsdesk met te veel overschrijdingen niet aan de backtestingeisen, en kan de toezichthouder de voorwaarden voor het gebruik van het model herzien of maatregelen opleggen.

← Alle begrippen