26 juni 2019

KPN storing

26 juni 2019

KPN storing

KPN wist ervan, maar deed niets om de beloofde redundantie ook op nummer niveau te borgen.

Het nieuws stond er vol mee; een landelijke 112 storing. Maar was het wel een storing van 112 alleen? Nee, sinds het einde van de middag waren meerdere KPN-nummers niet aankiesbaar. Onderling verkeer tussen Vodafone-Vodafone of met Message To The Moon bijvoorbeeld ging prima. Echter, de klacht was natuurlijk dat je niet naar het 030 of 06 nummer, welke gehost werden bij KPN, kon bellen. Deze klacht zat dus niet op 112 alleen.

De afdeling “crisis-pr” deed een goede zet door de twist op een 112 storing te krijgen en daags erna het toch al bekende aftreden van de topman te pluggen. Smart 😉. Zo leidt je de discussie wel af van wat er werkelijk aan de hand is. Namelijk: een gebrek aan innovatie in het telecom-netwerk en hoe de afwerking van telefoontjes onderling geregeld is. Er wordt gesuggereerd dat 112 heel speciaal ingericht is, maar de basis is hetzelfde als alle andere nummers. Maar zelfs al zou dat zo zijn, dan is ook het landelijke alternatief (het politienummer) 0900-8844 onbereikbaar en dat draait, net als alle 0900 nummers in Nederland, gewoon via de COIN Centrale Database (CRDB).

COIN

COIN Centrale DatabaseAlle telecomaanbieders maken gebruik van het COIN systeem. Een vereniging van Telecomaanbieders (Telco’s) die daar afspraken maken over onder meer overstap: nummerporteringen. Maar met name een database bijhoudt welk door ACM uitgegeven nummer op welke (pop-) locatie draait. Bij ieder telefoontje dat je pleegt checkt jouw operator in deze centrale database (welke hij meerdere keren per uur lokaal opslaat) waar hij het telefoontje moet afleveren.

Wat ging er fout?

Als nummers niet aankiesbaar zijn, kunnen de telefoontjes van andere operators (Vodafone bijvoorbeeld) het netwerk van KPN niet vinden. Vaak is er dan een (netwerk van) switches offline (updates, stroomstoring etc.). Ik vermoed hier ook “Human Error”, kwaadwillend of niet. Joost Farwercl (bestuur KPN) gaf aan “veel verkeer” voorafgaand aan de storing te zien. Dat duidt eerder op een hack.

Hoe had het voorkomen?

De nummers hadden “geporteerd” moeten worden realtime naar een andere operator, of in de centrale database had een “fail-over” routering klaar moeten staan, zodat iedere operator wist dat als de KPN-switch niet bereikbaar was, dat een andere operator het over kan nemen. Voor kritische nummers als ziekenhuizen en 112 een hele logische oplossing welke alleen in het database design van COIN moet worden overgenomen.

Hoe werkt het bij andere vergelijkbare systemen?

Het internet: DNS. In het DNS systeem van websites/url’s is geregeld dat bij het oproepen van een domeinnaam in deze decentrale database wordt gecheckt op welk IP adres de server van de op te roepen domeinnaam staat. Voordelen:

  1. “Redundancy by design”; immers is het eerste IP-adres offline, gaat het verkeer (weliswaar niet altijd, en vertraagd) naar het andere IP adres.
  2. De database met IP-nummerinformatie staat overal

Waarom gaat het dan nu nog steeds fout?

Binnen COIN verband is een oplossing besproken die ENUM heet. Deze oplossing heeft de voorkeur van alle “nieuwe” en snellere operators, waar techniek geen probleem, maar een uitdaging is. Oude operators maken echter de dienst uit in COIN verband, en remmen innovatie. Zo is bijvoorbeeld een 11 of 12-cijferig 06 nummer niet mogelijk omdat “de switch dat niet aankan” en is ENUM (een meer dynamisch alternatief voor de database, die failover organiseert ) wel uitgevonden, maar niet geïmplementeerd wegens een gebrek aan draagkracht bij de “old boy telco’s”. COIN antwoord Message To The Moon in December 2018 op vragen gesteld door ons:

“Beste,

Een telefoonnummer kan momenteel maar in één netwerk actief zijn.

ENUM (koppeling telefoonnummer aan domeinnaam/IP-adres) biedt wel mogelijkheden om use cases te faciliteren waarbij diensten via één nummer bereikbaar zijn op verschillende netwerken. ENUM processen, techniek en database zijn in COIN-verband ontwikkeld en beschikbaar en nog niet in gebruik genomen door aanbieders.

Groet,

— (COIN)”

Wat heeft Message To The Moon eraan gedaan?

Message To The Moon heeft in diverse vergaderingen aandacht voor dit probleem en uitdaging gevraagd. Echter, binnen COIN en Fist mist het af en toe aan daadkracht omdat er “geen wettelijke basis is, de door X voorgestelde wijziging door te voeren” of “gebrek aan IT kracht”. Message To The Moon, pleit daarom ook bij het ministerie van Economische Zaken, ook voor een sterkere rol voor COIN (gesteund door wetgever en ACM) die innovatie ook kan “doorduwen”. Omdat beslissingen in consensus genomen worden, leidt dit tot veel oeverloos vergader. Juist omdat iedere partij vanwege aankiesbaarheid deze wijziging ook moet doorvoeren, leidt dat tot veel weerstand (“als X het niet doet, dan doen wij het ook niet“ en “deze businesscase krijg ik op het hoofdkantoor niet rondgerekend”).

Wie is aan zet?

Tijd voor actie dus. De wetgever is met ACM aan zet om deze bestaande oplossing bij Marktpartijen als KPN en Vodafone/Ziggo desnoods af te dwingen.

Hartelijke groet,

Hans-Willem de Lint
Commercieel directeur en “ (Service) nummer specialist”

Bijlage (1)

Citaat uit de notulen van 30 oktober 2018:

Wegens geheimhouding is het niet mogelijk de gehele notulen van de vergadering in deze post te delen.

Citaat uit de notulen

Lees het artikel hier in PDF

Lees het artikel uit de Volkskrant: Bij KPN faalden ook de back-ups