Testet man dieselbe Spielregion mit zwei verschiedenen Tools, stimmen die Zahlen oft nicht überein — das ist kein Zufall, sondern liegt daran, dass unterschiedliche Tools unterschiedlich messen. Eine Abweichung heißt nicht, dass ein Tool "kaputt" ist — die Messmethode selbst entscheidet, wie genau das Ergebnis ist. Bevor man ein Testtool wählt, lohnt es sich, ein paar Details zu verstehen, die meist übersehen werden.
Wie Pakete gesendet werden: auf eine Antwort warten oder in festem Takt senden?
Manche Tools funktionieren so: "ein Paket senden, warten bis es zurückkommt, dann das nächste senden". Das hat ein Problem: Ist der Pfad bereits latenzreich, wächst die gesamte Testzeit proportional mit dieser Latenz. Wichtiger noch: Dieses "eins senden, eins abwarten"-Muster erzeugt kaum Warteschlangen (Queuing), was dazu führt, dass es den tatsächlichen Paketverlust systematisch unterschätzt — beim echten Spielen fließen Daten kontinuierlich, und Staus in Warteschlangen sind genau eine wichtige Quelle für echten Paketverlust.
Ein realitätsnäherer Ansatz ist, Pakete kontinuierlich in festem Zeitabstand zu senden, ohne auf die vorherige Antwort zu warten — das liefert eine Paketverlustzahl, die dem tatsächlichen Erlebnis beim Spielen deutlich näherkommt.
Reicht ein einzelner Testdurchlauf? Was ist mit zufälligen Ausreißern?
Netzwerke schwanken naturgemäß, und ein einzelner Testdurchlauf kann leicht durch einen einmaligen Ausreißer in die Irre führen. Sendet man 20 Pakete in einer Runde und verliert nur 1, ergibt das 5% Paketverlust — aber man kann nicht wissen, ob das ein genuin instabiler Pfad ist oder reiner Zufall.
Der zuverlässigere Ansatz ist, Bedingungen festzulegen, die einen erneuten Test auslösen — zum Beispiel: Hat eine Runde irgendeinen Paketverlust, oder überschreitet die Latenzschwankung einen Schwellenwert, werden automatisch zwei weitere Runden ausgeführt und die Stichproben aller drei Runden für das Endergebnis zusammengeführt. Ein wirklich gesunder Pfad löst diese Bedingungen gar nicht erst aus und braucht nur eine Runde; ein wirklich instabiler Pfad wird automatisch so lange nachgemessen, bis das Ergebnis vertrauenswürdig ist — ohne dass der Nutzer selbst raten muss, ob ein erneuter Test nötig ist.
Reicht eine einzelne Zahl? Median vs. Bereich
Nur "durchschnittliche Latenz" oder "niedrigste Latenz" als einzelne Zahl zu melden, verbirgt leicht echte Schwankungen. Besser ist es, einen Bereich (wo die meisten Werte liegen) statt einer einzelnen Zahl zu zeigen, während weiterhin der Median für Ranking und Vergleich verwendet wird, damit Ausreißer das Ergebnis nicht verzerren.
Auch die Obergrenze dieses Bereichs ist wichtig: Nimmt man das absolute Maximum, kann ein einzelner zufälliger Ausreißer das Ergebnis viel schlechter aussehen lassen, als es ist. Ein solideres Vorgehen ist, ein Perzentil zu wählen, das hoch genug ist, um echte Ausreißer widerzuspiegeln, aber nicht so extrem, dass ein einziger Zufallstreffer die ganze Zahl dominiert.
Ein Verbindungsfehler bedeutet nicht immer, dass die Region schlecht ist
Manchmal scheitert ein erster Verbindungsversuch zu einer Region nur wegen einer Firewall, einer kurzzeitig blockierenden VPN oder eines gerade neustartenden Knotens — nicht weil der Pfad wirklich kaputt ist. Eine solide Testmethode versucht automatisch einmal erneut, bevor eine Region als wirklich unerreichbar markiert wird, statt einen einmaligen Ausreißer als vollständigen Ausfall fehlzudeuten.
Ergebnisse einer Gruppe zusammenführen: was fair macht
Im Team-Szenario besteht das größte Risiko beim Zusammenführen aller Ergebnisse zu einer Empfehlung darin, dass der Ausreißer einer einzigen Person das gesamte Ranking kapert — sagen wir, fünf Teammitglieder testen ähnlich, aber eines hat eine wirklich kaputte Verbindung mit deutlich höherer Latenz. Rankt man einfach nach "wer am schlechtesten ist", wird es bei größeren Gruppen statistisch wahrscheinlicher, einen Ausreißer zu haben, und sobald einer auftaucht, übernimmt er sofort das gesamte Ranking.
Der solidere Ansatz ist das Trimmen von Ausreißern: Jemand wird nur dann aus der Berechnung des "langsamsten Teammitglieds" ausgeschlossen, wenn die eigene Latenz dramatisch höher ist als die der anderen und der Anteil der ausgeschlossenen Personen klein bleibt — das schützt den echten Worst Case, wenn die Latenz aller wirklich nah beieinanderliegt, und verhindert, dass Teams, die naturgemäß über Kontinente verteilt sind (wo die Hälfte der Gruppe strukturell höhere Latenz hat), massenhaft ausgeschlossen werden. Ausgeschlossene zählen weiterhin zum Durchschnitt, und die Oberfläche zeigt ehrlich, wie viele ausgeschlossen wurden — niemand verschwindet still aus dem Ergebnis.
Schnell erkennen, ob ein Testtool vertrauenswürdig ist
Testet dieselbe Region zwei- oder dreimal hintereinander. Wenn:
- die Ergebnisse jedes Mal stark schwanken — hat das Tool vermutlich keinen Mechanismus für erneute Tests bei einer einzelnen verrauschten Runde;
- man nur eine einzelne Zahl sieht, ohne sichtbaren Schwankungsbereich — hat das Ergebnis begrenzten Aussagewert;
- bei einem Gruppenvergleich die Zahl einer einzigen Person das gesamte Ranking kippen kann — fehlt der Schutz vor Ausreißern;
- ein einziger fehlgeschlagener Verbindungsversuch die Region sofort als nicht verfügbar markiert, ohne erneuten Versuch — sind falsche Negative zu erwarten.
Das sind praktische Anzeichen dafür, ob man einem Ergebnis vertrauen kann. PartyPing ist genau nach diesen Regeln gebaut — startet den Test am Ende dieses Artikels und prüft selbst nach.
Ob man den Zahlen eines Testtools vertrauen kann, entscheidet sich meist genau an diesen leicht übersehenen Details.