Benchmarks in Testberichten? Bei uns ab sofort nicht mehr

/ 4 Kommentare / Allgemein / Von

Mobi-test.de wird ab sofort keine Benchmarks mehr in die Testreihen mit aufnehmen. Ich habe Benchmarks der verschiedenen Anbieter, zumindest bei Android schon immer für Mist gehalten, nun ist aber der letzte Tropfen ins Fass getröpfelt.
Was ist passiert? Wir haben heute den nächsten Test-Teil des Samsung Galaxy 7.0 N Plus Tabs veröffentlicht. So sahen die Benchmark-Ergebnisse im Vergleich mit dem Samsung Galaxy Tab 7.7 aus.

Benchmark Galaxy 7.0 N Plus Galaxy 7.7
Quadrant Standard 2648 2145
Velamo 1212 1202
NenaMark 2 47,0fps 41,9fps
CF Bench 6395 6860

Wie man deutlich sieht, ist das Galaxy 7.0 dem Galaxy 7.7 deutlich überlegen. Zumindest sagen das Quadrant, Velamo und NenaMark aus. Wenn man CF Bench fragt ist doch das 7.7 dem 7.0 überlegen. Nun hat Peter seinem Galaxy 7.7 die neuste Version des Quadrant spendiert. Zwischen meinem heutigen Test mit dem Galaxy 7.0 und dem Test von Peter mit dem 7.7 lagen nämlich einige Tage. In dieser Zeit ist ein Update von Quadrant gekommen. Und dieses Update hat nun zu folgendem testergebnis bei Peters 7.7 geführt.

3579 Punkte im Quadrant Benchmark. Nein, dass Gerät ist nicht schneller geworden. Durch das blödsinnige Update sind mal so eben alle Testergebnisse die mit dem Quadrant in den letzten Monaten durchgeführt wurden total wertlos geworden.

Ohne etwas zu verstellen eine Steigerung um 1500 Punkte. Ein Witz. Noch viel größer ist der Witz im vergleich zu dem Galaxy 7.0. Das 7.7 liegt plötzlich 1100 Punkte vor dem 7.0.

Nun haben wir zum Vergleich noch den Velamo und den NenaMark laufen lassen. Auch hier ist es zu unterschiedlichen Ergebnissen gekommen. Während das 7.7 im NenaMarkt 2fps verloren hat, gewann das 7.0 diese hinzu.

Obwohl also der Quadrant Benchmark sagt das das 7.7 über 1000 Punkte vor dem 7.0 liegt sagt uns der NenaMarkt das das Unterlegene Tablet 9fps mehr holt.

Viele Zahlen ich weiß. Also, solange es keinen Standard gibt, wird mobi-test.de ab sofort auf Benchmarks verzichten. Dieses lächerliche, blödsinnige Kindergarten Spiel werden wir nicht mehr mitspielen.

Wir können sehr wohl beschreiben ob ein Gerät schnell ist oder nicht. Wenn mir ein Gerät subjektiv langsam vorkommt ist es egal was irgendein lächerlicher Benchmark aussagt.

Mobi-Test.de wird auch in Zukunft eine echte, realistische Einschätzung der Geräte-Leistung abgeben. Ohne Hilfsmittel die anderen nur dazu dienen sollen so schnell als möglich ein Ergebnis vorzulegen. Wir wissen das unsere Art zu testen langwierig und Zeitraubend ist. Deshalb macht es ja auch niemand so wie wir.

Aber wir wissen, nur so bekommen wir die echten Ergebnisse. Es geht um die Geräte und nicht um möglichst 20 Artikel am Tag zu produzieren. Fließbandarbeit können andere besser

Markus
Letzte Artikel von Markus (Alle anzeigen)

Pasende Artikel für euch ausgewählt

4 Kommentare zu „Benchmarks in Testberichten? Bei uns ab sofort nicht mehr“

  1. Alex

    Finde ich übrigens einen sehr guten Schritt.
    Benchmarks kann man höchstens auf einen Desktop PC machen, aber nicht auf Handys bzw. Tablets.
    Was nützt mir eine potente CPU, die in Benchmarks oder in Spielen ein paar Punkte / FPS mehr bringt, wenn z.B. die Oberfläche immer wieder nach laden muss, oder es einfach ab und an kurz lägt. Darf in meinen Augen nicht sein, wenn ich sehr viel Geld in ein Gerät investiere, dass beworben wird, dass es super schnell ist…

  3. Peter

    „Wenn mir ein Gerät subjektiv langsam vorkommt ist es egal was irgendein lächerlicher Benchmark aussagt.“ -> einverstanden

    Ich überlese Benchmark Tests seit jeher in Berichten. Es ist etwa der gleiche Schmarren wie die Batterielaufzeit Angaben der Hersteller.

Kommentarfunktion geschlossen.