1. A mérési körülmények laboratóriumi előtérbe helyezése
A tesztek nagy része mesterséges, laboratóriumi környezetben történik, ahol precízen szabályozzák a fényviszonyokat, a beállításokat stb. Míg ez tudományosan ismételhető és összehasonlítható eredményeket ad, a valós használat során sokkal több változó (például változó fényviszonyok, mozgó téma, felhasználói beállítások) befolyásolja a fotó és videó minőségét. Ebből kifolyólag elképzelhető, hogy egy telefon a laborban jól szerepel, valós élethelyzetekben viszont jobban mutatkozna meg például a gyengébb autofókusz vagy a szoftver erős zajszűrése.
2. Egyes paraméterek túlsúlyozása
A DXOMark összesített pontszámai több kategória (pl. fotó, videó, zoom, éjszakai fotó, ultraszéles látószög stb.) rész-eredményeiből állnak össze. Gyakran nem egyértelmű, hogy az egyes rész-kategóriáknak milyen súlya van a végső pontszámban. Előfordul, hogy a valós használat szempontjából kevésbé fontos funkciókat (például extrém nagy zoom) relatíve magas pontszámmal díjazzák, míg egyesek szerint a hétköznapokban elengedhetetlen tulajdonságok (gyors fókusz, használható portré mód) túl kevés hangsúlyt kapnak.
3. Több gyártóval meglévő együttműködés
A DXOMark szakmai tevékenysége mellett konzultációs, tanácsadói szolgáltatásokat is nyújt egyes telefongyártóknak, segítve őket abban, hogy a mérési protokoll alapján optimalizálják készülékeiket. Ez a kettős szerep felveti a pártatlanság kérdését: ha egy gyártó fizet a DXOMarknak, az potenciálisan befolyásolhatja a teszt eredményét, vagy legalábbis a tesztek során alkalmazott szempontokat, amelyekkel „előre meg lehet felelni” a laboros pontozásnak. Bár a DXOMark nyilatkozatai szerint ez nem torzítja a független értékelést, sokan szkeptikusak.
4. Zárt metodológia és limitált átláthatóság
A DXOMarknak van egy publikusan elérhető metodológiája, de a konkrét mérőeszközökről, mérések finomhangolásáról, illetve az algoritmus pontos részleteiről keveset árulnak el. Sokan hiányolják a tesztelt képek és videók nyers, tömeges bemutatását, valamint a tesztkörnyezetek és eljárások teljes transzparenciáját. Esetenként előfordul, hogy a tesztek eredményeit nem lehet maradéktalanul reprodukálni, ami a módszertan zártságára vezethető vissza.
5. Eltérő szoftver-verziók, utólagos frissítések
Egy készülék kamerája rengeteget fejlődhet szoftverfrissítések által, és a DXOMark gyakran nem tér vissza hónapok múlva újratesztelni a modellt. Emiatt a pontszámok megállhatnak egy olyan verziónál, amely a piacon sokszor már nem is elérhető – avagy éppen később lenne elérhető egy javított kameraalkalmazással. Ez a hiányosság félrevezető lehet, mert a felhasználók a frissített szoftverrel lényegesen eltérő teljesítményt kapnak, mint a DXOMark teszt időpontjában.
6. A szubjektív és objektív elemek egyensúlya
Bár a DXOMark próbál objektív mérőszámokkal dolgozni (például színpontosság, zajszint, élesség), számos értékelési szempont mégis szubjektív (például a bokeh, a tónusok „szemre tetszetős” hatása stb.). Szubjektív elemek beemelésekor a tesztelők preferenciái és gyakorlatai is közrejátszhatnak. Ha nem lehet tudni, kik és pontosan hogyan értékelik ezeket a szubjektív szempontokat, akkor nem biztos, hogy a pontszám jól leírja egy átlagfelhasználó valós élményét.
Érdemes-e akkor hinni a DXOMark pontszámainak?
Mit érdemes figyelembe venni:
1. A DXOMark laboratóriumi tesztjei jól mutatják a kamerák bizonyos aspektusait, illetve összehasonlításra alkalmasak, ha ugyanazokat a kritériumokat alkalmazzák.
2. A részletes leírások és tesztfotók (ha hozzáférhetőek) sok hasznos információt nyújthatnak a szenzorok, optika és szoftveres utómunka jellegéről.
3. Összességében egyfajta viszonyítási pontot jelenthet a DXOMark pontszáma, de azt nem szabad kizárólagos forrásként kezelni.
Miért legyünk óvatosak:
1. A teszteredmények részben labor-centrikusak, amelyek nem mindig tükrözik a valós használati körülményeket.
2. A pontszámok a módszertan sajátosságai miatt (például súlyozás, zárt protokoll, gyártói együttműködések) torzulhatnak.
3. Gyorsan változó szoftververziók esetén egy adott teszt nem feltétlenül releváns néhány hónap múlva. Összességében: érdemes a DXOMark tesztjeit egy forrásként kezelni a sok közül, de nem célszerű kizárólag a pontszámra hagyatkozni, ha egy telefon kamerájának valódi tudására vagy kíváncsi. A laboratóriumi mérések eredményei hasznos támpontot adhatnak, ugyanakkor a való életben szerzett felhasználói tapasztalat, más független tesztek és a személyes preferenciák (például színhűség, kontraszt, élesítés stb. kapcsán) legalább annyira fontosak a döntéshozatal során.
