[TEST] 3DMark Vantage - JMax-Hardware.com

Après 2 ans d'absence, Futuremark sort un nouveau benchmark graphique. Différent de ses prédécesseurs, ce nouvel opus de la série 3DMark ne porte plus l'année de sa sortie dans son nom : il s'appelle 3Dmark Vantage. Au-delà de ces considérations "cosmétiques", ce nouveau 3Dmark intègre son lot de nouveautés : exit DirectX 9 et Windows XP, place à DirectX 10 et Windows Vista (à l'évocation de ce nom, on sent les overclockeurs frémir).

Effectivement, les bencheurs débutants comme confirmés vont devoir se mettre au goût du jour et s'adonner à leur nouveau jeu avec Windows Vista. Mais à quelle sauce vont donc se faire manger nos configurations ? Nous allons tâcher de vous le dire à travers ce test de 3DMark Vantage.

1- Configuration minimale et recommandée

Comme je vous le disais, avec 3DMark Vantage il faut s'attendre à quelques changements : tout d'abord au niveau de la configuration matérielle nécessaire, mais aussi dans les réglages disponibles ainsi que les différentes versions en vente. Pour cela nous ferons un bref survol de ce qu'il faut savoir sur ce nouveau 3DMark avant de rentrer à proprement parler dans les tests.

Commençons par savoir si vous avez la configuration matérielle nécessaire pour faire tourner ce véritable aspirateur à MHz. Futuremark recommande ceci :

Processeur :

Requis : un processeur supportant les instructions SSE2
Recommandé : un processeur dual core avec des performances équivalentes au moins à un Core 2 Duo E6600 ou un AMD X2 6000+

Carte graphique :

Requis : une carte supportant totalement DirectX 10

Ecran :

Requis : une résolution de 1280x1024
Recommandé : une résolution de 1920x1200 afin de pouvoir exécuter l'intégralité des tests des versions supérieures (nous reviendrons dessus).

Mémoire RAM :

Requis : la quantité minimale pour faire tourner Windows Vista (1 Go)
Recommandé : une quantité de 2 Go ou plus

Disque dur :

Requis : 1 Go d'espace libre

Système d'exploitation :

Requis : Windows Vista avec Service Pack 1

Futuremark fournit un diagnostic en ligne de votre configuration si vous voulez savoir si elle conviendra : c'est ici. Comme on peut s'en rendre compte la configuration minimum est assez conséquente, le point le plus restrictif étant la compatibilité avec DirectX 10 : seules les Geforce 8xxx, 9xxx et les ATI HD38xx et HD2xxx pourront faire tourner (plus ou moins bien) 3Dmark Vantage.

Une des nouveautés de 3DMark Vantage, c'est l'introduction de profils d'utilisation, chacun de ces profils définissant un niveau de qualité toujours plus grand. Les profils sont au nombre de quatre : Entry, Performance, High et enfin Extrême. Ils n'affectent que la qualité des deux tests graphiques, les tests CPU et les tests facultatifs restant inchangés. Pour s'y retrouver et pouvoir comparer des scores comparables, le score final est systématiquement précédé d'une lettre correspondant au profil utilisé (donc soit E, P, H ou X).

Comme 3Dmark 2006, il y a dans Vantage deux tests GPU et deux tests CPU obligatoires. Nous allons les détailler un peu plus.

Le premier test GPU s'appelle "Jane Nash" comme l'héroïne de la mini-scène qui se déroule pendant le bench : Jane s'enfuit à bord d'un bateau aux couleurs de la marque Sapphire. Ce test utilise beaucoup d'objets statiques, d'objets dynamiques aux textures complexes, une simulation de mouvement des vêtements et beaucoup de filtres anisotropiques.
Voila une photo du test :

Le deuxième test GPU s'appelle "New Calico". c'est le test dont sont issues les photos que nous avions pu voir. Ce test se compose essentiellement d'objets en mouvement, avec un grand nombre d'objet gérés en même temps, des effets d'ombre complexes et des effets de ray tracing globaux et locaux.
Voici une photo du test :

Passons au test CPU, le premier test CPU s'appelle "AI" comme Intelligence Artificielle. Ce test se déroule dans un canyon (presque une habitude) et voit une multitude d'avions effectuer des acrobaties. La grande charge de travail pour le CPU vient du fait qu'il doit calculer pour chaque avion son trajet. Ce calcul important est "parallélisé" ce qui profite plus aux processeurs quad cores qu'aux processeurs dual cores.
Voil une photo du test :

Enfin, le dernier des tests est le deuxième test CPU et s'appelle "Physics". Comme son nom l'indique, il utilise son lot d'effets physiques. Reprenant la thématique de la course d'avions, on assiste ici à un ballet aérien où les avions produisent une trainée de fumée (bleue, blanc, rouge comme au 14 juillet). La difficulté vient du fait que les avions traversent ces rideaux de fumée et la fumée réagit à ces passages. Ce test tirerait avantage de la carte PhysX (encore faut-il en avoir une à installer).
Voici une photo du test :

Le système de calcul des points de 3Dmark Vantage est assez complexe, nous allons essayer de l'expliquer ici. Avant toute chose, il faut trouver avec quelles grandeurs physiques on va pouvoir juger de la puissance d'un système. Comme pour n'importe quel jeu vidéo, l'efficacité lors des tests graphiques sera mesurée en FPS (Frames Per Second). Pour les tests CPU, ça sera les OPS (Operations Per Second). Or, cela ne suffit pas à obtenir un score final et c'est là qu'une partie du travail de Futuremark réside : les coefficients ou constantes avec lesquelles seront multipliées les grandeurs physiques précédentes (FPS et OPS).

Comme on le remarque, seule l'importance entre test GPU et test CPU varie entre les quatre versions. D'ailleurs, une si petite part accordée au test CPU nous promet un impact mineur du quad core face au dual core, mais nous y reviendrons lors des tests un peu plus bas.

Maintenant que nous avons nos constantes et que nous savons quelles grandeurs physiques vont intervenir dans les calculs, passons-y. Le calcul de la note GPU suit cette formule :

On a donc bien score GPU = constante testGPU1 x FPS testGPU1 + constante testGPU2 x FPS testGPU2.

Le test CPU obéit lui à cette formule (très similaire à la première) :

Elle se décompose encore une fois comme ça : score CPU = constante testCPU1 x OPS testCPU1 + constante testCPU2 x OPS testCPU2.

Nous voici donc au moment de calculer notre score final, pour cela nous devons utiliser cette formule :

Un peu plus importante on y retrouve bien les scores GPU et CPU (tout en bas) précédemment calculés. En plus apparait sur les deux lignes du haut la part (ou le poids) pour chaque ensemble de test (GPU et CPU). Au final, on obtient notre score qui risque de paraître bien maigre, comme à chaque release de 3DMark Vantage.

De ce coté aussi il y a du changement. Exit la version gratuite et illimitée qui nous suffisait pour bencher : il y aura bien une version d'essai, mais limitée à un run (et une soumission de résultat sur l'ORB). Pour continuer à l'utiliser il faudra rentrer une clé pour la version basique (pour les autres il faudra télécharger du contenu en plus). Donc il y aura trois versions de 3Dmark Vantage : la basic (bénéficiant d'une version d'essai), la advanced et la professional.
Voici un tableau récapitulatif des capacités de chacune :

Pour toutes les versions sauf la professional, il faudra avoir internet afin de voir son résultat. Au niveau des prix, la basic sera vendue à 6,95$ (4,44€ en conversion directe), la advanced à 19,95$ (ou 12,73€ soit le prix pour avoir accès à tous les réglages) et enfin la professional à 495$ par poste (soit 316€). Futuremark explique la disparition d'une version gratuite et illimitée par l'augmentation du nombre de services en ligne, très discutable...

6- Configuration et Tests JMax-Hardware

Voici le matériel utilisé au cours des tests :

Au niveau des fréquences et des timings, les tests ont été effectués avec les CPU à 2, 3 et 4 GHz donc respectivement 6x333 MHz, 9x333 MHz et 9x445 MHz. Pour ce qui est de la ram, elle a fonctionné en synchro avec le FSB les timings en 6-5-5-15. Si les fréquences ne sont pas marquées, les cartes graphiques tournent à leurs fréquences de base.

1/ Pour la comparaison des cartes graphiques ATI / NVIDIA milieu et haut de gamme, les cartes étaient aux fréquences de base avec le QX9650 à 4 GHz.

2/ Pour le test d'influence GPU, la 9800X2 utilisée a été overclockée à trois niveaux différents en plus des fréquences d'origine. Voici les différentes fréquences (dans l'ordre GPU / Shaders / Mem) :
- stock : 600 / 1500 / 1000 MHz
- OC de 10% : 660 / 1650 / 1100 MHz
- OC de 20% : 720 / 1800 / 1100 MHz
- OC max : 770 / 1902 / 1125 MHz

3/ Pour le test d'influence CPU, il y a eu deux séries distinctes : les deux CPU (QX9650 et E8500) étant testés à 2, 3 puis 4 GHz.

Pour un budget de 250 € nous avons ici la ATI X2 3850 opposée à la NVIDIA 9800GTX :

Bien que les scores soient proches, la X2 3850 prend l'avantage avec plus de 400 points au final. Le multi GPU et les 2x512 Mo de GDDR3 doivent faire leurs effets dans les lourdes scènes auxquelles les cartes sont soumises.

Pour un budget entre 300 et 500 €, on voit s'affronter la ATI X2 3870, un crossfireX de ATI X2 3850 et une NVIDIA 9800GX2 :

Ici NVIDIA avec sa 9800GX2 reprend l'avantage et de fort belle manière : la carte bi-GPU de NVIDIA se paye le luxe de battre le CrossfireX de X2 3850 ainsi que la X2 3870. Encore une fois, le multi GPU fait des miracles et la victoire revient à la plus puissante des cartes du moment : la 9800GX².

Nous avons pu tester durant le peu de temps qui nous a été imparti 8 cartes ou ensemble de cartes différents, et le moins que l'on puisse dire c'est que de grandes différences se font sentir. Voici donc le tableau récapitulatif des scores obtenus, pour rappel avec un QX9650 à 4 GHz :

Entre la 9600GT et le CrossfireX de X2 3870 plus de 7000 points les séparent. On remarque aussi la faible influence du score CPU face au score GPU : la diminution de points entre le score GPU et le score final est très faible.

Il nous restait à observer l'influence du CPU sur le score final, pour cela un processeur dual core et un processeur quad core ont été mis en concurrence à différentes fréquences (2, 3 et 4 GHz pour rappel) et toujours avec la même carte graphique (une 9800GTX). Voici ce que nous obtenons :

On voit très nettement la domination du quad core (pour rappel le test CPU 2 est fortement parallélisé). On peut voir qu'un quad core à seulement 2 GHz rivalise et même devance de peu un dual core overclocké à 4 GHz. Ainsi on remarque l'envol du score CPU entre un dual core à 2 GHz et un quad core à 4 GHz : 11000 points de différence ! Mais au final sur la note globale seulement 1300 points en faveur du quad core overclocké.
Comme je vous le disais juste au dessus, la part du score CPU (25 %) dans la note globale étant bien inférieure à celle du GPU, l'augmentation de la puissance de calcul du CPU paye peu voire très peu.

Pour tenter d'observer l'impact que pourrait avoir l'augmentation de la puissance du GPU sur le score final, nous avons effectué des tests avec une 9800GX2 à différentes fréquences (voir la partie configurations et tests pour les détails), voici ce que nous obtenons :

Comme nous pouvons le voir, nous sommes sévèrement limités par le CPU : autant en augmentant de 10 % la fréquence stock nous obtenons 11 % de gain, autant ensuite cela augmente de 3 % en 3 %. On peut donc ici voir une belle limitation par le CPU de la puissance de calcul de la 9800GX2. Cependant comme la part du score GPU est importante (75 % de la note), ces augmentations de score payent "cash".

Après de nombreuses heures à tester ce nouveau benchmark graphique, il apparaît plusieurs choses vraiment différentes par rapport aux précédentes versions.

Tout d'abord, les cartes graphiques devront être compatibles DirectX 10 ou ne passeront pas le bench. En plus de ça, le système d'exploitation est imposé ce qui est une première. De même, une connexion à Internet est nécessaire pour connaître son score exact. Enfin, ce logiciel est pour la première fois payant même dans sa version de base.

Après tant de mesures différentes, on peut aussi voir que le CPU a moins d'importance que dans les précédents 3D Mark 2005 et 2006. Ceci dit, la prise en compte du multi core est parfaitement de mise puisqu'un Core 2 Quad à 2GHz fait aussi bien qu'un Core 2 Duo à 4GHz (4 cores à 2GHz équivalent à 2 cores à 4GHz en somme). La hiérarchie des cartes graphiques est respectée tant par rapport aux autres 3D Mark que dans les jeux. Rassurant...

Si on devait conclure hâtivement sur ce logiciel (3 jours de tests seulement), on peut voir qu'il est plutôt bien conçu techniquement mais qu'il est bien trop restrictif dans le panel actuel d'utilisateurs... Quelle proportion de clients potentiels utilise Vista ? Parmi cette population, combien ont une carte graphique compatible DirectX 10 ? Et parmi ceux-ci, combien sont prêts à payer un benchmark graphique aussi complet soit-il ? Ces 3 dernières questions nous laissent vraiment perplexes sur le succès de 3DMark Vantage en dehors des overclockers / benchers prêts à accepter n'importe quel test pour la compétition...