Pour cela, nous avons fait appel à des observateurs neutres au sein de l'école. Sur un total de vingt personnes, il y avait dix spécialistes en synthèse d'images. Les dix autres personnes n'avaient pas de connaissances particulières dans le domaine.
Il convient cependant de préciser que ces tests ne sont là
qu'à titre indicatif. Nous devons d'abord admettre que nous ne sommes
pas spécialistes en la matière et la théorie de la
détection est une discipline à part entière qui demande
des bases solides. Il nous était donc difficile d'organiser une
véritable procédure de test à grande échelle
dans le temps qui nous était imparti.
Nous pensons cependant que ces résultats peuvent être
une bonne indication de la validité de la méthode.
Pour la deuxième expérience, nous avons repris un test
déjà effectué à l'Institut d'Ingénierie
de la Vision de Saint-Etienne. Il consistait à affecter des classes
d'équivalence. Nous affichions 9 images (une image traitée
huit fois différemment plus la référence). L'observateur
devait alors donner des numéros aux images suivant l'écart
avec l'image de base. Celles n'ayant pas de différences visibles
recevaient la note 1, puis 2 pour les images peu distinctes, etc. Les observateurs
avait, de plus, le choix de constituer autant de classes qu'il le désirait,
pouvant aussi s'arrêter à deux.
Là encore, le plus important pour nous était de connaître
toutes les images qui recevraient la note 1.
En ce qui concerne le troisième test, il s'agissait de choisir entre plusieurs images de distances calculées avec différents seuils (figure 5.1).
A partir de deux images affichées, l'observateur devait choisir l'image de distances qui correspondait le mieux aux différences qu'il voyait.
Figure 5.1 : Troisième test
NB: Les images que nous montrons ne sont là qu'à titre indicatif. La qualité d'impression n'est pas suffisante pour permettre une quelconque preuve.
La pièce a été synthétisée grâce
au logiciel de tracé de rayons YART, développé
au sein du laboratoire. Chaque image comportait quelques modifications
tant sur la méthode de rendu que sur la géométrie
de la scène.
Méthode de Rendu Différences 1 Monte-Carlo Anti-aliassage 2 VEI 3 VEI sans 3chaise 4 VEI autre tableau sur le mur 5 Terme ambiant + BRDF de Schlick 6 Terme ambiant + BRDF de Schlick source ponctuelle 7 VEI autre texture de marbre 8 Terme ambiant + BRDF de Schlick point de vue rehaussé de 5cm 9 Terme ambiant + BRDF de Schlick angle de roulis de 2 Table 5.1 : Caractéristiques de la pièce meublée
Pour la Cornell Box, nous avons utilisé le tracé de rayons spectral en cours de développement au laboratoire. Nous avons seulement fait varier les paramètres contrôlant l'erreur commise.
1 2 3 4 5 6 7 8 9 Figure 5.2 : Pièce meublée
Enfin, les images de Lenna et des poivrons ont subi les mêmes traitements.
1 2 3 4 5 6 7 8 9 Figure 5.3 : Cornell Box
Traitement 1 Image de référence 2 Quantification couleur avec 20 niveaux 3 Quantification couleur avec 8 niveaux 4 Légère augmentation de contraste 5 Pixelisation (3×3) 6 Flou 7 Forte augmentation de contraste 8 Plaquage de l'image sur une surface gaussienne 9 Bruit aléatoire Table 5.2 : Caractéristiques des images photographiques
1 2 3 4 5 6 7 8 9 Figure 5.4 : Lenna
1 2 3 4 5 6 7 8 9 Figure 5.5 : Poivrons
NB : Le choix des images étant aléatoire, certaines n'ont jamais été affichées. Au contraire, d'autres l'ont été plus souvent.
Les tableaux 5.3 à 5.6
montrent les réponses données par les observateurs en pourcentage.
En gras se trouvent les images dont une réponse a été
choisie à plus de 50%, avec les distances à l'image de référence
correspondantes. Nous considérons que les images dont les réponses
sont partagées, ne sont pas pertinentes pour notre étude.
Nous pouvons noter que les images 3 et 7 sont vues semblables à la référence. Cela est logique puisque l'absence d'une chaise ou le changement de texture n'affecte qu'une petite partie de la surface. Les distances calculées sont faibles, ce qui est correct.
N Semblables Peu différentes Différentes Distance 1 51,67 31,67 16,67 4,42 3 62,5 17,5 20 1,53 5 20 42,5 37,5 6,19 6 50 20 30 7,03 7 50 30 20 1,45 8 30 42,5 27,5 8,96 9 15 30 55 13,33 Table 5.3 : Résultats de la première expérience sur la pièce
Les images spectrales, dont les seules variations portent sur la couleur, sont bien diagnostiquées. La numéro 3, dont la distance est très grande, est largement classée comme différente.
N Semblables Peu différentes Différentes Distance 1 75 20 5 0,15 2 65 35 0 4,30 3 5 0 95 29,36 4 72,5 17,5 10 0 5 68,33 30 1,67 0,49 6 85 15 0 2,93 7 82,5 17,5 0 0,08 9 20 45 35 11,37 Table 5.4 : Résultats de la première expérience sur la Cornell Box
N Semblables Peu différentes Différentes Distance 3 5 5 90 5,20 4 52,5 45 2,5 1,87 5 5 7,5 87,5 2,39 6 30 35 35 1,97 7 10 45 45 5,46 8 50 50 0 3,12 9 5 10 85 2,33 Table 5.5 : Résultats de la première expérience sur Lenna
Les résultats sur les images non synthétisées sont moins probants. L'effet de pixelisation, très désagréable à l'oeil, n'est pas reconnu comme gênant par notre méthode. Les valeurs calculées sont, en effet, assez faibles (image 5).
N Semblables Peu différentes Différentes Distance 2 81,67 18,33 0 2,18 3 5 15 80 5,80 4 47,5 37,5 15 2,76 5 5 17,5 77,5 3,51 6 45 33,33 21,67 2,95 7 10 50 40 8,22 8 72,22 27,78 0 4,09 Table 5.6 : Résultats de la première expérience sur les poivrons
Cependant, il y a quand même des motifs de satisfaction avec les
images photographiques. Les résultats avec la quantification couleur
sont corrects. Quelle que soit l'image, la réduction en vingt couleurs
est moins coûteuse que celle ne gardant que huit niveaux (images
2 et 3).
Les calculs sur le rehaussement de contraste donnent aussi de bons
résultats. Si une faible augmentation n'est pas gênante à
l'oeil (image 4), une forte élévation rend l'image différente
de sa référence (aussi bien pour les observateurs que pour
le calcul, image 7).
{1,2,4,8} < 7 < 6 < 5 < {3,9}
{1,2,4,7,8} < {3,5,6} < 9
Les chiffres entre accolades représentent les images que les
observateurs n'ont pas pu départager. Nous décidons d'affecter
des poids à chaque image. Ainsi, pour la première réponse,
les images 1,2,4 et 8 reçoivent le poids 1. L'image 7 reçoit
le poids 5. Le poids 6 est donne a l'image 6. Enfin, les images 3, 5 et
9 reçoivent respectivement 7, 8 et 8.
Pour la seconde réponse, les poids respectifs pour les images
de 1 a 9 sont : 1,1,6,1,6,6,1,1,9.
Le tableau 5.7 montre les poids moyens reçus par chaque image.
Il nous est alors facile d'obtenir l'ordre moyen en classant les images suivant leurs poids. Par exemple, cela donne pour la pièce : 1 < 2 < {3,7} < 8 < 5 < 9 < 4 < 6.
Images Série 1 2 3 4 5 6 7 8 9 Pièce 1 1,77 3,33 5,88 4 6,77 3,33 3,88 4,33 Cornell Box 1,72 2,16 8,72 1,61 1,55 2,66 1,11 1 7,33 Lenna 1 1,41 6,70 1,17 7,23 5,70 4,58 1,76 6,52 Poivrons 1 1,64 7,05 1,29 7,47 5,47 4,35 1,82 5,76 Table 5.7 : Poids affecte aux images
De la même manière, nous obtenons un ordre, cette fois-ci calculé. D'autre part, nous regroupons dans un même ensemble les valeurs proches.
Images Série 1 2 3 4 5 6 7 8 9 Pièce -- 4,45 4,72 5,19 7,22 8,12 4,88 10,07 13,21 Cornell Box 0,15 4,30 29,36 0 0,49 2,93 0,08 -- 11,37 Lenna -- 1,89 5,20 1,87 2,39 1,97 5,46 3,12 2,33 Poivrons -- 2,18 5,80 2,76 3,51 2,95 8,22 4,09 3,11 Table 5.8 : Distances calculées
Si la distance donne des résultats en corrélation avec les tests pour les images proches, il n'en est pas de même pour les images plus éloignées. Les images 4 et 6 sont très distinctes de la référence pour les observateurs ; cela a cause des forts changements de contraste autour du tableau pour la 4 et au niveau de l'ombre pour la 6. Cependant, notre modèle ne prend pas en compte la sensibilité au contraste. Au contraire, les images 8 et 9 qui ont une géométrie décalée, provoque une erreur importante. Or, l'oeil n'est pas sensible a la position exacte des objets. Les solutions vues au chapitre 3 sont donc indispensables pour avoir une meilleure précision.
Test 1 < 2 < {3,7} < 8 < 5 < 9 < 4 < 6 Calcul 1 < 2 < {3,7} < 4 < 5 < 6 < 8 < 9 Table 5.9 : Ordonnancement des images de la pièce
Pour les images calculées selon le modèle spectral, les résultats sont bons (tableau 5.10). Nous obtenons quasiment le même ordre que celui donné par les observateurs.
Test 8 < 7 < {1,4,5} < {2,6} < 9 < 3 Calcul 8 < {1,4,5,7} < 6 < 2 < 9 < 3 Table 5.10 : Ordonnancement des images de la Cornell Box
Test 1 < {2,4} < 8 < 7 < 6 < {9,3} < 5 Calcul 1 < {2,4,6} < {5,9} < 8 < {3,7} Table 5.11 : Ordonnancement des images de Lenna
Quelle que soit la scène, les ordres sur les distances calculées sont les mêmes. Idem, pour les ordres donnés par les observateurs. Nous remarquons que les images 5 et 9, correspondant respectivement à une pixelisation et à un bruit aléatoire, sont classées parmi les plus différentes. Or, les distances calculées sont assez faibles.
Test 1 < 4 < {2,8} < 7 < {6,9} < {3,5} Calcul 1 < 2 < 4 < {6,9} < 5 < 8 < 3 < 7 Table 5.12 : Ordonnancement des images des poivrons
Si les premières transformations affectent la qualité de l'image, les secondes ne provoquent pas de changement brusque de contraste dans l'image obtenue. C'est, à notre sens, la raison pour laquelle ces images semblent moins dégradées pour les observateurs.
Il est, une fois de plus, clair qu'une solution modélisant les
changements de contraste est nécessaire.
Quinze personnes ont participé à l'expérience.
Outre le choix d'une image de distances, elles avaient la possibilité
de ne pas répondre si aucune image ne leur convenait, ou de répondre
que l'image de distances devait être plus blanche ou plus noire.
Les cartes de distances ont été calculées selon
la méthode globale (pour tous les pixels) en LAB, la plage
de valeurs [imperceptible;inacceptable] étant ramenée
sur [0;255]. Nous avons pris 12 comme écart minimum inacceptable
entre deux couleurs, et 2, 3, 3,5, 4,5 et 7 pour l'écart couleur
maximal entre deux couleurs imperceptibles, construisant ainsi cinq images
de distances différentes.
Le tableau 5.13 montrent les résultats. La colonne Mode représente la réponse la plus fréquente, c'est à dire le numéro de l'image de distances choisie (5 étant l'image la plus noire). Le signe + représente la réponse ``L'image devrait être plus noire''. La réponse ``Aucune image ne correspond'' est indiquée par le signe Ø. La colonne Nombre indique le nombre d'occurences du mode. Enfin, la dernière colonne donne le nombre d'observateurs qui n'ont pas pu répondre.
Les réponses les plus fréquentes sont 4 (seuil : 4,5), 5 (seuil : 7) et +. Les observateurs trouvent une plus grande corrélation entre les cartes de distances foncées et les différences qu'ils discernent dans les images à analyser. Conformément aux résultats obtenus lors des deux premiers expériences, 5 semble être une valeur raisonnable comme seuil d'imperceptibilité entre deux couleurs dans l'espace LAB.
Mode Nombre Sans réponse 1 4 7 1 2 4 5 3 5 8 4 + 4 2 5 4 5 6 5 6 1 7 + 10 5 8 Ø 5 5 Table 5.13 : Troisième test
Les tests 7 et 8 mettent en évidence les limites de notre méthode.
La projection gaussienne sur Lenna génère une distance importante
dans la plume comme on peut le voir sur l'image de distances (figure 5.6).
Or, aucun observateur n'a détecté cette différence,
la plupart qualifiant même l'image comme identique à la référence.
Cela s'explique simplement par le fait que la plume est une zone très
texturée, avec, de plus, une fréquence spatiale élevée.
Comme nous l'avons vu en
2.4.6,
page
X, l'oeil
n'est pas sensible à toutes les fréquences de la même
manière, qui plus est les fréquences élevées.
Nous voyons bien là l'intérêt d'un modèle de
vision.
Les résultats pour la quantification couleur en huit niveaux sur les poivrons sont médiocres. En effet, à la grande majorité, les observateurs n'ont pas trouvé d'image significative. De plus, les différences de couleurs qu'ils voyaient ne se situaient pas aux mêmes endroits que ceux donnés par le programme. Ainsi, les personnes testées ont été sensibles à la dégradation des couleurs sur les poivrons du premier plan. Or, les écarts couleurs les plus importants se situent sur la gauche, au second plan (cf. figure 5.7).
Figure 5.6 : Calcul de distance : projection gaussienne
Figure 5.7 : Calcul de distance : quantification couleur en 8 niveaux
