Test à l'aveugle HD24/96 v.s. CD v.s. MP3/AAC :: RÉSULTATS

Projet annulé mais conservé pour les informations des essais à l'aveugle.
Post Reply
User avatar
aevus
Posts: 25757
Joined: Wed Dec 06, 2006 2:31 pm

Test à l'aveugle HD24/96 v.s. CD v.s. MP3/AAC :: RÉSULTATS

Post by aevus »

Bon, voilà que le dernier groupe a passé le test aujourd'hui, ce qui clos le 3-days event. :)

Le protocole était simple: plusieurs extraits proposés: Beatles, Vivaldi, Nirvana, Jazz, electro, etc... entre 20 et 40 secondes chacun.

Cinq formats possibles: Hi-rez 24/96, CD 16/44, AAC256, MP3 128 et MP3 64. Le logiciel Itunes version 10.1 a été utilisé pour faire les compressions lossy, aucune option de coché.

Le output était fixe, tuné pour du 24/96, donc avantageait théoriquement ce dernier.

Les formats étaient d'abord présentés à la suite de l'autre, dévoilés à tous, en groupe, puis on passait chacun individuellement à l'aveugle, assis au sweet spot, sans bruit dans la salle et sans distraction possible.

Total de 6 répétitions de l'extrait sur chacune des pièces musicale, pour chacun des participants. Les gens devaient cocher la réponse qui selon eux était la bonne.
Seuls trois formats numériques étaient disponibles pour chacune des pièces et tous étaient passé un minimum de 1 fois. Donc pas de truc du genre "vous avez écouté six fois la même affaire.."

Certaines pièces offraient le choix du HD, d'autres non, certains avec du MP3, d'autres non. Trois formats max.

Tout a été conçu et préparé, de bonne foi, dans l'optique de trouver, de démasquer, de cibler toute différence qui serait audible. C'était, je crois, un environnement contrôlé qui étaient optimal pour une écoute très analytique, à des années-lumières de ce que monsieur et madame tout le monde fait en écoutant normalement de la musique. Nous étions donc en mode "laboratoire".

Dans le but d'améliorer les chances de tous, nous avons également offert aux gens de choisir la ou les pièces musicales qu'ils préféraient ainsi que le niveau sonore d'écoute, qui variait d'environ 80 à 85db au dessus de la position d'écoute selon les extraits.

De plus, nous avons également tenté "d'éduquer" l'oreille des participants en leur proposant d'écouter à la présentation de groupe les extraits en mode "contraste maximum", à savoir: du hi-rez et tout de suite après du MP3 64kbps, par exemple. Tout en leur donnant des explications sur les points de repères possibles où il fallait se concentrer.




Image


Image
c'est long 10 ans

User avatar
aevus
Posts: 25757
Joined: Wed Dec 06, 2006 2:31 pm

Post by aevus »

J'en suis à comptabiliser et analyser les résultats que nous avons accumulé jusqu'à maintenant (il reste le staff à passer!) mais nous avons eu à date une quarantaine de participations complètes.
J'aurais bien évidemment aimé passer la barrière de la centaine de participations, mais c'est relativement long comme processus et les gens saturent au bout d'un moment.

Et, surtout, le pattern devient assez évident très rapidemnet: certains formats n'offrent pas le contraste "jour et nuit" que l'on pourrait s'attendre... L'exercice s'avère difficile, donc les gens finissent par carrément capituler.

Je reviendrais en détails avec l'analyse des données, mais il s'avère que le MP3 64kbps a été "échappé" plus souvent que prévu, alors que les formats hi-rez 24/96, CD et AAC256 ont été virtuellement indifférenciables.

Observation intéressante sur le terrain: les participants, seuls assis dans la chaise, confronté au défi, avait un niveau de certitude dans leurs réponses qui étaient surprenament bas. Même avec des formats MP3.

Le seul format que j'ai observé être identifié facilement de certains individus, au point qu'ils écrivent la réponse presque immédiatement, en demandant même de mettre sur pause tellement ils étaient convaincus, c'était le MP3 64kbps.... Qui, pourtant, n'a pas su donner le score parfait que nous attendions de lui. Nous aurions probablement eu besoin d'aller à du 32kbps pour vraiment atteindre un niveau de certitude quasi absolu.
c'est long 10 ans

User avatar
aevus
Posts: 25757
Joined: Wed Dec 06, 2006 2:31 pm

Post by aevus »

Autre observation qui a (malheureusement ?) mis en lumière quelque chose:

Ce genre de test donne des débuts de réponses sur des formats audio, sur de l'équipement, mais aussi sur les participants. C'est un des effets inévitables et cela aura pour conséquence de mettre en relief les différentes capacités auditives de chacun.

Aussi cruel que cela pourrait paraître à première vue. :(


Déjà, une tendance claire apparaissait: certains identifiaient avec grande facilité les MP3 64kbps, d'autres pas.

Question de sensibilité ? d'acuité de l'ouïe ? d'expérience ? de pratique ? de tout cela ensemble ?

Je l'ignore.

Mais une chose semble certaine: il y a effectivement un stade assez précis où une ligne est tracée entre ceux qui finissent par entendre la différence, et ceux qui ne l'entendent pas (encore).
Il s'agirait donc de tester des composants ou éléments qui sont juste assez différenciables pour que certaines personnes puissent les capter, mais tout de même assez subtils pour en laisser d'autres dans la brume, et le clivage apparait.

Ce sera donc vraiment trèès intéressant d'observer OÙ exactement dans une chaine audio ce genre de clivage se montre le bout du nez... Ampli ? Câble ? DAC ? Enceintes ?

... à voir!
Last edited by aevus on Mon Dec 06, 2010 3:18 pm, edited 1 time in total.
c'est long 10 ans

User avatar
aevus
Posts: 25757
Joined: Wed Dec 06, 2006 2:31 pm

Post by aevus »

Voici le lien video de la soirée de samedi en scoop avant tout le monde :wink:

http://www.webproduction.ca/fichiers/10-12-04-ctrl.htm

Ce sera affiché sur Cyberpresse plus tard..
c'est long 10 ans

User avatar
Stoik
Posts: 4015
Joined: Sun Dec 11, 2005 11:29 pm

Post by Stoik »

Essaye de rendre ton test disponible au public. Je ne sais pas, fait toi un fichier zip avec tout les fichiers (incluant les formulaires de test) et va le seeder sur The Pirate Bay en torrent. Donne un email pour le retour des résultats, fait un peu de promo pour le test sur You Tube et par peut-être l'article de presse qui va parler de ton test. Imagine les partys de noël et de jour de l'an que ça va faire... :lol:

Bien sûr, il y a la rigueur des résultats qui ne sera pas au rendez vous, mais ça va brasser la ruche en maudit... en plus d'amuser la planète entière. :twisted:

Bye.
"Allégations d'agression sexuelle: Gerry Sklavounos forcé de se retirer du caucus libéral"... puis de remonter son pantalon.

User avatar
aevus
Posts: 25757
Joined: Wed Dec 06, 2006 2:31 pm

Post by aevus »

Stoik wrote:Essaye de rendre ton test disponible au public. Je ne sais pas, fait toi un fichier zip avec tout les fichiers (incluant les formulaires de test) et va le seeder sur The Pirate Bay en torrent. Donne un email pour le retour des résultats, fait un peu de promo pour le test sur You Tube et par peut-être l'article de presse qui va parler de ton test. Imagine les partys de noël et de jour de l'an que ça va faire... :lol:

Bien sûr, il y a la rigueur des résultats qui ne sera pas au rendez vous, mais ça va brasser la ruche en maudit... en plus d'amuser la planète entière. :twisted:

Bye.
Ce genre de test n'est crédible que s'il est organisé de façon rigoureuse, avec plusieurs participants et plusieurs témoins.

Déjà là, nous pourrions recevoir toute sorte de contestation. Bien que nous ayons essayé d'autres équipement à l'interne, les gens pourraient très bien dire qu'avec d'autres enceintes/ampli/acoustique/participants le résultat serait différent.
Aussi, le nombre de participant n'est peut-être pas suffisant pour tirer des conclusions. Peut-être est-ce les extraits musicaux choisis, etc...

Bref, nous ne prétendons pas montrer ce qu'est "la vérité" mais si ça peut pousser les gens à se questionner et faire leurs propres tests, alors mission accomplie.
c'est long 10 ans

User avatar
Stoik
Posts: 4015
Joined: Sun Dec 11, 2005 11:29 pm

Post by Stoik »

Je viens de regarder le vidéo... et je l'ai sauvegardé pour référence future.

Quel est l'autre extrait que tu as fait écouter à Boulgakov à part le #3, est ce que c'est le #4?

Bye.
"Allégations d'agression sexuelle: Gerry Sklavounos forcé de se retirer du caucus libéral"... puis de remonter son pantalon.

User avatar
aevus
Posts: 25757
Joined: Wed Dec 06, 2006 2:31 pm

Post by aevus »

Boulgakov a fait le numéro 1 et 3 mais peut-être d'autre faudra que je fouille dans les notes plus tard.
c'est long 10 ans

User avatar
aevus
Posts: 25757
Joined: Wed Dec 06, 2006 2:31 pm

Post by aevus »

J'oubliais un point important:

Nous avons inséré une pièce de musique "pirate", la 4e, qui consistait d'un needledrop de vinyle numérisé 24/96, v.s. un autre mastering CD et un AAC256 du mastering vinyle :twisted:

Malheureusement, le déroulement des tests à voulu que les gens passent surtout les autres extraits musicaux, sauf que lorsque celui ci a été passé, les gens avaient tendance à bel et bien remarquer le mastering différent! :o

Et, l'ironie étant une bébitte vicieuse, certains participants pro-vinyle ont préféré la version "loud-compressé" du CD :lol:

tsé quand ça va mal..

Mais ce qu'il faut retenir c'est qu'un mastering différent semble avoir un excellent potentiel d'identification à l'aveugle. Comme quoi des fois il n'y a pas de différence audible mais des fois, oui.
c'est long 10 ans

idée - kaline
Posts: 3312
Joined: Wed Mar 17, 2010 7:36 pm

Post by idée - kaline »

Wow, j'ai manqué quelques choses,

En tous cas, pas d'accord sur les observations mécaniques limitative de la TT, d'accord que l'investissement que demande une TT pour performé aussi bien qu'un macmini et du 256 est trop élevé, mais

Avant d'aller plus loin, je t'invite à écouter du 33tours sur une Réga P9 et à identifier ces imperfections.

tu me diras ensuite, les imperfections que tu as identifier?

A+

Intéressant le vidéo

User avatar
aevus
Posts: 25757
Joined: Wed Dec 06, 2006 2:31 pm

Post by aevus »

Tapajeurs wrote:Wow, j'ai manqué quelques choses,

En tous cas, pas d'accord sur les observations mécaniques limitative de la TT, d'accord que l'investissement que demande une TT pour performé aussi bien qu'un macmini et du 256 est trop élevé, mais

Avant d'aller plus loin, je t'invite à écouter du 33tours sur une Réga P9 et à identifier ces imperfections.

tu me diras ensuite, les imperfections que tu as identifier?

A+

Intéressant le vidéo
J'avoue ne pas être un expert de la source analogique, mais de ce que j'ai compris des amateurs, c'est vraiment la bande magnétique qui est le "boutte-du-boutte" en terme de source analogique ?
c'est long 10 ans

User avatar
Stoik
Posts: 4015
Joined: Sun Dec 11, 2005 11:29 pm

Post by Stoik »

Je ne suis pas un expert non plus, mais un bon vieux open reel qui débite pas mal de pouces de ruban en une seconde, il parrait que c'est quelquechose.

http://en.wikipedia.org/wiki/Reel-to-re ... _recording

Bye.
"Allégations d'agression sexuelle: Gerry Sklavounos forcé de se retirer du caucus libéral"... puis de remonter son pantalon.

User avatar
haver
Posts: 6251
Joined: Wed Mar 08, 2006 9:44 am
Location: Natashquan
Contact:

Post by haver »

J'ai regardé la vidéo et je me dis que c'est pas facile pour les gens de changer d'idée. Y aura toujours des sceptiques, des gens pour remettre en question les conclusions d'une expérience d'autant plus que cette expérience vient défaire ou sérieusement remettre en question leurs croyances.

De toute façon, je crois que le débat analogique vs numérique est entendu. Pas que l'analogique soit meilleur ou non, mais simplement par le fait que le marché a fait son choix : ça sera numérique. Toute proportion gardée, les vinyles sont en voie de disparition et même le cd risque à plus ou moins long terme de le suivre.

C'est plate, mais c'est ça.
Nelson Lamoureux
http://lebarbareerudit.wordpress.com/
--
I think the surest sign that there is intelligent life out there in the universe is that none of it has tried to contact us.

Calvin & Hobbes

User avatar
ArnaudB
Posts: 5281
Joined: Wed May 25, 2005 2:12 pm
Location: Montreal

Post by ArnaudB »

En fait, je pense que ce que le test montre clairement, c'est qu'il n'est pas facile de reconnaitre différents types de formats sur une courte période (qqs secondes) et sans référence.
J'ai pour ma part inversé dans les deux sens du high rez et du 64...
Un test peut être intéressant serait de sélectionner un 15-20mn de musique et de le faire jouer dans les différents format sur une période de temps plus longue et de demander à la fin quelle séquence fut préférée.

Pour discussion.

Aevus et ton équipe,

je tiens à vous remercier pour votre accueil et suis très admiratif du travail accompli et des efforts déployés.
"Seule la beauté est à l'abri des outrages du temps. Les philosophies s'effritent comme du sable, les croyances se succèdent les unes aux autres, mais ce qui est beau est une joie en toutes saisons, une jouissance éternelle."
Oscar Wilde

User avatar
fredhammersmith
Posts: 2414
Joined: Tue Feb 20, 2007 9:06 am
Contact:

Post by fredhammersmith »

aevus wrote:J'oubliais un point important:

Nous avons inséré une pièce de musique "pirate", la 4e, qui consistait d'un needledrop de vinyle numérisé 24/96, v.s. un autre mastering CD et un AAC256 du mastering vinyle :twisted:

Malheureusement, le déroulement des tests à voulu que les gens passent surtout les autres extraits musicaux, sauf que lorsque celui ci a été passé, les gens avaient tendance à bel et bien remarquer le mastering différent! :o

Et, l'ironie étant une bébitte vicieuse, certains participants pro-vinyle ont préféré la version "loud-compressé" du CD :lol:

tsé quand ça va mal..

Mais ce qu'il faut retenir c'est qu'un mastering différent semble avoir un excellent potentiel d'identification à l'aveugle. Comme quoi des fois il n'y a pas de différence audible mais des fois, oui.
un mastering différent a un excellent potentiel d'identification à l'aveugle??? le contraire eut été épouvantable! ou aurait prouvé une fois pour toutes qu'un test à l'aveugle trompe l'audition de manière certaine.
SYSTEME:
Digital: Ordi ASUS / JRIVER Media Center / SPDif Out / Metric Halo ULN-2 // Analogue: Rega Planar 3 / Cart Grace RS-8C / Cambridge 640P // Enceintes actives: Neumann KH 120

Post Reply