Quelle 3D?
Dossier
Comment ? Vous n'avez pas encore de téléviseur 3D ? Ni de lecteur prêt pour le Blu-Ray 3D ?
A moins d'être économiquement faible ou irrémédiablement ringard, votre comportement est suspect : on frise l'incivilité, voire la subversion Equipez-vous d'urgence, puisqu'on vous dit que le relief c'est l'avenir du cinéma !
Vraiment?
En fait le cinéma n'a pas besoin du relief , il lui confère simplement une séduction supplémentaire dont on se passe très bien, il suffit de regarder Avatar (2009) ou Up (2009) en 2D pour les apprécier sans maux de tête . Ces films existent et sont créatifs sans 3D. Jusqu'ici l'essentiel des films 3D n'a rien apporté de spécifique malgré les incantations de certains gourous qui invoquent un art nouveau (vieux de près de 60 ans tout de même !). On avait entendu la même chose pour la couleur, pour l'écran large, pour la stéréophonie, à chaque fois il fallait changer d'écriture etc. etc.
A chaque fois, quelques explorateurs ont tenté l'expérience de la spécificité, il fallait la faire, mais qui aujourd'hui irait voir un film spécialement parce qu'il est en couleur ? Les rares films en N&B actuels sont-ils écrits différemment ou l'auraient-ils été pour la couleur ? Qui écrit une histoire spécialement pour la stéréophonie ? Que n'a-t-on pas dit sur l'écran large qui réclamait forcément des champs larges (allez dire ça à Sergio Leone) et un montage long (comme dans Gladiator ?). Les auteurs comme le public intègrent à leurs habitudes les nouveautés techniques, qui se sont toujours banalisées.
Si le cinéma n'a pas BESOIN du relief, les fabricants de téléviseurs, si.
La manne du remplacement des tubes cathodiques par des écrans plats s'est tarie et ce remplacement massif et récent implique un passage à vide pour les renouvellements. Les écrans 3D, qui veulent créer un nouveau besoin avant l'usure des écrans actuels, sont déjà là alors qu'on n'a quasiment rien à mettre dessus et répondent à une demande de l'industrie asiatique plus que du public ou des producteurs. Une situation inverse de celle de la HD : on tournait en HD et on disposait de la qualité 35mm de tout le patrimoine cinématographique avant que le parc d'écrans HD se développe.
Maintenant ce relief qu'on nous propose est-il un apport pérenne, susceptible de rejoindre les précédents progrès techniques dans nos habitudes ? Il souffre d'un handicap sévère : les lunettes.
Handicap économique : elles sont chères si elles sont actives (payez donc des lunettes à tous les copains venus suivre la finale d'une coupe du monde chez vous !) ou les téléviseurs sont plus chers si vos lunettes sont passives.
Handicap pratique : elles absorbent 50% de la lumière (particulièrement gênant pour les videoprojecteurs), les actives sont généralement lourdes et toutes sont gênantes si vous portez déjà des lunettes.
Handicap psycho-physiologique : le cerveau utilise 10 canaux pour appréhender l'espace : la convergence, l'accommodation, la disparité, la parallaxe de mouvement, la perspective, le recouvrement de couches, la taille des objets, le gradient de texture, les ombres portées, l'effet de brume.
Le « cinéma en relief » n'utilise que la seule disparité gauche-droite, et encore de manière imposée et contradictoire avec l'expérience vécue : s'il vous présente un objet pointant vers vous, cet objet semblera toujours vous menacer même si vous bougez, ce qui est aberrant et perturbant (toute l'image semble tourner dans le cadre de l'écran pour vous suivre sans pour autant changer de perspective). Par contre vous ne pouvez pas bouger la tête pour mieux voir l'assassin caché derrière l'arbre.
De plus devant un objet « proche » votre cerveau donnera l'ordre aux yeux de converger et de mettre au point. Moyennant quoi vous voyez double (vous convergez sur un point où il n'y a pas d'objet) et flou (vous mettez au point à quelques cm alors que l'écran est à plusieurs m). Le cerveau se dit que quelque chose ne va pas et remet au point à l'infini, reçoit à nouveau l'info qu'un objet est proche etc. etc. jusqu'à la migraine. Pour l'éviter il faut que les objets semblent derrière l'écran sur lequel l'il fait le point, ce qui atténue considérablement le relief, qui perd tout intérêt. On peut l'augmenter en élargissant la base, en écartant les objectifs, mais alors les objets et les gens semblent petits, observé par le géant que nous sommes devenu.
Les films 3D actuels ne sont pas « en relief », ils augmentent seulement l'un des facteurs de perception de l'espace, qui ne joue d'ailleurs que dans le seul plan horizontal (nous utilisons couramment la parallaxe de mouvement dans le plan vertical).
Contrairement à ce que prétendent ses thuriféraires, ce procédé-là ne demande pas une nouvelle écriture, seulement des précautions.
Une impasse ?
La stéréoscopie binoculaire traditionnelle est l'extension logique à 2 yeux du tournage classique. C'était la seule accessible à la pellicule. Cette approche dominante est lourde et limitée.
Toutefois des systèmes non binoculaires existent. Certains utilisent 8 caméras et un écran à réseau cannelé comme les cartes postales en relief. Le réseau laisse voir les points de vue gauche et droit en fonction de la position devant l'écran : bouger change alors ce que l'on voit (on peut apercevoir l'assassin derrière l'arbre !). Cela demande vraiment une autre écriture
A la prise de vue cela reste une extension de la stéréoscopie classique. D'autres approches sont possibles, grâce aux techniques numériques et à l'explosion des puissances de calcul.
A partir d'une image unique on sait aujourd'hui détecter les occlusions d'éléments par d'autres et déduire des couches.
La profondeur peut être mesurée par une sorte de radar optique (« Time of flight camera »). La conjugaison permet de modéliser l'espace : on sait à quelle distance sont les couches.
Le projet européen 3D4You (http://www.3d4you.eu ) a expérimenté à Munich un système à 4 caméras mais il ne s'agit pas d'une simple multiplication des points de vue. Le format d'enregistrement en temps réel comprend les informations video+couches de profondeur+occlusions.
Enregistrer une scène à partir d'une représentation « Image + depth map » (carte de profondeur où une gamme de gris code les distances) est plus économique en terme de débit (la carte de profondeur contient moins d'informations qu'une 2ème image) et de compatibilité (l'image de ref. sert pour la 2D). Le codage Layered Depth Video est utilisé par exemple par les moniteurs autostéréoscopiques (sans lunettes) Philips WOWvx.
Surtout, une approche qui implique une reconstruction de l'image redonne une liberté dans la représentation du relief, normalement figée par l'écart inter-objectifs à la prise de vue. Le point de vue de la 2ème image peut être reconstruit n'importe où entre la première et l'écart maximum de la 2ème caméra. On peut aller plus loin.
Mine de rien c'est une révolution qu'a présenté John Zubrzycki (BBC research & Development) lors d'une journée sur la 3D à l'INA (Paris). Les implications vont TRÈS au-delà de la 3D. Il s'agit rien moins que de permettre la libre navigation en direct d'une caméra virtuelle 2D ou 3D dans un espace réel.
Pour le sport, support de l'étude initiale de la BBC et de l'université du Surrey, cela revient à mettre une caméra, voire une caméra relief, au milieu des joueurs et la déplacer librement. Cela simplement à partir des caméras classiques disposées autour du terrain.
Le sport constitue un support d'expérimentation pratique à cause du terrain : vert, il permet une délimitation facile et une élimination par chroma key. Les marques au sol constituent des repères géométriques bien référencés et communs à toutes les caméras, ce qui permet de les calibrer, de les replacer dans l'espace et entre elles.
Extraire la référence décor permet de traiter séparément les joueurs, qui demandent plus de calculs. Lors de la reconstruction, il suffit d'additionner pour le point de vue choisi le décor et les personnages dans la bonne perspective.
Le programme établit des relations entre les objets selon les points de vues des différentes caméras.
La multiplication des caméras (6 fixes et 4 mobiles sur le tournoi des 6 nations tourné avec le système à Twickenham) contribue à la fois à la précision spatiale dans toutes les dimensions, mais aussi à l'augmentation de la précision des images : les textures s'additionnent et se complètent sur un angle très large, ce qui rend possible le déplacement mais aussi le rapprochement de la caméra virtuelle.
Le système est une percée majeure. D'abord il libère la prise de vue des rigs 3D encombrants et si difficile à gérer, au profit de caméras classiques, non appariées en positions, focales, hauteurs, inclinaison etc., librement réparties et éventuellement mobiles.
Ensuite le principe est de capter toute l'information spatiale d'une scène et non un ou une suite de points de vues.
Enfin, en permettant de synthétiser à la demande n'importe quel point de vue, à plat ou en stéréoscopie, indépendamment de la position initiale des caméras sur le terrain, il révolutionne le travail du metteur en scène.
Les implications dépassent celles du Performance Capture. Dans cette approche là (cf Polar Express ou Beowulf) on enregistre les mouvements des comédiens, jusqu'aux détails des muscles faciaux, pour piloter ensuite des créatures en image de synthèse que l'on décide enfin de filmer selon tel ou tel axe.
On en est maintenant à une sorte de capture globale, en temps réel, où les libertés créatives du réalisateur explosent.
Plus révolutionnaire encore, le système actuel utilise une implantation OpenGL. C'est-à-dire que potentiellement, si on lui transmet les éléments, chaque spectateur muni d'un PC pourra placer lui-même sa caméra.
Le cinéma a toujours imposé au spectateur un point de vue unique. Une tyrannie que la version actuelle du relief ne fait que renforcer. Or Il est clair que la stéréoscopie binoculaire qu'on nous vend aujourd'hui en salle ou à la TV n'est pas une révolution : c'est une transition, une solution d'attente lancée pour des raisons de marketing.
Les nouvelles approches du relief changeront le rapport du spectateur à l'image en lui redonnant une liberté.
Révolution ou cataclysme?
A moins d'être économiquement faible ou irrémédiablement ringard, votre comportement est suspect : on frise l'incivilité, voire la subversion Equipez-vous d'urgence, puisqu'on vous dit que le relief c'est l'avenir du cinéma !
Vraiment?
En fait le cinéma n'a pas besoin du relief , il lui confère simplement une séduction supplémentaire dont on se passe très bien, il suffit de regarder Avatar (2009) ou Up (2009) en 2D pour les apprécier sans maux de tête . Ces films existent et sont créatifs sans 3D. Jusqu'ici l'essentiel des films 3D n'a rien apporté de spécifique malgré les incantations de certains gourous qui invoquent un art nouveau (vieux de près de 60 ans tout de même !). On avait entendu la même chose pour la couleur, pour l'écran large, pour la stéréophonie, à chaque fois il fallait changer d'écriture etc. etc.
A chaque fois, quelques explorateurs ont tenté l'expérience de la spécificité, il fallait la faire, mais qui aujourd'hui irait voir un film spécialement parce qu'il est en couleur ? Les rares films en N&B actuels sont-ils écrits différemment ou l'auraient-ils été pour la couleur ? Qui écrit une histoire spécialement pour la stéréophonie ? Que n'a-t-on pas dit sur l'écran large qui réclamait forcément des champs larges (allez dire ça à Sergio Leone) et un montage long (comme dans Gladiator ?). Les auteurs comme le public intègrent à leurs habitudes les nouveautés techniques, qui se sont toujours banalisées.
Si le cinéma n'a pas BESOIN du relief, les fabricants de téléviseurs, si.
La manne du remplacement des tubes cathodiques par des écrans plats s'est tarie et ce remplacement massif et récent implique un passage à vide pour les renouvellements. Les écrans 3D, qui veulent créer un nouveau besoin avant l'usure des écrans actuels, sont déjà là alors qu'on n'a quasiment rien à mettre dessus et répondent à une demande de l'industrie asiatique plus que du public ou des producteurs. Une situation inverse de celle de la HD : on tournait en HD et on disposait de la qualité 35mm de tout le patrimoine cinématographique avant que le parc d'écrans HD se développe.
Maintenant ce relief qu'on nous propose est-il un apport pérenne, susceptible de rejoindre les précédents progrès techniques dans nos habitudes ? Il souffre d'un handicap sévère : les lunettes.
Handicap économique : elles sont chères si elles sont actives (payez donc des lunettes à tous les copains venus suivre la finale d'une coupe du monde chez vous !) ou les téléviseurs sont plus chers si vos lunettes sont passives.
Handicap pratique : elles absorbent 50% de la lumière (particulièrement gênant pour les videoprojecteurs), les actives sont généralement lourdes et toutes sont gênantes si vous portez déjà des lunettes.
Handicap psycho-physiologique : le cerveau utilise 10 canaux pour appréhender l'espace : la convergence, l'accommodation, la disparité, la parallaxe de mouvement, la perspective, le recouvrement de couches, la taille des objets, le gradient de texture, les ombres portées, l'effet de brume.
Le « cinéma en relief » n'utilise que la seule disparité gauche-droite, et encore de manière imposée et contradictoire avec l'expérience vécue : s'il vous présente un objet pointant vers vous, cet objet semblera toujours vous menacer même si vous bougez, ce qui est aberrant et perturbant (toute l'image semble tourner dans le cadre de l'écran pour vous suivre sans pour autant changer de perspective). Par contre vous ne pouvez pas bouger la tête pour mieux voir l'assassin caché derrière l'arbre.
De plus devant un objet « proche » votre cerveau donnera l'ordre aux yeux de converger et de mettre au point. Moyennant quoi vous voyez double (vous convergez sur un point où il n'y a pas d'objet) et flou (vous mettez au point à quelques cm alors que l'écran est à plusieurs m). Le cerveau se dit que quelque chose ne va pas et remet au point à l'infini, reçoit à nouveau l'info qu'un objet est proche etc. etc. jusqu'à la migraine. Pour l'éviter il faut que les objets semblent derrière l'écran sur lequel l'il fait le point, ce qui atténue considérablement le relief, qui perd tout intérêt. On peut l'augmenter en élargissant la base, en écartant les objectifs, mais alors les objets et les gens semblent petits, observé par le géant que nous sommes devenu.
Les films 3D actuels ne sont pas « en relief », ils augmentent seulement l'un des facteurs de perception de l'espace, qui ne joue d'ailleurs que dans le seul plan horizontal (nous utilisons couramment la parallaxe de mouvement dans le plan vertical).
Contrairement à ce que prétendent ses thuriféraires, ce procédé-là ne demande pas une nouvelle écriture, seulement des précautions.
Une impasse ?
La stéréoscopie binoculaire traditionnelle est l'extension logique à 2 yeux du tournage classique. C'était la seule accessible à la pellicule. Cette approche dominante est lourde et limitée.
Toutefois des systèmes non binoculaires existent. Certains utilisent 8 caméras et un écran à réseau cannelé comme les cartes postales en relief. Le réseau laisse voir les points de vue gauche et droit en fonction de la position devant l'écran : bouger change alors ce que l'on voit (on peut apercevoir l'assassin derrière l'arbre !). Cela demande vraiment une autre écriture
A la prise de vue cela reste une extension de la stéréoscopie classique. D'autres approches sont possibles, grâce aux techniques numériques et à l'explosion des puissances de calcul.
A partir d'une image unique on sait aujourd'hui détecter les occlusions d'éléments par d'autres et déduire des couches.
La profondeur peut être mesurée par une sorte de radar optique (« Time of flight camera »). La conjugaison permet de modéliser l'espace : on sait à quelle distance sont les couches.
Le projet européen 3D4You (http://www.3d4you.eu ) a expérimenté à Munich un système à 4 caméras mais il ne s'agit pas d'une simple multiplication des points de vue. Le format d'enregistrement en temps réel comprend les informations video+couches de profondeur+occlusions.
Enregistrer une scène à partir d'une représentation « Image + depth map » (carte de profondeur où une gamme de gris code les distances) est plus économique en terme de débit (la carte de profondeur contient moins d'informations qu'une 2ème image) et de compatibilité (l'image de ref. sert pour la 2D). Le codage Layered Depth Video est utilisé par exemple par les moniteurs autostéréoscopiques (sans lunettes) Philips WOWvx.
Surtout, une approche qui implique une reconstruction de l'image redonne une liberté dans la représentation du relief, normalement figée par l'écart inter-objectifs à la prise de vue. Le point de vue de la 2ème image peut être reconstruit n'importe où entre la première et l'écart maximum de la 2ème caméra. On peut aller plus loin.
Mine de rien c'est une révolution qu'a présenté John Zubrzycki (BBC research & Development) lors d'une journée sur la 3D à l'INA (Paris). Les implications vont TRÈS au-delà de la 3D. Il s'agit rien moins que de permettre la libre navigation en direct d'une caméra virtuelle 2D ou 3D dans un espace réel.
Pour le sport, support de l'étude initiale de la BBC et de l'université du Surrey, cela revient à mettre une caméra, voire une caméra relief, au milieu des joueurs et la déplacer librement. Cela simplement à partir des caméras classiques disposées autour du terrain.
Le sport constitue un support d'expérimentation pratique à cause du terrain : vert, il permet une délimitation facile et une élimination par chroma key. Les marques au sol constituent des repères géométriques bien référencés et communs à toutes les caméras, ce qui permet de les calibrer, de les replacer dans l'espace et entre elles.
Extraire la référence décor permet de traiter séparément les joueurs, qui demandent plus de calculs. Lors de la reconstruction, il suffit d'additionner pour le point de vue choisi le décor et les personnages dans la bonne perspective.
Le programme établit des relations entre les objets selon les points de vues des différentes caméras.
La multiplication des caméras (6 fixes et 4 mobiles sur le tournoi des 6 nations tourné avec le système à Twickenham) contribue à la fois à la précision spatiale dans toutes les dimensions, mais aussi à l'augmentation de la précision des images : les textures s'additionnent et se complètent sur un angle très large, ce qui rend possible le déplacement mais aussi le rapprochement de la caméra virtuelle.
Le système est une percée majeure. D'abord il libère la prise de vue des rigs 3D encombrants et si difficile à gérer, au profit de caméras classiques, non appariées en positions, focales, hauteurs, inclinaison etc., librement réparties et éventuellement mobiles.
Ensuite le principe est de capter toute l'information spatiale d'une scène et non un ou une suite de points de vues.
Enfin, en permettant de synthétiser à la demande n'importe quel point de vue, à plat ou en stéréoscopie, indépendamment de la position initiale des caméras sur le terrain, il révolutionne le travail du metteur en scène.
Les implications dépassent celles du Performance Capture. Dans cette approche là (cf Polar Express ou Beowulf) on enregistre les mouvements des comédiens, jusqu'aux détails des muscles faciaux, pour piloter ensuite des créatures en image de synthèse que l'on décide enfin de filmer selon tel ou tel axe.
On en est maintenant à une sorte de capture globale, en temps réel, où les libertés créatives du réalisateur explosent.
Plus révolutionnaire encore, le système actuel utilise une implantation OpenGL. C'est-à-dire que potentiellement, si on lui transmet les éléments, chaque spectateur muni d'un PC pourra placer lui-même sa caméra.
Le cinéma a toujours imposé au spectateur un point de vue unique. Une tyrannie que la version actuelle du relief ne fait que renforcer. Or Il est clair que la stéréoscopie binoculaire qu'on nous vend aujourd'hui en salle ou à la TV n'est pas une révolution : c'est une transition, une solution d'attente lancée pour des raisons de marketing.
Les nouvelles approches du relief changeront le rapport du spectateur à l'image en lui redonnant une liberté.
Révolution ou cataclysme?