Composition numérique - Digital compositing

Quatre images assemblées en une image finale

La composition numérique est le processus d'assemblage numérique de plusieurs images pour créer une image finale, généralement pour l'impression, les films ou l'affichage à l'écran. C'est l'analogue numérique de la composition de films optiques .

Mathématiques

L'opération de base utilisée dans la composition numérique est connue sous le nom de « fusion alpha », où une valeur d'opacité, « α », est utilisée pour contrôler les proportions de deux valeurs de pixels d' entrée qui finissent par un seul pixel de sortie.

À titre d'exemple simple, supposons que deux images de la même taille soient disponibles et qu'elles doivent être composées. Les images d'entrée sont appelées image de premier plan et image d'arrière-plan. Chaque image est constituée du même nombre de pixels . La composition est effectuée en combinant mathématiquement les informations des pixels correspondants des deux images d'entrée et en enregistrant le résultat dans une troisième image, appelée image composite.

Considérez trois pixels ;

  • un pixel de premier plan, f
  • un pixel d'arrière-plan, b
  • un pixel composé, c

et

  • , la valeur d'opacité du pixel de premier plan. (α = 1 pour un premier plan opaque, α = 0 pour un premier plan complètement transparent). Une image raster monochrome où les valeurs de pixels doivent être interprétées comme des valeurs alpha est appelée matte .

Ensuite, en considérant les trois canaux de couleur , et en supposant que les canaux de couleur sont exprimés dans un espace couleur γ=1 (c'est-à-dire que les valeurs mesurées sont proportionnelles à l'intensité lumineuse), on a :

c r = α f r + (1 − α) b r
c g = α f g + (1 − α) b g
c b = f b + (1 − α) b b

Notez que si les opérations sont effectuées dans un espace colorimétrique où n'est pas égal à 1, l'opération entraînera des effets non linéaires qui peuvent potentiellement être considérés comme des artefacts de crénelage (ou « jaggies ») le long des arêtes vives du cache. Plus généralement, la composition non linéaire peut avoir des effets tels que des « halos » autour des objets composites, car l'influence du canal alpha est non linéaire. Il est possible pour un artiste compositeur de compenser les effets de la composition dans un espace non linéaire.

La fusion alpha est une opération coûteuse si elle est effectuée sur une image entière ou une scène 3D. Si cette opération doit être effectuée dans des jeux vidéo en temps réel, il existe une astuce simple pour augmenter les performances.

c out = α f in + (1 − α) b in
c out = α f in + b in − α b in
c out = b in + α (f in − b in )

En réécrivant simplement l'expression mathématique, on peut économiser 50% des multiplications nécessaires.

Propriétés algébriques

Lorsque de nombreuses couches partiellement transparentes doivent être composées, il vaut la peine de considérer les propriétés algébriques des opérateurs de composition utilisés. Plus précisément, l'associativité et la commutativité déterminent quand un calcul répété peut ou ne peut pas être évité.

Prenons le cas où nous avons quatre calques à mélanger pour produire l'image finale : F=A*(B*(C*D)) où A, B, C, D sont des calques d'image partiellement transparents et "*" désigne un opérateur de composition (avec le calque de gauche au-dessus du calque de droite). Si seule la couche C change, nous devrions trouver un moyen d'éviter de refondre toutes les couches lors du calcul de F. Sans considérations particulières, quatre mélanges d'image complète devraient se produire. Pour les opérateurs de composition commutatifs , tels que le mélange additif , il est prudent de réorganiser les opérations de mélange. Dans ce cas, nous pourrions calculer T=A*(B*D) une seule fois et simplement mélanger T*C pour produire F, une seule opération. Malheureusement, la plupart des opérateurs ne sont pas commutatifs. Cependant, beaucoup sont associatives , suggérant qu'il est sûr de regrouper les opérations en F=(A*B)*(C*D), c'est-à-dire sans changer leur ordre. Dans ce cas, nous pouvons calculer S:=A*B une fois et enregistrer ce résultat. Pour former F avec un opérateur associatif, il suffit de faire deux opérations de composition supplémentaires pour intégrer la nouvelle couche S, en calculant F:=S*(C*D). Notez que cette expression indique de composer C avec tous les calques en dessous en une seule étape, puis de mélanger tous les calques au-dessus avec le résultat précédent pour produire l'image finale dans la deuxième étape.

Si toutes les couches d'une image changent régulièrement mais que de nombreuses couches doivent encore être composées (comme dans le rendu distribué ), la commutativité d'un opérateur de composition peut toujours être exploitée pour accélérer le calcul par parallélisme même lorsqu'il n'y a aucun gain de pré-calcul . Encore une fois, considérons l'image F=A*(B*(C*D)). Chaque opération de composition dans cette expression dépend de la suivante, conduisant à un calcul en série. Cependant, l'associativité peut permettre de réécrire F=(A*B)*(C*D) où il y a clairement deux opérations qui ne dépendent pas l'une de l'autre qui peuvent être exécutées en parallèle. En général, nous pouvons construire un arbre d'opérations de composition par paires avec une hauteur logarithmique en nombre de couches.

Logiciel

Le système de composition non linéaire le plus important historiquement était le Cineon , qui fonctionnait dans un espace colorimétrique logarithmique, qui imite plus étroitement la réponse à la lumière naturelle des émulsions de film (le système Cineon, fabriqué par Kodak, n'est plus en production). En raison des limitations de la vitesse de traitement et de la mémoire, les artistes compositeurs n'avaient généralement pas le luxe d'avoir le système pour effectuer des conversions intermédiaires en espace linéaire pour les étapes de composition. Au fil du temps, les limitations sont devenues beaucoup moins importantes et la plupart des compositions sont désormais effectuées dans un espace colorimétrique linéaire, même dans les cas où l'imagerie source se trouve dans un espace colorimétrique logarithmique.

La composition comprend souvent également la mise à l'échelle, la retouche et la correction des couleurs des images.

Composition basée sur les nœuds et sur les couches

Il existe deux workflows de composition numérique radicalement différents : la composition basée sur les nœuds et la composition basée sur les couches.

La composition basée sur des nœuds représente un composite entier sous la forme d'un graphe acyclique dirigé , reliant les objets multimédias et les effets dans une carte procédurale, exposant intuitivement la progression de l'entrée source à la sortie finale, et est en fait la façon dont toutes les applications de composition gèrent en interne les composites. Ce type d'interface de compositing permet une grande flexibilité, notamment la possibilité de modifier les paramètres d'une étape de traitement d'image antérieure "en contexte" (tout en visualisant le composite final ). Les packages de composition basés sur des nœuds gèrent souvent mal les images clés et les effets temporels, car leur flux de travail ne découle pas directement d'une chronologie, comme le font les packages de composition basés sur des calques. Les logiciels qui intègrent une interface basée sur des nœuds incluent Natron ( logiciel libre ) , Apple Shake , Blender , BlackMagicDesign Fusion et The Foundry's Nuke .

La composition basée sur des calques représente chaque objet multimédia d'un composite en tant que calque distinct dans une chronologie, chacun avec ses propres limites de temps, effets et images clés. Toutes les couches sont empilées, les unes au-dessus des autres, dans l'ordre souhaité ; et la couche inférieure est généralement rendue comme base dans l'image résultante, chaque couche supérieure étant progressivement rendue au-dessus des couches précédemment composées, se déplaçant vers le haut jusqu'à ce que toutes les couches aient été rendues dans le composite final. La composition basée sur les calques est très bien adaptée pour les effets 2D rapides et 3D limités tels que les graphiques animés, mais devient difficile pour les composites plus complexes impliquant de nombreuses couches. Une solution partielle à cela est la capacité de certains programmes à afficher l'ordre composite des éléments (tels que des images, des effets ou d'autres attributs) avec un diagramme visuel appelé organigramme pour imbriquer des compositions, ou "comps", directement dans d'autres compositions, ajoutant ainsi de la complexité à l'ordre de rendu en composant d'abord des couches dans la composition de départ, puis en combinant cet imome résultant.

Voir également

Lectures complémentaires

  • Mansi Sharma ; Santanu Chaudhury ; Brejesh Lall (2014). Composition 3D stéréoscopique transparente sensible au contenu . Actes de la Conférence indienne de 2014 sur les graphiques de vision par ordinateur et le traitement d'images, ACM New York, NY, États-Unis. doi : 10.1145/2683483.2683555 .
  • T. Porter et T. Duff , "Compositing Digital Images", Actes de SIGGRAPH '84, 18 (1984).
  • L'art et la science de la composition numérique ( ISBN  0-12-133960-2 )