INF584 - Synthèse d'Images : Théorie et Pratique

Cours de l'Ecole Polytechnique par Tamy Boubekeur

Description |Organisation | Programme | Travaux Pratiques | Séminaire | Toolbox | Liens

Synthèse d'Images : Théorie et Pratique

Description

La synthèse d'image, ou "rendu", est un thème central de l'informatique graphique 3D. Elle regroupe un ensemble de méthodes d’imagerie artificielle permettant générer automatiquement des images numériques à partir de modèles de scènes 3D virtuelles. Elle s’appuie sur l’informatique, la physique, les mathématiques appliquées et la perception. Elle est employée intensivement dans les domaines de la conception assistée par ordinateur, des effets spéciaux, de l'animation, des jeux-vidéo, de la simulation ou bien encore de l'architecture.

Ce cours présente les principes, algorithmes et techniques de la synthèse d'image. Il traite en particulier des modèles numériques de forme, d’apparence, d'éclairage et de capteur d'une scène 3D. L'équation du rendu, ainsi que les modèles standards d'illumination, d'ombrage et de réflectance sont présentés. Différents algorithmes de synthèse d'image à partir de ces modèles sont détaillés, notamment le rendu par projection et le rendu par lancer de rayon. Le rendu temps-réel, la programmation GPU et l'implémentation de structures hiérarchiques spatiales sont également présentés. Enfin, une ouverture vers l'éclairage global conclue le cours.

Ce cours a une forte dimension pratique, où les élèves implémentent les modèles et algorithmes tout au long du trimestre, à l'aide notamment des langages C/C++ et de l'API OpenGL. Les bases techniques nécessaires seront rappelées pour cela. A l'issu du cours, les élèves ont acquis la capacité à développer des systèmes intéractif de rendu 3D complets ainsi qu'une connaissance détaillée du processus de simulation lumineuse et de formation de l'image numérique à partir d'une scène 3D.

Organisation

Chaque séance est organisée ainsi :

Programme

  1. Introduction - télécharger
  2. Visibilité, Apparence, Textures - télécharger
  3. Structure Spatiale - télécharger
  4. Ombrage - télécharger
  5. Eclairage Global - télécharger
  6. Processeur Graphique (GPU) - télécharger
  7. Effets Spéciaux - télécharger
  8. Rendu Expressif - télécharger

Travaux Pratiques

Les travaux pratique visent à mettre en oeuvre, sous forme de programme en C++ et OpenGL, les principes de la synthèse d'image. Une introduction à C++ est effectuée dans ce cadre. Les travaux pratiques ne sont pas relevés.

Séminaire

Période : dernière séance de cours.

Durant le séminaire, qui fait office d'unique évaluation du cours, chaque élève présente et discute un article de recherche au reste du groupe (10 minutes). Cette présentation orale (powerpoint ou PDF) doit être illustrée (démo lorsque cela est possible), s'appuyer sur une étude bibliographique du thème (ne pas si limiter à l'article de base) et est suivie d'une discussion qui complète le cours principal.

Un rapport d'étude de 5 pages ainsi que la présentation doit être remis par email la veille du séminaire, au format PDF. Le rapport contient un résumé de l'article, une étude de ses contributions et limitations, ainsi qu'une proposition d'amélioration, d'évolution ou d'adaptation à un cas applicatif particulier. Lorsque les auteurs de l'article fournissent un code source de leur méthode, on pourra enrichir le rapport de résultats obtenus en faisant tourner le code en question.

Lorsque cela est possible, le rapport peut être substitué par un mini-rapport de 2 pages discutant une implémentation partielle de la méthode, effectuée par l'élève et dont le code sera fourni avec le rapport. Lorsque les auteurs de l'article fournissent un code source de leur méthode, une évolutation/amélioration du code est attendu. Dans ce cas, la présentation orale peut être en grande partie dédiée à la description de l'implémentation effectuée ou à une démonstration live.

La qualité de la présentation est prise en compte dans l'évaluation, il est fortement recommandé de la répéter et de s'en tenir à 10 minutes. Qu'il s'agisse d'un rapport d'étude ou d'une implémentation, le travail doit être effectué en dehors des heures de cours.

Liste des sujets :

  1. SSVDAGs: Symmetry-aware Sparse Voxel DAGs, Alberto Jaspe Villanueva, Fabio Marton, Enrico Gobbetti
  2. CloudLight: A System of Amortizing Indirect Lighting in Real-Time Rendering, Cyril Crassin, David Luebke, Michael Mara, Morgan McGuire, Brent Oster, Peter Shirley, Peter-Pike Sloan, Chris Wyman
  3. Sequential Monte Carlo Instant Radiosity, Peter Hedman, Tero Karras, Jaakko Lehtinen
  4. Precomputed Illuminance Composition for Real-Time Global Illumination, Johannes Jendersie, David Kuri, Thorsten Grosch
  5. A Phenomenological Scattering Model for Order-Independent Transparency, Morgan McGuire, Michael Mara
  6. Line Sampling for Direct Illumination, Niels Billen, Philip Dutré
  7. Fast Filtering of Reflection Probes Josiah Manson, Peter-Pike Sloan
  8. Real-Time Polygonal-Light Shading with Linearly Transformed Cosines, Eric Heitz, Jonathan Dupuy, Stephen Hill, David Neubelt
  9. Position-Normal Distributions for Efficient Rendering of Specular Microstructure,Ling-Qi Yan, Milos Hasan, Steve Marschner, Ravi Ramamoorthi
  10. Reflectance Modeling by Neural Texture Synthesis, Miika Aittala, Timo Aila, Jaakko Lehtinen
  11. Efficient GPU Rendering of Subdivision Surfaces using Adaptive Quadtrees, Wade Brainerd, Tim Foley, Manuel Kraemer, Henry Moreton, Matthias Niesner
  12. Multiway K-Clustered Tensor Approximation: Toward High- Performance Photorealistic Data-Driven Rendering Yu-Ting Tsai
  13. Scalable Inside-Out Image-Based Rendering Peter Hedman, Tobias Ritschel, George Drettakis, Gabriel Brostow
  14. Texture Space Caching and Reconstruction for Ray Tracing, Jacob Munkberg, Jon Hasselgren, Petrik Clarberg, Magnus Andersson, Tomas Akenine-Moller
  15. An Intuitive Control Space for Material , Ana Serrano, Diego Gutierrez, Karol Myszkowski, Hans-Peter Seidel, Belen Masia
  16. Efficient Rendering of Heterogeneous Polydisperse Granular Media, Thomas Muller (Disney Research and ETH Zurich), Marios Papas (Disney Research), Markus Gross (Disney Research and ETH Zurich), Wojciech Jarosz (Dartmouth College), Jan Novak (Disney Research)
  17. Image-space Control Variates for Rendering, Fabrice Rousselle, Wojciech Jarosz, Jan Novak
  18. Learning to Generate Chairs With Convolutional Neural Networks,Alexey Dosovitskiy, Jost Tobias Springenberg, Maxim Tatarchenko, Thomas Brox
  19. Learning-Based View Synthesis for Light Field Cameras, Nima Khademi Kalantari, Ting-Chun Wang, Ravi Ramamoorthi.

Toolbox

Voici divers outils qui peuvent être utiles dans le cadre de ce module :

Liens utiles


Back to Tamy Boubekeur's homepage.