INF584 - Synthèse d'Images : Théorie et Pratique

Cours de l'Ecole Polytechnique par Tamy Boubekeur

Description |Organisation | Programme | Travaux Pratiques | Séminaire | Toolbox | Liens

Synthèse d'Images : Théorie et Pratique

Description

La synthèse d'image, ou "rendu", est un thème central de l'informatique graphique 3D. Elle regroupe un ensemble de méthodes d’imagerie artificielle permettant générer automatiquement des images numériques à partir de modèles de scènes 3D virtuelles. Elle s’appuie sur l’informatique, la physique, les mathématiques appliquées et la perception. Elle est employée intensivement dans les domaines de la conception assistée par ordinateur, des effets spéciaux, de l'animation, des jeux-vidéo, de la simulation ou bien encore de l'architecture.

Ce cours présente les principes, algorithmes et techniques de la synthèse d'image. Il traite en particulier des modèles numériques de forme, d’apparence, d'éclairage et de capteur d'une scène 3D. L'équation du rendu, ainsi que les modèles standards d'illumination, d'ombrage et de réflectance sont présentés. Différents algorithmes de synthèse d'image à partir de ces modèles sont détaillés, notamment le rendu par projection et le rendu par lancer de rayon. Le rendu temps-réel, la programmation GPU et l'implémentation de structures hiérarchiques spatiales sont également présentés. Enfin, une ouverture vers l'éclairage global conclue le cours.

Ce cours a une forte dimension pratique, où les élèves implémentent les modèles et algorithmes tout au long du trimestre, à l'aide notamment des langages C/C++ et de l'API OpenGL. Les bases techniques nécessaires seront rappelées pour cela. A l'issu du cours, les élèves ont acquis la capacité à développer des systèmes intéractif de rendu 3D complets ainsi qu'une connaissance détaillée du processus de simulation lumineuse et de formation de l'image numérique à partir d'une scène 3D.

Organisation

Chaque séance est organisée ainsi :

Programme

  1. Introduction - télécharger
  2. Visibilité, Apparence, Textures - télécharger
  3. Structure Spatiale - télécharger
  4. Ombrage - télécharger
  5. Eclairage Global - télécharger
  6. Processeur Graphique (GPU) - télécharger
  7. Effets Spéciaux - télécharger
  8. Rendu Expressif - télécharger

Travaux Pratiques

Les travaux pratique visent à mettre en oeuvre, sous forme de programme en C++ et OpenGL, les principes de la synthèse d'image. Une introduction à C++ est effectuée dans ce cadre. Les travaux pratiques ne sont pas relevés.

Séminaire

Période : dernière séance de cours.

Durant le séminaire, qui fait office d'unique évaluation du cours, chaque élève présente et discute un article de recherche au reste du groupe (10 minutes). Cette présentation orale (powerpoint ou PDF) doit être illustrée (démo lorsque cela est possible), s'appuyer sur une étude bibliographique du thème (ne pas si limiter à l'article de base) et est suivie d'une discussion qui complète le cours principal.

Un rapport d'étude de 5 pages ainsi que la présentation doit être remis par email la veille du séminaire, au format PDF. Le rapport contient un résumé de l'article, une étude de ses contributions et limitations, ainsi qu'une proposition d'amélioration, d'évolution ou d'adaptation à un cas applicatif particulier. Lorsque les auteurs de l'article fournissent un code source de leur méthode, on pourra enrichir le rapport de résultats obtenus en faisant tourner le code en question.

Lorsque cela est possible, le rapport peut être substitué par un mini-rapport de 2 pages discutant une implémentation partielle de la méthode, effectuée par l'élève et dont le code sera fourni avec le rapport. Lorsque les auteurs de l'article fournissent un code source de leur méthode, une évolutation/amélioration du code est attendu. Dans ce cas, la présentation orale peut être en grande partie dédiée à la description de l'implémentation effectuée ou à une démonstration live.

La qualité de la présentation est prise en compte dans l'évaluation, il est fortement recommandé de la répéter et de s'en tenir à 10 minutes. Qu'il s'agisse d'un rapport d'étude ou d'une implémentation, le travail doit être effectué en dehors des heures de cours.

Liste des sujets :

  1. High Resolution Sparse Voxel DAGs
  2. A Phenomenological Scattering Model for Order-Independent Transparency
  3. Real-Time Polygonal-Light Shading with Linearly Transformed Cosines
  4. Ambient Dice
  5. Practical Path Guiding for Efficient Light-Transport Simulation
  6. Real-time Fiber-level Cloth Rendering
  7. Procedural Noise using Sparse Gabor Convolution
  8. Gradient-Domain Path Tracing
  9. Real-time Global Illumination by Precomputed Local Reconstruction from Sparse Radiance Probes
  10. Soft 3D Reconstruction for View Synthesis
  11. Efficient Divide-And-Conquer Ray Tracing using Ray Sampling
  12. A Practical Extension to Microfacet Theory for the Modeling of Varying Iridescence
  13. Interactive Reconstruction of Monte Carlo Image Sequences using a Recurrent Denoising Autoencoder
  14. MatCap Decomposition for Dynamic Appearance Manipulation
  15. Interactive Indirect Illumination Using Voxel Cone Tracing
  16. Mesh Colors
  17. Image-Space Horizon-Based Ambient Occlusion
  18. Screen-Space Reflections
  19. Variance Soft Shadow Mapping
  20. Clustered forward and deferred shading
  21. Screen-Space Sub-Surface Scattering
  22. Reflectance Modeling by Neural Texture Synthesis

Toolbox

Voici divers outils qui peuvent être utiles dans le cadre de ce module :

Liens utiles


Back to Tamy Boubekeur's homepage.