Méthodes d'analyse en variables latentes fondées sur la parcimonie et/ou la faiblesse de rang. Application aux problèmes inverses multivariés
Résumé
In many multivariate signal and image processing and/or statistical machine learning problems, we aim to decompose a data matrix—assumed globally or locally of low rank—in the form of a matrix product. Under the global low-rank assumption, when we further assume the non-negativity of the data to be processed and estimated, this problem is known as Nonnegative Matrix Factorization (NMF). On the contrary, when the data low rankness is local, it is intimately linked to the hypothesis of sparsity of the latent variables which explain the data. The latter assumes that each of these variables can be expressed as a linear combination of a small number of atoms from a dictionary and has allowed the development of Sparse Component Analysis (SCA) approaches.
A first part of this thesis studies the enhancement provided by additionnal information provided into the NMF problem. Such an information is taken into account as both a specific parametrization and penalties. Both guide the method towards a realistic solution from the point of view of the application. This information can be provided by an expert, a physical model and/or the formalism of the problem to be solved. We are interested both in the aspects of robustness to outliers—by using for example parametric divergences as a cost function—and in the completion of missing data, solved for example by sparse approximation (according to a known dictionary) of each column of a matrix factor. These informed NMF approaches have been applied to source partitioning and in situ calibration of mobile sensors.
In a second part, we were interested in the acceleration of the (weighted) NMF methods by using the formalism of compressed learning. Compressed learning is based on the idea of random projections, which reduces the size of the data while maintaining the level of information they contain. The reduction of the size of the data is thus allowing the acceleration of the processing. We first extended the compressed NMF principle to the case where uncertainty measures (or weights) are associated with the data. The proposed approach uses an Expectation-Maximization (EM) formalism and a bilateral compression that we have accelerated. We have also proposed a new random projection stream formalism which (i) is data-agnostic, (ii) allows a similar performance as data-dependent structured projections, and (iii) should be able to take full advantage of new calculators dedicated to compressed learning.
Lastly, we address the problem of SCA for applications in audio processing and multi-spectral imaging. In particular, we consider the existence of “single-source” “analysis zones” in which a single latent variable can describe the data. In a single-source zone, the data is locally of rank 1—making it possible to propose numerous criteria for detecting these zones—whereas outside these zones, the number of latent variables can vary. When such assumptions are verified, SCA methods generally perform better than purely statistical approaches seeking to solve similar problems. We consider in the last part of this thesis several problems for which we propose new extensions of SCA approaches.
— Firstly, we extend linear SCA techniques to the post-nonlinear source separation problem. In this case, the mixing parameters are no longer simple vectors of coefficients but functional data to be estimated and then inverted. We propose both new criteria for detecting single-source zones and new approaches for classifying and estimating functions associated with nonlinearities of mixtures.
— Furthermore, we propose a real-time audio source counting and localization approach using a circular microphone array. The proposed approach consists of detecting single-source zones and estimating the location of the active source in each of these zones. The final estimation of the number of sources and their location is carried out by an ad hoc approach of unsupervised classification.
— Finally, we propose weighted extensions of SCA to process data partially observed by a miniaturized multi-spectral camera. The estimation of endmembers and associated abundance maps allows the restoration (or demosaicing) of multispectral images.
Dans de nombreux problèmes multivariés de traitement du signal et des images et/ou d’apprentissage statistique, nous cherchons à décomposer une matrice de données – supposée globalement ou localement de faible rang – sous la forme d’un produit matriciel. Sous l’hypothèse globale de faiblesse de rang, lorsque nous supposons de plus la non-négativité des données à traiter et à estimer, ce problème est connu sous le nom de factorisation en matrices non-négatives (NMF pour Nonnegative Matrix Factorization en anglais). Au contraire, lorsque la faiblesse de rang est locale, elle est intimement liée à l’hypothèse de parcimonie des variables latentes expliquant les données. Cette dernière suppose que chacune de ces variables peut s’exprimer comme une combinaison linéaire d’un petit nombre d’atomes d’un dictionnaire et a permis le développement d’approches d’analyse en composantes parcimonieuses (SCA pour Sparse Component Analysis en anglais).
Un premier volet de ce mémoire étudie l’apport d’informations dans la NMF. Celles-ci sont prises en compte sous forme d’une paramétrisation et de pénalisations qui guident la méthode vers une solution réaliste du point de vue de l’application. Cette information peut être fournie par un expert, un modèle physique et/ou le formalisme du problème à résoudre. Nous nous sommes intéressés à la fois aux aspects de robustesse aux valeurs aberrantes – en faisant par exemple appel à des divergences paramétriques comme fonction de coût – et à la complétion de données manquantes, résolue par exemple par approximation parcimonieuse (selon un dictionnaire connu) de chaque colonne d’un facteur matriciel. Ces approches informées de NMF ont été appliquées au partitionnement de sources et à l’étalonnage in situ de capteurs mobiles.
Dans un second temps, nous nous sommes intéressés à l’accélération des méthodes (pondérées) de NMF en faisant appel au formalisme d’apprentissage comprimé. L’apprentissage comprimé repose sur l’idée de projection aléatoire qui permet de réduire la taille des données tout en maintenant le niveau d’information qu’elles contiennent ; la réduction de la taille des données permettant de facto l’accélération des traitements. Nous avons d’abord étendu le principe de NMF comprimée au cas où des mesures d’incertitudes (ou pondérations) sont associées aux données. L’approche proposée fait appel à un formalise EM (pour Expectation-Maximization en anglais) et une compression bilatérale que nous avons accélérée. Nous avons par ailleurs proposé un nouveau formalisme de projection aléatoire en flux qui (i) est agnostique aux données, (ii) permet des performances similaires aux projections structurées dépendant des données et (iii) devrait pouvoir pleinement tirer partie de nouveaux calculateurs dédiés à l’apprentissage comprimé.
Enfin, nous abordons le problème de SCA pour des applications en traitement audio et en imagerie multi-spectrale. En particulier, nous considérons l’existence de « zones d’analyse » dites « mono-sources » dans lesquelles une seule variable latente permet de décrire les données. Dans une zone mono-source, les données sont localement de rang 1 – permettant de proposer de nombreux critères de détection de ces zones – alors qu’en dehors de ces zones, le nombre de variables latentes peut varier. Lorsque de telles hypothèses sont vérifiées, les méthodes de SCA sont généralement plus performantes que des approches purement statistiques cherchant à résoudre des problèmes similaires. Nous considérons dans le dernier volet de ce mémoire plusieurs problèmes pour lesquels nous proposons de nouvelles extensions des approches de SCA.
— Tout d’abord, nous étendons les techniques linéaires de SCA au problème post-non-linéaire de séparation de sources. Dans ce cas, les paramètres de mélange ne sont plus de simples vecteurs de coefficients mais des données fonctionnelles à estimer puis à inverser. Nous proposons à la fois de nouveaux critères pour détecter les zones mono-sources et de nouvelles approches pour classifier et estimer les fonctions associés aux non-linéarités des mélanges.
— Par ailleurs, nous proposons une approche temps-réel qui compte et localise des sources audiophoniques à partir d’un réseau circulaire de microphones. L’approche proposée consiste à détecter les zones mono-sources et à estimer dans chacune de ces zones la localisation de la source active. L’estimation finale du nombre de sources et de leur localisation est réalisée par une approche ad hoc de classification non-supervisée.
— Enfin, nous proposons des extensions pondérées de SCA pour traiter des données partiellement observées par une caméra multi-spectrale miniaturisée. L’estimation des endmembers et des cartes d’abondance associées permet la restauration (ou dématriçage) des images multispectrales.
| Origine | Fichiers produits par l'(les) auteur(s) |
|---|