Multimodal

Un modèle multimodal, c'est un modèle d'IA capable de comprendre et de traiter plusieurs types de données à la fois : du texte, des images, du son, de la vidéo. GPT-4 (qui peut "voir" des images) ou Gemini de Google sont des exemples. Au lieu d'avoir un modèle pour le texte et un autre pour les images, un seul modèle comprend les deux, et surtout, comprend les liens entre eux. Pour un directeur, c'est un pas de plus vers une IA qui appréhende le monde comme nous, à travers plusieurs sens.

Pourquoi c'est une avancée

Le monde est multimodal. Nous communiquons avec des mots, des images, des gestes, des tons de voix. Pour comprendre vraiment une situation, on a besoin de tous ces signaux. Les modèles d'IA traditionnels étaient "sourds" et "aveugles" à tout ce qui n'était pas leur domaine. Un modèle de langage ne pouvait pas analyser une photo. Un modèle de vision ne comprenait pas le texte. Les modèles multimodaux abolissent ces frontières.

Cette capacité à lier les modalités est cruciale. Par exemple, montrer une photo d'un plat et demander la recette. Ou donner un graphique de ventes et demander une analyse écrite. Ou montrer une vidéo de satisfaction client et demander un résumé des points clés. Le modèle comprend l'image et le langage, et peut raisonner sur l'ensemble.

Comment ça fonctionne (simplifié)

L'idée est de créer un espace de représentation commun. Le modèle transforme le texte, les images, le son en vecteurs (des listes de nombres) dans un même espace. Dans cet espace, une phrase et une image qui ont un sens proche se retrouvent proches. Par exemple, le vecteur de la phrase "un chien qui court" est proche du vecteur d'une photo de chien qui court. Le modèle a appris à aligner ces représentations.

Ensuite, des mécanismes d'attention (comme dans les Transformers) permettent au modèle de faire des liens entre les différentes modalités. Il peut regarder une image, et en même temps lire le texte, et mettre en relation les parties pertinentes. C'est ainsi qu'il peut répondre à des questions sur une image, ou générer une description précise.

Applications concrètes en entreprise

Les possibilités sont immenses. Dans le service client, un agent multimodal pourrait analyser une photo envoyée par un client (un produit cassé, une erreur de livraison) et générer automatiquement une réponse adaptée, sans intervention humaine. Dans le e-commerce, un utilisateur pourrait prendre en photo un meuble chez un ami, et demander à l'IA de trouver des produits similaires en ligne, ou de visualiser à quoi il ressemblerait dans sa propre pièce.

En marketing, on pourrait analyser des milliers de publications sur les réseaux sociaux (texte + image) pour détecter des tendances émergentes, des associations de produits, des sentiments complexes. Pour la création de contenu, on pourrait générer des visuels et le texte associé en une seule fois, cohérents.

En interne, pour la gestion des connaissances, on pourrait indexer tous les documents de l'entreprise, y compris les schémas, les photos, les vidéos de réunions. Un collaborateur pourrait poser une question, et l'IA irait chercher la réponse dans n'importe quel type de document, pas seulement les textes.

Les défis et limites

Ces modèles sont extrêmement complexes et coûteux à entraîner. Ils nécessitent des données multimodales massives et de qualité, ce qui n'est pas simple à rassembler. Ils sont aussi plus difficiles à évaluer : comment mesurer la performance sur une tâche qui mélange texte et image ?

Les biais sont aussi un défi. Si les données d'entraînement associent certains stéréotypes (par exemple, des images de "PDG" principalement associées à des hommes blancs), le modèle reproduira ces biais. Il faut des efforts particuliers pour les détecter et les atténuer.

Enfin, l'interprétabilité est encore plus difficile. Quand un modèle multimodal prend une décision, il est souvent impossible de savoir sur quelle modalité (le texte, l'image, les deux) il s'est basé. Pour des usages sensibles, ça peut poser problème.

Se préparer au multimodal

Pour une entreprise, l'arrivée des modèles multimodaux signifie qu'il faut penser ses données de façon plus intégrée. Ne plus avoir une silo texte et une silo image, mais réfléchir aux liens entre eux. Commencer à structurer ses données pour qu'elles puissent être exploitées par ces futurs modèles.

Il faut aussi former ses équipes à ces nouvelles capacités. Les cas d'usage ne sont pas toujours évidents au premier abord. Une session de créativité avec les métiers peut aider à imaginer ce que le multimodal pourrait apporter de concret, et prioriser les premières expérimentations.