présentation
Les modèles de langage, tels que les LLMs, sont capables de traiter et de générer un grand volume de texte. Cependant, leur fonctionnement est basé sur la prédiction de la suite la plus probable d’un texte, ce qui les amène à retourner la réponse la plus typique, et non nécessairement la plus juste.
fonctionnement
Ces modèles sont entraînés sur des données passées et répondent donc dans le passé tense de la pensée. Lorsqu’on leur pose une question, ils retournent la réponse la plus probable, qui est souvent la moyenne de toutes les réponses possibles. Cela signifie que les réponses les plus innovantes ou les plus nouvelles sont considérées comme des erreurs par le modèle.
implications
Le problème est que les découvertes et les idées nouvelles sont souvent en dehors de la distribution des données d’entraînement. Les modèles de consensus, tels que les LLMs, sont conçus pour retourner la réponse la plus probable, ce qui signifie qu’ils peuvent rejeter les idées nouvelles comme des erreurs. Cela peut conduire à une perte de variance dans la culture et à une convergence vers la moyenne, plutôt que vers l’innovation.
limites
Les LLMs sont des outils puissants, mais ils ont des limites. Ils ne peuvent pas remplacer la pensée humaine et l’innovation. Le travail qui compte vraiment est celui qui consiste à se tenir à l’écart de la moyenne, à prendre des risques et à explorer de nouvelles idées. Les LLMs peuvent être utilisés comme des outils pour faciliter ce processus, mais ils ne peuvent pas le remplacer.
Les modèles de langage peuvent retourner la moyenne de toutes les réponses possibles, mais ce sont les déviations qui sont vraiment précieuses.
