Le plan d'une IA italienne pour battre les scientifiques de la Silicon Valley qui dépensent 100 millions de dollars

À Rome, nous creusons à nouveau, mais cette fois dans les profondeurs des réseaux neuronaux. Translated , une entreprise italienne parmi les plus avancées au monde en matière de traduction automatique assistée par IA, mène un ambitieux projet européen visant à surmonter les limites des modèles linguistiques à grande échelle (LLM) actuels, qui sont à la base d'outils tels que ChatGpt , Gemini et Claude.

L'informaticien Marco Trombetti , qui a fondé Translated en 1999 avec la linguiste Isabelle Andrieu , a accueilli au siège de son entreprise 70 chercheurs européens qui travailleront sur DVPS , une nouvelle initiative du programme Horizon Europe qui alloue environ 1 milliard d'euros par an à l'IA, en mettant l'accent sur la recherche fondamentale, l'innovation industrielle et les applications pratiques.

Le cœur européen du projet DVPS

Translated coordonnera le projet, soutenu par un investissement de 29 millions d'euros. « Vingt organisations de premier plan » y participent – ​​des entreprises mais aussi des universités – de neuf pays européens. Le nom DVPS – acronyme latin de Diversibus Vilis Plurima Solvo , signifiant « par des chemins différents, je résous de multiples problèmes » – fait référence à la passion de la Silicon Valley pour le monde romain, mais l'âme de ce travail de recherche est entièrement européenne.

Le projet a débuté à Rome, dans le Campus Pi situé au sud de la capitale, un petit écosystème de villas où se rencontrent régulièrement startups et capital-risqueurs.

L’équipe DVPS a l’intention de construire un nouveau modèle d’IA capable « d’apprendre des interactions du monde réel en combinant des données linguistiques, visuelles et de capteurs ».

Au-delà des LLM : un nouveau paradigme

« Les grands modèles linguistiques ont révolutionné la donne, mais nous commençons à en percevoir les limites, tant au niveau de leur architecture que de leur capacité à apprendre à partir de contenus statiques, créés par des humains et disponibles uniquement dans le monde numérique. Pour évoluer, l'IA doit interagir avec le monde réel en temps réel. Avec DVPS, nous permettons aux machines de se développer en interagissant avec la réalité et en échangeant instantanément des connaissances », a déclaré Trombetti, l'un des entrepreneurs italiens les plus proches – par l'esprit, l'attitude et les relations personnelles – de la Silicon Valley .

Ces dernières années, certains des noms symboliques de l'IA mondiale sont passés par Pi Campus : de Lukasz Kaiser , l'un des auteurs de l'article Attention Is All You Need qui a contribué à la naissance de ChatGpt, à - il y a quelques jours à peine - Jonathan Cohen , responsable des logiciels d'IA chez Nvidia , l'entreprise qui, avec ses cartes graphiques, a rendu possible la révolution de l'intelligence artificielle générative.

Les fondements du DVPS

Translated a enregistré un chiffre d'affaires de 69,2 millions d'euros en 2024. En 2021, elle a clôturé une levée de fonds de 30 millions d'euros menée par la société d'investissement Ardian. Basée à Rome, l'entreprise compte 250 employés. Trombetti en est le PDG.

Grâce aux bénéfices de l’entreprise, les fondateurs de Translated ont lancé Pi Campus, qu’ils appellent « une société de capital-risque investissant dans l’IA appliquée ».

Le campus romain est un lieu de culture des talents : une école d’intelligence artificielle, Pi School, y a été créée, qui sélectionne chaque année les meilleurs profils pour les inviter à résoudre des problèmes réels « proposés par des entreprises leaders ou des startups en croissance ».

Le projet DVPS, décrit comme « l'un des investissements européens les plus importants dans la recherche en IA », repose donc sur des bases solides. L'objectif est de créer des systèmes d'IA avancés qui appréhendent le contexte mieux que les LLM.

L’idée est de développer un modèle général qui puisse ensuite être « verticalisé » dans au moins trois secteurs : la médecine, l’environnement et les traductions linguistiques .

Dans le domaine linguistique, où Translated occupe une position forte, DVPS intégrera une entrée visuelle, un son spatial et des informations contextuelles pour identifier correctement le locuteur et fournir des traductions plus précises.

Comment gagner au championnat d'IA

Le projet débutera par une première phase expérimentale, soutenue par un financement européen de 29 millions d'euros, dont 4 millions seront alloués à la capacité de calcul .

Si le modèle développé lors de cette phase donne des résultats prometteurs, l'objectif sera de lever 100 millions d'euros l'année suivante pour construire des modèles à échelle intermédiaire. Si le projet se confirme alors parmi les meilleurs de cette nouvelle catégorie, il sera possible d'envisager un investissement d'un milliard d'euros et de participer à la compétition mondiale de l'intelligence artificielle.

Mais comment gagner des championnats d'IA ?

« On commence par faire des recherches, puis on construit un petit modèle, avec 5 à 7 milliards de paramètres », explique Trombetti. « Ces modèles coûtent environ un million. Ceux qui se distinguent dans cette catégorie le font en y consacrant peu de temps et de ressources. Parmi les petits modèles, lequel est le meilleur ? Même inférieur à un modèle de 100 milliards, il remporte sa catégorie. C’est comme gagner les championnats « provinciaux » : on passe ensuite aux championnats « régionaux », on collecte 100 millions et on développe un modèle beaucoup plus grand. Si on gagne également dans cette catégorie, on peut investir des milliards et viser les « Jeux olympiques ». Nous sommes motivés pour y arriver, mais nous savons qu’il faut franchir toutes les étapes. Et nous ne sommes certainement pas ceux qui demandent un milliard sans avoir d’abord remporté les championnats mineurs. »

La force de l'Europe ? Voir les problèmes

Quelles sont les chances de succès de DVPS ? « 20 % », répond Trombetti. Pourquoi si peu ? « Nous n'utiliserons pas l'architecture LLM actuelle », explique le PDG de Translated. « Nous ne suivrons pas l'approche DeepSeek , qui a simplement amélioré un système existant. Notre pari est différent : nous nous concentrons sur la recherche fondamentale, nous voulons inventer de nouvelles façons de résoudre ces problèmes et construire un modèle avec une architecture entièrement nouvelle. Les chances de succès sont plus faibles, mais si nous réussissons, nous ne ferons pas un bond de 101 %, mais un bond de 200 %. »

La mission de DVPS est complexe, si l'on considère que même de l'autre côté de l'océan, dans la Silicon Valley, les plus brillants cerveaux du monde s'efforcent de surmonter les limites actuelles des LLM, notamment le manque de données pour l'entraînement des modèles. Mais les géants de la tech disposent de milliards à investir et d'une puissance de calcul immense. Leurs taux de réussite, contrairement à Translated et à ses homologues européens, sont bien plus élevés. Alors, comment rivaliser avec autant de géants, tous focalisés sur le même objectif ?

« Nous connaissons ces gens, nous leur parlons », explique Trombetti. « J'ai discuté avec Cohen, Lukasz et Ilya Sutskever, cofondateur d'OpenAI . Ils ont une compréhension technique et théorique incroyable. Mais il y a une chose qui leur manque : ils sont incapables de comprendre les vrais problèmes. Nous travaillons depuis des années avec des traducteurs et des linguistes, des personnes confrontées quotidiennement au problème du langage. Et le langage est probablement la chose la plus complexe et la plus humaine qu'une machine puisse tenter de comprendre. Lorsqu'un traducteur travaille avec un système d'IA, il n'accepte pas les approximations. Si la machine « hallucine » ou commet une erreur, elle le remarque immédiatement. Et cela nous oblige à comprendre pourquoi elle a commis une erreur. Cela nous expose à un niveau de précision et de vérité sur le problème que beaucoup de chercheurs ne voient pas. Lucasz, à chaque fois que je lui parle, est surpris. Parce que nous voyons des problèmes qu'ils ne voient pas. Et cela nous donne un avantage : ils ont gagné jusqu'à présent par la force brute, mais nous comprenons où la machine échoue réellement. »

Mais selon Trombetti, il y a une autre raison pour laquelle cela vaut la peine d'essayer .

« L'écart entre les modèles open source et les modèles fermés [comme ChatGpt et Gemini, ndlr] se réduit », explique-t-il. « Et alors que les financements commencent à s'épuiser, l'ingéniosité redevient un atout concurrentiel décisif. Pendant trois ans, c'est celui qui avait la plus grande puissance de calcul qui a gagné. Puis DeepSeek est arrivé : avec dix fois moins de ressources et un peu d'ingéniosité, il a fait un pas en avant. Et cela nous ouvre une porte. Si vous avez un scientifique qui vaut cent millions , mais qui n'a pas compris le problème, vous êtes en difficulté. Si vous avez un scientifique qui vaut un million, mais qui connaît vraiment le problème, il peut gagner. C'est notre véritable avantage. Et puis, il y a autre chose : nous pouvons nous permettre un taux de réussite de 20 %. Ils ne le peuvent pas. Ils doivent gagner à chaque fois. Nous, en revanche, pouvons prendre le risque. Et c'est là que quelque chose de nouveau peut naître. »

Sortez la machine de l'ordinateur

L’objectif de Translated et de toutes les entités participant au DVPS est de « sortir la machine de l’ordinateur et de commencer à la faire interagir avec le monde physique ».

« Pour ce faire », explique Trombetti, « il faut qu'elle soit capable de traiter tous les capteurs. Prenons l'exemple d'une voiture autonome : elle est équipée de caméras, de radars, de lidars, de télémètres. Aujourd'hui, toutes ces données doivent être prétraitées manuellement. Il faut expliquer à la machine la signification de chaque entrée, en simplifiant considérablement. Mais si nous voulons lui donner mille capteurs et lui faire gérer des informations complexes – comme en médecine, où les données sont hétérogènes –, nous ne pouvons plus tout coder à la main. La machine doit être capable de lire l'information directement, octet par octet, et de lui attribuer une signification de manière autonome. Cela nécessite du parallélisme, un apprentissage au niveau de l'octet, mais surtout un changement de paradigme : jusqu'à présent, nous avons entraîné les machines uniquement avec des données historiques. Mais les humains apprennent avant tout en interagissant avec le monde, en faisant des expériences : l'apprentissage par la pratique. C'est pourquoi nous devons « ouvrir la porte » : laisser la machine sortir, lui faire vivre des expériences et développer une architecture qui lui permette de s'auto-entraîner tout en agissant. C'est la prochaine étape. »

L'AGI a besoin d'un changement

Une étape fondamentale, entre autres, pour arriver à une intelligence artificielle supérieure, que beaucoup qualifient de « générale » (AGI), et qui pourrait un jour surpasser les capacités cognitives humaines dans de nombreux domaines.

« Aujourd'hui, je suis convaincu qu'avec l'architecture actuelle, nous ne pourrons pas accéder à l'AGI. Il y a trop à apprendre du monde physique et de l'avenir pour véritablement généraliser. L'approche actuelle est insuffisante. »

Le nouveau modèle sera « ouvert », mais pas trop

Selon Trombetti, les travaux du DVPS seront totalement ouverts aux articles de recherche . Le premier modèle créé sera à « poids ouvert » : ses poids (c'est-à-dire les paramètres appris lors de l'entraînement) seront accessibles au public.

Et pourquoi ne serait-ce pas une IA open source ?

« Nous devons être prudents quant à la quantité d'informations à partager : nous n'avons pas encore décidé, déclare Trombetti. Le plus grand risque est qu'une fois de plus, en Europe, beaucoup de recherches soient menées et beaucoup d'argent investi, tandis que ce sont ensuite les chercheurs américains qui exploitent les résultats, les publient en premier et proposent des projets alternatifs, en récoltant ainsi les fruits. C'est pourquoi nous devons soigneusement évaluer où fixer les limites. C'est un choix stratégique : si le projet se déroule très bien, nous pouvons nous permettre de nous enfermer davantage ; si, au contraire, les progrès sont plus lents, il vaut mieux être plus ouverts, plus collaboratifs et rechercher de nouvelles opportunités. »