Silo AI termine la formation Poro Model pour renforcer la souveraineté numérique européenne : voici comment

Silo AI, basé à Helsinki, le plus grand laboratoire privé d'IA d'Europe, a annoncé mercredi avoir achevé la formation du modèle Poro, en collaboration avec l'Université de Turku et HPLT.

Selon l’entreprise, cela représente une avancée significative pour SiloGen, leur division d’IA générative. Cela fait partie de leurs efforts visant à renforcer la souveraineté numérique européenne et à démocratiser l'accès aux grands modèles linguistiques (LLM) pour toutes les langues européennes.

L'année dernière, Silo AI a acquis Machine2Learn d'Amsterdam, expert en Machine Learning, pour étendre sa présence au Benelux et dans toute l'Europe occidentale.

De plus, l’acquisition soutient également son objectif d’assurer la souveraineté numérique européenne et de constituer une équipe leader en matière d’IA générative et de LLM dans la région.

Renforcer la souveraineté numérique européenne

Silo AI travaille à la création d’une série de modèles linguistiques (LLM) multilingues open source pour renforcer la souveraineté numérique européenne et démocratiser l’accès aux LLM.

Il est essentiel de développer des modèles de base conformes aux valeurs européennes et basés sur des données et des informations qui représentent avec précision les diverses langues, citoyens, organisations et paysages culturels de l'Union européenne.

Cette approche est non seulement conforme aux valeurs européennes, mais permet également une certaine indépendance dans la manière dont les applications en aval et la création de valeur se produisent.

Surclasse Llama, FinGPT et autres

Silo AI affirme que Poro surpasse tous les modèles de langage ouvert existants en langue finnoise, notamment FinGPT, Mistral, Llama et le modèle de paramètres BLUUMI à 176 milliards, entre autres.

Ce succès est attribué au jumelage de la langue finnoise à faibles ressources avec des langues à ressources élevées.

L'équipe a déterminé la fréquence optimale de réutilisation des données pour les langues à faibles ressources pendant la formation et a incorporé des textes appariés traduits entre l'anglais et le finnois.

Cette stratégie s'appuie sur un signal multilingue pour améliorer la compréhension du modèle des connexions entre les langues. Cette approche s’est avérée cruciale pour obtenir des performances supérieures dans les langues à faibles ressources, sans compromettre les performances en anglais.

La société finlandaise lance Poro en tant que modèle open source qui facilite un accès généralisé et une amélioration collaborative, en particulier pour les langues européennes sous-représentées.

Cela dit, voici les principales caractéristiques du Poro 34B :

  • Points de contrôle de recherche Poro: Des points de contrôle pour le modèle sont publiés tout au long du processus de formation, offrant aux chercheurs externes un accès sans précédent pour étudier le processus de formation du modèle.
  • Architecture du modèle: Poro 34B possède 34,2 milliards de paramètres et utilise une architecture BLOOM avec des intégrations ALiBi pour permettre l'extrapolation de fenêtres contextuelles. Bien que l'architecture du modèle initial soit restée simple, les futurs modèles en cours d'élaboration prendront en charge des fonctionnalités supplémentaires, telles que l'attention flash, les intégrations rotatives et l'attention aux requêtes groupées.
  • Capacités multilingues: Poro est conçu pour traiter l'anglais et le finnois et maîtrise une variété de langages de programmation. De plus, il peut effectuer des traductions de base entre l’anglais et le finnois.
  • Open source: Poro est disponible gratuitement sous la licence Apache 2.0, ce qui implique une applicabilité à la fois commerciale et de recherche.
  • Base de données: Le modèle est formé avec un ensemble de données de 1 000 milliards de jetons, avec l'anglais, le finnois et une variété de langages de programmation représentés.
  • Détails de la formation: Poro est formé à l'aide de 512 GPU AMD MI250X sur le supercalculateur LUMI en Finlande.

Silo AI : les plus grands laboratoires privés d’IA d’Europe

Silo AI prétend être l'un des plus grands laboratoires privés d'IA d'Europe, un partenaire d'IA fiable qui ajoute un avantage concurrentiel à la R&D de produits.

Nous construisons des solutions et des produits basés sur l'IA pour permettre les appareils intelligents, les véhicules autonomes, l'industrie 4.0 et les villes intelligentes », déclare l'entreprise.

Silo AI offre un accès à l'expertise en IA et à l'infrastructure Silo OS pour accélérer le développement et le déploiement de l'IA.

Créée en 2017, la société a pour mission de créer une société phare en Europe en matière d'IA, avec des bureaux actuellement en Finlande, en Suède, au Danemark et en Suisse.