Dans la communauté open source, LLaMA a eu l’effet d’un bond technologique, ce qui a donné accès aux développeurs indépendants à un grand modèle de langage de niveau GPT. Aujourd’hui, l’Institut d’Innovation et de Technologie (IIT) d’Abu Dhabi dévoile Falcon, un LLM open source plus performant que LLaMA.
En quoi consiste Falcon ?
Falcon est présenté comme le modèle linguistique le plus puissant à ce jour, avec trois variantes possibles : Falcon 1B, 7B et 40B. Plus petit que LLaMA avec 40 milliards de paramètres contre 65, il reste néanmoins plus performant que ce dernier. Selon les critères d’évaluation de Hugging Face (IA2 Reasoning Challenge, HellaSwag, MMLU et TruthfulQA), Falcon 40B Instruct, une variante de Falcon, et Falcon 40B sont plus puissants que LLaMA en matière de performances.
Ce modèle est multilingue, il comprend l’anglais, l’allemand, l’espagnol et le français et a aussi des notions de néerlandais, d’italien, de roumain, de portugais, de tchèque, de polonais et de suédois.
Pour arriver à ce résultat, l’IIT a utilisé un dataset de 1 000 milliards de tokens ainsi qu’un pipeline capable d’extraire un contenu vérifié pour s’assurer de la qualité des réponses de Falcon. Ce dataset “refined-web” est d’ailleurs lui aussi open source, on peut alors entraîner les modèles d’IA et obtenir des programmes aussi puissants, voire supérieurs à ce qui se fait actuellement.
Quelle sera son utilité ?
Contrairement à son prédécesseur, les développeurs pourront utiliser Falcon dans des intérêts commerciaux. Malgré le fait que LLaMA soit open source, ces weights restent néanmoins privés pour Meta, ce qui limite sa commercialisation. C’est pourquoi les modèles de Falcon, qui utilisent une version modifiée d’Apache 2.0, pourront être modifiés selon les besoins de son utilisateur.
Les développeurs qui ont ainsi suivi une formation pour concevoir de nouvelles intelligences artificielles pourront alors se servir de Falcon pour créer une génération d’IA encore plus performantes. Malgré un investissement massif des grandes entreprises dans l’intelligence artificielle, certains témoignages ont montré que la communauté open source les avait dépassés depuis longtemps. C’est pourquoi si cet article vous a plu et si vous envisagez une carrière dans la Data Science, n’hésitez pas à découvrir nos articles ou nos offres de formations sur DataScientest.
Source : huggingface.co
