La empresa tecnológica rusa Yandex ha dicho que ha puesto a disposición del público un gran modelo lingüístico entrenado con 100.000 millones de parámetros, con el fin de impulsar el crecimiento de esta tecnología de IA.

Los grandes modelos lingüísticos son sistemas de procesamiento del lenguaje natural (PLN) que se entrenan con un volumen masivo de texto. Según Yandex, se han convertido en la «cúspide» de las redes neuronales utilizadas en tareas de PLN.

La empresa rusa añadió que la formación de estos modelos requiere millones de dólares, expertos y años de desarrollo, por lo que sólo las grandes empresas tienen acceso a esta tecnología.

«Los investigadores y desarrolladores de todo el mundo necesitan acceder a estas soluciones», dijo Yandex en un blogpost . «Sin nuevas investigaciones, su crecimiento podría decaer. La única manera de evitarlo es compartiendo las mejores prácticas con la comunidad de desarrolladores.»

Meta también ha creado un gran modelo de lenguaje que es regalando a los investigadores .

Pero Yandex afirma que su modelo YaLM es actualmente la mayor red neuronal de tipo GPT del mundo que está disponible de forma gratuita para el inglés. El gigante tecnológico ruso publicó el modelo y los materiales de entrenamiento en GitHub bajo una licencia que permite tanto la investigación como el uso comercial.

En esta página de GitHub, Yandex afirma que ha tardado 65 días en entrenar el modelo YaLM en un clúster de 800 tarjetas gráficas A100 y 1,7TB de textos en línea, libros e «innumerables otras fuentes» en inglés y ruso.

Las razones de Yandex para compartir su gran modelo lingüístico son similares a las declaraciones de Meta el mes pasado, cuando anunció sus planes de compartir su modelo que cuenta con 175.000 millones de parámetros entrenados en conjuntos de datos disponibles públicamente.

«Meta AI cree que la colaboración entre organizaciones de investigación es fundamental para el desarrollo responsable de las tecnologías de IA», dijo entonces la empresa.

Yandex y Meta no son las únicas empresas que estudian los grandes modelos lingüísticos. El pasado mes de octubre, los gigantes tecnológicosMicrosoft and Nvidia teamed up para crear un modelo lingüístico con 105 capas y 530bn parámetros, tres veces más parámetros que El modelo GPT-3 de OpenAI .

Yandex es la mayor empresa tecnológica de Rusia, que ofrece herramientas y servicios en línea, como un motor de búsqueda, correo electrónico, agregador de noticias y aplicaciones de navegación, traducción y transporte compartido, entre otros.

The company, which has come under the microscope for its lazos con el Kremlin ha tenido unos meses turbulentos. Su director general dimitió a principios de mes después de que la UE lo incluyera en la lista de sanciones contra Rusia.

10 cosas que necesitas saber directamente en tu bandeja de entrada cada día de la semana. Inscríbase en el Resumen diario El resumen de Silicon Republic de las noticias esenciales de ciencia y tecnología.