Ya va siendo común que términos como Chatgpt, Copilot, y en estos últimos días, Qwen o Deepseek sean vox populi. Pero cómo logran estas aplicaciones facilitarnos a muchos, algunas tareas de la vida cotidiana, o confundirnos en otras. Lo que permite esos resultados son los Modelos de Lenguaje Extendido (o grande).
Un Modelo de Lenguaje Extendido (LLM) es un algoritmo de aprendizaje profundo que utiliza grandes cantidades de datos de entrenamiento para comprender y predecir textos. Ese modelo generativo basado en inteligencia artificial puede realizar una variedad de tareas de procesamiento de lenguaje natural más allá de la simple generación de texto, incluida la revisión y traducción de contenido.
La palabra extendido o grande se refiere a la cantidad de parámetros, o variables y pesos que utiliza el modelo para ofrecer un resultado. Aunque no hay una definición de cuántos parámetros se necesitan, los conjuntos de datos de entrenamiento de LLM varían en tamaño desde 110 millones de parámetros (modelo bertbase de Google) hasta 340 000 millones de parámetros (modelo PaLM 2 de Google).
Grande también se refiere a la gran cantidad de datos utilizados para entrenar un LLM, que puede tener un tamaño de varios petabytes y contener miles de millones de tokens (unidades básicas de texto o código, generalmente de unos pocos caracteres de longitud, que son procesadas por el modelo).
Los LLM tienen como objetivo producir el resultado más probable de palabras para un mensaje dado. Los modelos de lenguaje más pequeños, como la función de texto predictivo en aplicaciones de mensajería de texto, pueden completar el espacio en blanco en la oración. Por ejemplo, usted teclea «El enfermo llamó a una ambulancia para llevarlo al _____», y el modelo completa con la palabra hospital.
COMENTAR
Responder comentario