GPT Generative Pre-training Transformer

GPT Generative Pre-training Transformer

Resumen del sistema ChatGPT de OpenAI, centrado en sus dos versiones principales, GPT-3.5 y GPT-4.

ChatGPT utiliza como hardware la tecnología de Azure AI la infraestructura de supercomputación de Microsoft en la nube.

Se entrena alimentándolo con grandes cantidades de datos extraídos de la Internet abierta. Completa el entrenamiento con humanos (etiquetadores) para perfeccionar el aprendizaje de la IA; lo que se conoce como la técnica de Aprendizaje por Refuerzo a partir de Retroalimentación Humana (RLHF).

      

El Objetivo de estos sistemas es responder preguntas efectuadas por los usuarios en lenguaje natural. Las herramientas ChatGPT permiten, después de las indicaciones de un usuario, predecir la palabra u oración más probable que aparecerá a continuación de dicha indicación. 

Capacidades y limitaciones.

    • Chat GPT-3.5 En noviembre de 2022, Inició la moda actual de la IA.

• Es eficaz para generar ensayos, traducciones, códigos y poemas a partir de indicaciones breves. 
• Tiene limitaciones para entregar datos al instante debido a que carece de conexión a Internet. 
• No es capaz de generar o valorar información de actualidad, solo recopila información hasta 2021, 
• Es de uso gratuito 

    • El modelo 4, GPT-4. Lanzado en la primavera de 2023 y es mucho más poderoso.

• Capta la ironía y es capaz de producir texto que es indistinguible del texto escrito por humanos.  
• Se conecta a internet, 
• Cuesta unos 18 euros mensuales, la versión más completa. 

    • Code Interpreter es una versión poderosa de ChatGPT que puede escribir código en programas Python. 

    • Bing, el buscador de Microsoft, integra una combinación de 4 y 3.5. 

     Bing es un poco extraño de usar, pero poderoso.
      Por ejemplo: 
        ◦ Puede crear y ver imágenes y leer documentos en el navegador web. 
        ◦ Está conectado a internet.
      

Para reflexionar: 

    • ChatGPT a veces escribe respuestas alucinadas, que suenan plausibles pero incorrectas o sin sentido.
    • ChatGPT no entiende, solo calcula la probabilidad de qué palabras seguirán, nada más.

Lo explica Introducing ChatGPT OpenAI 

Para aprender y comprender más Chat GPT:

• Dot CSV.  Santana  ChatGPT - el Hype, los Desafíos y el Futuro.
• "Hoy exploramos la nueva herramienta de inteligencia artificial desarrollada por OpenAI". 

• Cómo escala ChatGPT - PABLO MOLINA - Hackathon de IA en Español

• Charla de Pablo Molina (Cofounder & CTO @ Clibrain) que habla acerca de cómo ChatGPT webapp se sirve a más de 1.000 millones de usuarios mensuales y cómo hace para asumir este volumen. Exploramos lo que conocemos por lo que vemos en el navegador.

• Cómo crear ChatGPT desde 0 - MANUEL ROMERO - Hackathon de IA en Español
• Charla de Manuel Romero (Lead MLE/Research @ Clibrain) que habla acerca de "Cómo crear ChatGPT desde 0", dónde se tratan conceptos tales como cuáles son los ingredientes y procesos que OpenAI ha seguido para crear el mejor modelo de lenguaje del mundo a día de hoy.

• Generative AI exists because of the transformer. By Visual Storytelling Team and Madhumita Murgia in London SEPTEMBER 12 2023.  Documento muy pedagógico que explica cómo funciona realmente la IA generativa.  La tecnología ha dado lugar a una gran cantidad de aplicaciones de IA de vanguardia, pero su verdadero poder va más allá de la generación de texto.