El exito de OpenAI: Historia e innovación, año a año
¡Si no leíste mi blog sobre como Crear páginas web con ChatGPT desde 0 ve a leerlo luego de esta publicación!
OpenAI: Avances y logros de la empresa en los últimos 8 años (2015–2023)
AÑO 2015:
OpenAI es una compañía de investigación e implementación de inteligencia artificial fuerte (AGI), fundada por Elon Musk y Sam Altam en el año 2015. Tienen como objetivo promover el desarrollo de inteligencia artificial para la mejora y el beneficio de la humanidad actual y futura, aportando y colaborando libremente con investigadores e instituciones abiertas al público. Esta misma es una Organización sin fines de lucros.
AÑO 2016:
OpenAi lanza una versión publica beta de la plataforma “OpenAi Gym”, una plataforma de aprendizaje automático fuerte que proporciona un ambiente de entrenamiento para que investigadores y desarrolladores de IA puedan probar y comparar algoritmos de Machine Learning. Desde su lanzamiento,OpenAi Gym ha sido muy utilizado en la comunidad.
Microsoft y OpenAi colaboran entre sí; La colaboración incluyo el uso de Azure, la plataforma de computación de la nube de Microsoft. Además, Microsoft se convirtió en uno de los primeros patrocinadores de OpenAi con el objetivo de acelerar los avances de IA.
Mismo año lanzan “Open Ai universe”, también una plataforma de software, que, en este caso, proporciona un ambiente para investigadores y desarrolladores de Machine Learning que entrenan aplicaciones web, juegos y otras aplicaciones de escritorio.
“OpenAi five” realizan la primera confirmación del proyecto Dota 2 2016–2019. OpenAi Five es un programa de computadora que juega el videojuego de cinco contra cinco Dota 2.
AÑO 2017:
OpenAi en The international; Logran vencer con su IA a los mejores jugadores.
Este año se realiza la primera demostración de la IA jugando 1 A 1 contra un jugador profesional de Dota 2, que tuvo lugar en la conferencia organizada por OpenAi. Fue una competición trasmitida en vivo por Internet en la que esta IA entrenada en tan solo dos semanas le gana al Mejor jugador de Dota 2, Danil “Dendi” Ishutin.
AÑO 2018:
Se lanza la versión completa de “Gym Retro”, la plataforma para la investigación del aprendizaje por refuerzo en los juegos retro. Esta es una extensión de la biblioteca de machine learning creada en 2016.
El equipo de cinco redes neuronales, OpenIA Five, empieza a derrotar equipos humanos aficionados de Dota 2. OpenAi five juega 180 años de juego contra sí mismo por día. ¡Una bestia!
Las manos Humanoides más diestras del mundo. Este sistema OpenAI lo llama Dactyl, se trata de una mano robótica similar a la humana que manipula objetivos físicos. Esta IA está entrenada de igual manera que OpenAI five, utilizando aprendizaje por refuerzo (RL).
GPT:(PRIMER GPT)
⋆Se crea GPT (Generative Pre-trained Transformer) el primer modelo de lenguaje generativo pre-entrenado, que es capaz de generar texto de manera autónoma con un alto grado de coherencia y fluidez. El modelo se entrenó en un gran corpus de texto de internet, lo que le permitió aprender a comprender y generar texto en una variedad de idiomas y contextos. El objetivo principal de GPT fue mejorar la comprensión del lenguaje mediante el aprendizaje no supervisado, es decir, sin la necesidad de etiquetas específicas o ejemplos de entrenamiento. Y se discute el potencial de GPT en áreas como la generación de contenido, la traducción automática y la comprensión del lenguaje natural.
AÑO 2019:
Crean una nueva empresa llamada “OpenAi LP”, una empresa con fines de lucro que es utilizada para sostener la gran cantidad de servidores en la nube, sostener el personal talentoso que trabaja día a ida y poder atraer mucho más personal. OpenAi LP comercializa productos y servicios basados en IA.
MuseNet la red neuronal profunda que puede generar composiciones musicales en tan solo 4 minutos con 10 instrumentos diferentes, capaz de combinar estilos desde country hasta Mozart y los beatles. Esta tecnología digamos que funciona como GPT-2. Han hecho un concierto en directo, en la plataforma Twich de 1:50:00hs de duracion. Puedes escucharla aquí.
GPT-2 en etapas:(SEGUNDO GPT-2)
⋆Etapa N1 “Mejores modelos de lenguaje y sus implicaciones”; OpenAI describe cómo han mejorado el modelo a través de diferentes técnicas, como el aumento del tamaño del corpus de entrenamiento y la optimización de la arquitectura del modelo. También discuten las mejores prácticas para el fine-tuning de GPT-2 para tareas específicas y cómo han trabajado para reducir el riesgo de uso indebido del modelo.
⋆Etapa N2 “Ajuste fino de GPT-2 a partir de preferencias humanas”; Explican cómo el fine-tuning de GPT-2 puede ser utilizado para mejorar el rendimiento en tareas específicas como la clasificación de texto y la generación de contenido. Como puede ser realizado utilizando un pequeño conjunto de datos etiquetado y proporcionan ejemplos de cómo se han utilizado GPT-2 en proyectos reales.
⋆Etapa N3 “GT2–2 version 1.5B”; Anunciaron el lanzamiento de una nueva versión de GPT-2 , cómo han mejorado el modelo a través del aumento del tamaño del corpus de entrenamiento y la optimización de la arquitectura del modelo. 1.5 billones de parámetros, que es significativamente mucho más grande que las versiones anteriores. En este se discuten las implicaciones éticas y sociales de lanzar un modelo tan avanzado y los riesgos de uso indebido. (Creo que lo que mas les ha costado…)
AÑO 2020:
Jukebox un modelo de generación de música que se centra específicamente en la generación de canciones populares en diferentes estilos y géneros. Se entrenó en un gran corpus de canciones populares y es capaz de generar letras, melodías y armonías para crear canciones completas. Jukebox también es capaz de imitar la voz de un cantante específico y puede generar versiones de canciones existentes con un estilo diferente, a diferencia de MuseNet que no puede hacerlo.
Image-GPT, este modelo combina las características de los modelos de lenguaje GPT con las de los modelos de visión. El modelo se entrena en un gran corpus de texto junto con imágenes, lo que le permite entender el significado de las palabras en relación con las imágenes. El modelo es capaz de generar descripciones de imágenes, responder preguntas sobre imágenes y generar imágenes a partir de descripciones de texto.
GPT-3 y la Licencia otorgada a Microsoft; OpenAI lanzó su primer producto comercial en junio: una API para que los desarrolladores accedan a tecnologías avanzadas para crear nuevas aplicaciones y servicios. La API presenta un poderoso modelo de lenguaje de propósito general, GPT-3, y ha recibido decenas de miles de aplicaciones hasta la fecha. Como parte de una asociación de varios años anunciada el año pasado, OpenAI acordó otorgar la licencia GPT-3 a Microsoft para sus propios productos y servicios.
Director de tecnología de Microsoft: Kevin Scott…
“Microsoft se está asociando con OpenAI para obtener licencias exclusivas de GPT-3, lo que nos permite aprovechar sus innovaciones técnicas para desarrollar y ofrecer soluciones de IA avanzadas para nuestros clientes, así como generar nuevas soluciones que aprovechan el asombroso poder de la generación avanzada de lenguaje natural”.
AÑO 2021:
DALL-E : Una versión de 12 mil millones de parámetros de GPT-3 entrenada para generar imágenes a partir de descripciones de texto. Tiene un conjunto diverso de capacidades, incluida la creación de versiones antropomórficas de animales y objetos. Puede combinar conceptos no relacionados de formas plausibles, renderizar texto y aplicar transformaciones a imágenes existentes
OpenAI Codex ; La inteligencia artificial que analiza el lenguaje natural y genera código. Puede interpretar comandos simples en lenguaje natural y ejecutarlos en nombre del usuario. Codex es el modelo que impulsa a GitHub Copilot (Impulsada por ambas empresas, OpenAi/Github)
WebGPT-3 es una herramienta de programación basada en texto que permite a los desarrolladores interactuar con GPT-3 mediante una interfaz web. Con WebGPT, los desarrolladores pueden generar texto, código y otro contenido utilizando comandos de lenguaje natural. Se integra con otras herramientas de OpenAI, como Codex, lo que permite a los desarrolladores usar WebGPT como un componente de sus aplicaciones y servicios de inteligencia artificial.
AÑO 2022
DALL-E 2 En este año hubo muchas actualizaciones de DALL-E; La primera es una versión actualizada del modelo original DALL-E, con una mayor capacidad, mayor velocidad y mayor fiabilidad, además de la capacidad de generar imágenes en 3D.
DALL-E 2 con infracciones, Imágenes descargadas o compartidas públicamente se marcaron como posibles infracciones a la política de contenido. Los revisores humanos confirmaron que alrededor del 30 % de esas imágenes marcadas infringían las políticas, lo que llevó a la desactivación de la cuenta. Es por esto que tuvieron que mejorar su sistema de seguridad. Quitaron y volvieron a ponderar algunas de estas imágenes para cambiar lo que aprende el modelo. Filtración de imágenes de contenido sexual o violento.
DALL-E Outpainting permite cambios dentro de una imagen generada o cargada. Ahora, los usuarios pueden ampliar la imagen original, creando imágenes a gran escala en cualquier relación de aspecto. Outpainting tiene en cuenta los elementos visuales existentes de la imagen, incluidas las sombras, los reflejos y las texturas.DALL-E’s.
La IA que juega Minecraft: OpenAI crea una red neuronal que aprendió con más de 70.000 horas de videos de Youtube, como jugar Minecraft. Aprendió a construir un pico de diamante (una de las cosas más complicadas para un jugar), donde su proceso consiste en buscar el material y luego el proceso de creación.
Este logro se generó gracias a la utilización del modelo VPT (Visual Programming Tool) una herramienta de generación de contenido visual basada en GPT-3. VPT permite a los desarrolladores generar gráficos, diagramas y otro tipo de contenido visual utilizando comandos de lenguaje natural.
InstructGPT: El antecesor de ChatGPT; Este modelo es mucho mejor para seguir instrucciones de los usuarios, mejor que GPT-3. Puede responder tareas definidas implícitamente a través de un aviso, sin una instrucción explicita, cuando recibe instrucciones o indicaciones sensibles es menos probable que produzca resultados sesgados o tóxicos como los hace GPT-3.
Para este modelo se utilizó una técnica llamada aprendizaje por refuerzo a partir de retroalimentación humana (RLHF). Entiende más como fue el entrenamiento de los Modelos InstructGPT.
ChatGPT: El chatbot conversacional
En este año (2022) llega una de las IA más avanzada; ChatGPT es un modelo hermano de InstructGPT y su entrenamiento fue usando los mismos métodos, pero con algunas diferencias en la configuración de recopilación de datos. Se utilizaron entrenadores Humanos de IA que proporcionaron conversaciones de ambos lados (Usuario Humano e Inteligencia Artificial).
ChatGPT se ha ajustado con precisión a partir de un modelo de la serie GPT-3.5. ChatGPT y GPT 3.5 fueron entrenadas con una infraestructura de supercomputación de Azure AI.
Algunas Limitaciones de ChatGPT:
-Escribe respuesta que parecen muy bien formuladas y correctas, pero la verdad es que no lo son y no tienen sentido.
-Suele ser excesivamente detallado y en su redacción abusa de ciertas frases.
-Si bien se pudo reducir las respuestas a instrucciones dañinas o con comportamientos sesgados, no se bloquearon completamente ciertos tipos de contenido.
Usa ChatGPT aqui ←
¿En que se diferencia de su antecesor InstructGPT?
OpenAi esta sumamente interesada en recibir comentarios; sobre salidas dañinas en ChatGPT, sobre riesgos novedosos, o posiblebles mitigaciones con la oportunidad de ganar hasta $500 en creditos API. Solo debes ser mayor de 18años.
AÑO 2023
OpenAI y Microsoft amplían suasociación: Microsoft sigue aportando grandes millones para seguir con la mision de garantizar que la inteligencia artificial beneficie a toda la Humanidad.
Nuevo clasificador de IA para indicar texto escrito por IA: Entrenan un clasificador para distinguir texto escrito por Inteligencia artificial y texto escrito por humanos. Un clasificador proximamente publico para asi obtener opiniones de los usuarios. Este clasificador solamente funciona bien con texto en Inglés.
El clasificador de texto AI es un modelo GPT ajustado que predice la probabilidad de que AI haya generado un texto a partir de una variedad de fuentes, como ChatGPT.
Usa el Clasificador aquí ←
ChatGPT Plus, el nuevo plan de suscripción, ChatGPT Plus. Disponible por $20usd al mes, cada suscriptor podrá beneficiarse del uso eficiente, rápido, de sus mejoras y nuevas funcionalidades.
Esta suscripción está disponible solamente para Estados Unidos, aun en espera, donde si quieres puedes estas en su lista de espera (1 de febrero).
Planificación para AGI y más allá: OpenAI ya piensa en los riesgos de la AGI. En este Articulo oficial, Sam Altman, CEO de OpenAI explica cómo la busqueda de una Inteligencia Artificial que beneficie a la humanidad puede terminar mal si no se tiene un cierto control y cuidado en su creacion.
Se habla mas por la IA AGI (Inteligencia Artificial General) un sistema de IA generalmente mas inteligente que los propios humanos.
“Si AGI se crea con exito, esta tecnologia podria ayudarnos a elevar a la humanidad al aumentar la abundancia, impulsar la economia global y ayudar en el descubrimiento de nuevos conocimientos cientificos que cambien los limites de la posibilidad”
“A medida que nuestros sistemas se acercan a AGI, somos cada vez más cautelosos con la creación y el despliegue de nuestros modelos.”
Esta información se mantiene actualizada en conjunto con OpenAI.
⋆ Lo que CusanoTech aprende, tú también lo aprendes ⋆
⮕ Medium / Instagram / Facebook / TikTok / Twitter / Github / Linkedin
© Cusanotech. 2023
