El aprendizaje reforzado por retroalimentación humana, RLHF, es caro

Entrenadores, personas que procesan la información, en bruto, recogida en internet, y que es utilizada para entrenar la inteligencia artificial. La IA aprende al encontrar patrones en enormes cantidades de datos, pero primero esos datos son clasificados y etiquetados por personas, una gran fuerza de trabajo, en su mayoría, escondida detrás de las máquinas. Tienen el sobre nombre de "taskers" (anotadores), realizadores de tareas de datos para grandes empresas.

Esta técnica se denomina "aprendizaje de refuerzo a partir de la retroalimentación humana" o RLHF. Millones de humanos actualmente anotan datos para entrenar modelos. Su humanidad, especialmente su conocimiento experto y su chispa creativa, se vuelve más valiosa cada día.

La retroalimentación humana hace que los resultados de la IA sean más útiles. Los seres humanos siguen siendo un factor limitador en el desarrollo. En la medida en que el desarrollo de la IA requiera la participación humana, los humanos limitarán la productividad. 

Incluso detrás del sistema de IA más impresionante hay personas: un gran número de personas que etiquetan los datos para entrenarlos y aclaran los datos cuando se confunden. Solo las empresas que pueden permitirse comprar estos datos pueden competir, y las que los obtienen están muy motivadas para mantenerlos en secreto. El resultado es que, con pocas excepciones, se sabe poco sobre la información que da forma al comportamiento de estos sistemas, y aún menos sobre las personas que dan forma.

Sin embargo, "datos creados por humanos", son extremadamente caros” Hay muchas empresas que subcontratan estos trabajos, en oficinas similares a los centros de llamadas, como: 

Las empresas que realizan este trabajo. Los proveedores de datos detrás de nombres familiares como OpenAI, Google y Microsoft vienen en diferentes formas. 

• Scale AI. el etiquetado masivo de datos
• La subsidiaria orientada a los trabajadores es una empresa llamada Remotasks. Un sitio web que ofrece trabajo a cualquier persona que hable inglés con fluidez. Un proveedor de datos multimillonario de Silicon Valley que cuenta con OpenAI y el ejército de EE. UU. entre sus clientes. 
• Scale iba a ser una ventanilla única para el suministro de mano de obra humana para realizar tareas que los algoritmos no podían realizar, esencialmente, la antítesis de la IA. Y con casi un cuarto de millón de etiquetadores humanos,

• CloudFactory, Acelera el ciclo de vida de la IA con soluciones humanas integradas.  El noble objetivo de CloudFactory conectar a un millón de personas en países en desarrollo con el trabajo informático básico, la empresa espera que reduzca la pobreza en las comunidades de sus empleados. Sedes en Kenia y Nepal, empresas privadas de subcontratación con oficinas similares a centros de llamadas, 
• Sama AI. proporciona datos de entrenamiento de alta calidad que potencian la tecnología de inteligencia artificial. Sama se especializa en la anotación y validación de datos de imágenes, videos, idiomas y sensores para algoritmos de aprendizaje automático y tiene experiencia en una variedad de industrias que incluyen transporte autónomo, tecnología médica, agricultura y comercio minorista.
• Trabaja para empresas líderes como Google, NVIDIA, GM y Walmart confían en la plataforma de la empresa para desarrollar modelos precisos de aprendizaje automático. 
• La misión de ampliar las oportunidades para las personas desfavorecidas a través de la economía digital, Sama es una B-Corp certificada y ha ayudado a más de 56.000 personas a salir de la pobreza. Su programa de capacitación y empleo fue validado recientemente por un ensayo controlado aleatorio dirigido por el MIT. Sama capacita a los trabajadores en habilidades informáticas básicas y paga un salario digno local por su trabajo.

• Clickworker, sitios de “trabajo colectivo”, donde cualquiera puede registrarse para realizar tareas. 
• Amazon Mechanical Turk. 
• Surge AI
• Taskup.ai
• DataAnnotation.tech 

Por lo analizado, la anotación es un gran negocio. Scale, fundada por Alexandr Wang, fue valorada en 7.3 mil millones de dólares, lo que lo convirtió en "el multimillonario hecho a sí mismo más joven".

Los "taskers" (anotadores) pueden cobrar desde menos de 2 € por hora, en Nairobi, a más de 50 € que cobra en EE.UU.

Las grandes corporaciones, OpenAI, Microsoft, Meta y Anthropic, no comentaron cuántas personas contribuyen con anotaciones a sus modelos, cuánto les pagan o en qué lugares del mundo se encuentran.  

En el siguiente enlace se describe con más detalle este trabajo mal pagado, difícil y repetitivo. IA.

• AI Is a Lot of Work. By Josh Dzieza, an investigations editor covering tech, business, and climate change. Since joining The Verge in 2014, he’s won a Loeb Award for feature writing, among others.
• Behind the AI boom, an army of overseas workers in ‘digital sweatshops’By Rebecca Tan and Regine Cabato. August 28, 2023 at 2:00 a.m. EDT