Prepararse para la fuerza laboral agéntica del mañana

Para competir eficazmente, las empresas deben analizar seriamente qué pueden hacer para respaldar una infraestructura de inteligencia artificial (IA). En este episodio del pódcast At the Edge, Rodrigo Liang, cofundador y CEO de SambaNova Systems, se une a la anfitriona y socia sénior de McKinsey, Lareina Yee, para hablar sobre la IA agéntica [se refiere a los sistemas de inteligencia artificial diseñados para funcionar de forma autónoma, tomando decisiones y emprendiendo acciones para alcanzar objetivos específicos con mínima intervención humana], la curva en S del valor de la IA y por qué las empresas deben adoptar un modelo híbrido de IA.

La siguiente transcripción ha sido editada por motivos de claridad y extensión.

Repensar la infraestructura de IA

Lareina Yee: SambaNova es una empresa de IA ambiciosa y absolutamente emocionante que está abordando un mercado enorme. ¿Puede contarnos sobre qué vio inicialmente en el mercado que le inspiró a fundar SambaNova?

Rodrigo Liang: Tengo dos cofundadores increíbles, los profesores de Stanford Kunle Olukotun y Christopher Ré, y los tres nos reunimos y comenzamos a reflexionar seriamente sobre esta transformación global que estamos viviendo. Si pensamos en este mundo centrado en la IA que estamos construyendo, en el que la IA es lo primero, en última instancia estamos presenciando una escala de transformación que solo hemos visto pocas veces en las últimas dos o tres décadas.

Así que SambaNova surgió de este proceso de reflexión para ver si la infraestructura informática que utilizábamos era realmente la más eficiente. Y la conclusión, basada en una investigación de Stanford, es que existen formas significativamente mejores de habilitar la IA. Fue entonces cuando decidimos embarcarnos en este camino hace siete años y medio.

Lareina Yee: Hace siete años, algunos de nosotros –yo incluida– estábamos muy interesados en los centros de datos. Hoy en día, se ha convertido en un tema candente, y todo el mundo está hablando de infraestructura.

McKinsey estima que se necesitarán aproximadamente $5 billones de dólares en inversiones durante los próximos cinco años para construir toda la infraestructura de centros de datos, incluyendo edificios, software, sistemas de enfriamiento y plantas de energía, para satisfacer el apetito voraz de la IA. ¿Cómo ve usted la dinámica entre el costo, la innovación y el momento en el que nos encontramos?

Rodrigo Liang: Hay tres cosas que considero increíblemente importantes al pensar en cómo estamos desarrollando esta infraestructura a gran escala.

En los últimos tres años, ya hemos visto una expansión increíble de unidades de procesamiento gráfico (graphics processing units, o GPU), infraestructura de IA y operaciones de punto flotante por segundo (floating-point operations per second o teraflops). La mayor parte de esta expansión ha estado enfocada en el preentrenamiento de modelos grandes, y ha sido dominada por los actores más grandes del mundo. Pero, mirando hacia adelante, vemos un mundo que quiere hacer inferencia, realizar cálculos en tiempo de prueba y muchas otras tareas que requieren usar los modelos que ya hemos entrenado.

Sin embargo, a medida que escalamos, vemos que comienzan a aparecer otras limitaciones, como la falta de energía suficiente para estos centros de datos. Por eso la gente está hablando de plantas de energía nuclear y otras fuentes de energía. Pero luego también hay que resolver cómo hacer la refrigeración.

Y cuando pensamos en la energía, también necesitamos averiguar cómo actualizar toda la red eléctrica para alimentar esos centros de datos que consumen gigavatios. Y, eventualmente, hay que conectar todo eso de nuevo a donde están los usuarios, que en su mayoría están en grandes áreas metropolitanas, lugares donde no vamos a instalar un centro de datos de gigavatios.

Así que hay muchos desafíos de infraestructura que tenemos que resolver, y en SambaNova estamos muy enfocados en simplificarlo todo. Estamos comprometidos con encontrar cómo ofrecer la capacidad necesaria a una fracción del costo y del consumo energético.

Todos tenemos que contribuir a la solución, porque la respuesta no puede ser simplemente: “Construyamos más plantas de energía y más centros de datos”. Es demasiado difícil. Se necesitarán estas tecnologías, pero la tecnología central también debe ser mucho más eficiente.

Abarcar los extremos de la pila tecnológica

Lareina Yee: Cuéntenos algo sobre esa fórmula mágica de eficiencia en la que está trabajando SambaNova. Si soy una persona promedio tratando de entender esto, ¿cómo puedo comprender el importante papel que ustedes desempeñan en este ecosistema?

Rodrigo Liang: Piense en SambaNova como los dos extremos de la pila tecnológica. Por un lado, fabricamos chips; por el otro, creamos servicios de interfaz de programación de aplicaciones (application programing interface, o API) que permiten acceder a los mejores modelos de código abierto sin tener que invertir en todo este trabajo de modelos personalizados.

Con SambaNova, puede ir a cloud.sambanova.ai y usar todos los mejores modelos de código abierto, con todos sus beneficios y precisión completa, a velocidades de récord mundial y a un costo muy eficiente. Porque en cuanto realmente despliegue la IA, el costo de adquirir infraestructura, energía, red y todo lo demás empieza a acumularse.

Y si vamos a pasar de este mundo centrado en el entrenamiento a lo que, en mi opinión, será una inversión diez veces mayor en inferencia, tenemos que ser más eficientes. Hay que reducir el costo. De lo contrario, no escalará.

Planear para un modelo híbrido

Lareina Yee: Adelantémonos y supongamos que las empresas descubren cómo escalar la IA. Entonces, si soy una líder empresarial, ¿cómo debo planificar?

Rodrigo Liang: Las empresas ganadoras serán aquellas que utilicen la IA para ofrecer mejores servicios en el mercado, interactuando con los clientes de forma más rápida y eficaz, y facilitando la personalización. También cambiarán sus operaciones para que la IA les proporcione un tiempo de comercialización mucho mejor y una experiencia del cliente significativamente superior.

Así que su solución de IA será un modelo híbrido. Al igual que hoy tiene soluciones en la nube y locales, también tendrá modelos de lenguaje grandes (large language models, o LLM) y LLM personalizados. También contará con modelos de texto, visión, lenguaje y voz.

Al dirigir una empresa, tiene sus propios métodos personalizados para satisfacer las distintas necesidades operativas. Sin embargo, para adoptar plenamente un modelo híbrido, los datos serán el ancla que determine dónde se ejecutan sus modelos de IA, ya sea en la nube A, la nube B o en sus propias instalaciones.

Así es como pensamos que debería desplegar su infraestructura. Deje que los datos dominen e impulsen la solución que necesita, porque de todos modos será híbrido.

La belleza de los modelos de lenguaje pequeños

Lareina Yee: He conversado con grandes empresas que están entusiasmadas con los enormes LLM, pero dicen que la salsa secreta está en la experiencia de usuario (user experience, o UX) con modelos pequeños que solo acceden a sus datos internos. Puede que no siempre necesiten tener todo internet al alcance, pero hay ocasiones en que sí lo necesitan. Otra cosa que preocupa a muchos es la IA agéntica, y ustedes tiene formas muy interesantes de hacerla realidad para las empresas. Cuéntenos más sobre eso.

Rodrigo Liang: Ya sea que el cliente quiera usar un modelo muy grande de un billón de parámetros en la nube, o que quiera llevarlo a sus instalaciones porque tiene sus propios datos privados, no está restringido a tener modelos pequeños en sus instalaciones.

De hecho, estamos muy orgullosos de poder ofrecer un modelo de 400 mil o 600 mil millones de parámetros en sus instalaciones, entrenado y optimizado con todos sus datos. Eso le da su propio LLM de clase grande, aislado del exterior, al que puede acceder de forma completamente privada y segura. Es valioso porque nunca se sabe qué va a pedir después.

Porque existe un desafío asociado a los modelos más pequeños. Si les hacemos preguntas para las que fueron entrenados –por ejemplo, sobre temas legales, financieros o de recursos humanos–, son muy precisos. Pero cuanto más pequeño es el modelo, más frágil se vuelve. En cuanto la indicación (prompt) se desvía un poco, se rompe. Dicho esto, creo que los modelos de lenguaje pequeños son fantásticos para la IA agéntica.

De hecho, creo que el flujo de trabajo agéntico llegará a producción en las empresas más rápido que los LLM, ya que, en entornos de producción, la mayoría de las empresas deben verificar y certificar los resultados. Cuando los modelos son más pequeños, es mucho más fácil decir: “La entrada A no generó la salida A que yo esperaba”. Así que es mucho más fácil de comprobar.

Lo que hago entonces es conectar docenas de estos pequeños agentes para crear un flujo de trabajo. Y algunos lo hacen muy bien. ¿Por qué? Por dos factores. En el mundo de la agéntica, el parámetro clave que la gente debe recordar es el tiempo hasta el primer token (time to first token, o TTFT). Esto significa que, cuando le doy una indicación a un modelo, ¿cuánto tarda ese agente en responderme?

Lo ideal es estar en una posición como con algunos de nuestros agentes Llama 8B, donde el TTFT es de 0.03 segundos. Y al conectar 20 de esos agentes en secuencia, el total es de 0.6 segundos, lo que se siente como si fuera en tiempo real. Esa es la belleza de usar estos agentes en entornos muy especializados: nos permiten crear un flujo de trabajo muy sofisticado que se percibe como una experiencia en tiempo real para el usuario final.

Mantener la seguridad del flujo de trabajo

Lareina Yee: Esos son dos factores enormes. Uno es la velocidad y el otro es el costo. También hay una tercera dimensión sobre la que me encantaría que profundizara un poco. Si soy una líder empresarial, me importa la seguridad, que es lo que me permitirá mantenerme a la vanguardia en un mundo con expectativas regulatorias y de los consumidores en constante evolución.

Rodrigo Liang: Así es. Pensemos en un banco, cuando estamos construyendo estos agentes, cada uno debe tener acceso seguro. Aunque se comparta dentro de un flujo de trabajo agéntico, debe conciliarse con el usuario que escribe el prompt. A veces, eso es fácil de hacer en un flujo de trabajo genérico, ya que simplemente se pasa información pública.

Pero en cuanto entramos en información específica de clientes o información regulada, ese flujo de trabajo debe reconocer que el usuario con el que estamos interactuando dentro de un flujo de trabajo agéntico puede o no tener acceso a esa información.

Hay que tener una forma para que los usuarios digan: “Estoy sirviendo este flujo de trabajo agéntico, pero esta persona en particular no tiene acceso al agente. Entonces, debo proporcionar una respuesta diferente sin revelar información a la que no tiene acceso”.

La curva en S del valor de la IA

Lareina Yee: ¿Hay otros factores que considere realmente importantes a medida que las empresas piensan en cambiar flujos de trabajo completos –no solo tareas– hacia un mundo con IA agéntica?

Rodrigo Liang: Estamos pensando en cosas estáticas como un primer paso que nos permite implementar estas cosas. ¿Por qué? Porque es más fácil. Pero también porque, cuando se hacen estas cosas como pequeñas porciones de IA, no se genera suficiente valor para que la empresa implemente la IA solo en esa pequeña porción.

Si observo la mayoría de las empresas, veo una curva en forma de S en lo que respecta al valor de la IA. Nos encontramos en la fase previa al escalamiento del valor, haciendo cosas sencillas y de bajo riesgo. Por eso, como industria, la gente se pregunta: “¿Dónde está el retorno de la inversión (return on investment, o ROI) de la IA? No está en los chatbots, porque no ahorramos suficiente dinero”.

Bueno, eso puede ser cierto. Pero, de nuevo, volvamos al ejemplo bancario. Cada vez que se produce un caso de lavado de dinero en un banco, hay que redactar un informe de 400 páginas una vez finalizada la investigación. ¿Cuántas personas participan en la elaboración de ese documento, en garantizar que es correcto y en enviarlo a la agencia reguladora? Piénselo.

A la gente no le gusta asegurarse de que todo esté documentado correctamente. Pero ¿y si ese informe se pudiera generar correctamente con un bot en cinco segundos? Entonces empezaríamos a generar un valor real, porque todas esas tareas que tenemos que realizar como parte del negocio se pueden realizar de forma mucho más barata y precisa.

Creo que, como industria, solo tenemos que cruzar esta curva en S, en la que contamos con la infraestructura suficiente que nos convence de que los modelos se comportan correctamente y que los datos y los resultados se gestionan de forma segura. Entonces superaremos nuestra gestión del cambio en términos de cómo integramos realmente la tecnología en los flujos de trabajo, los requisitos normativos y la verificación.

Cambio básico frente a cambio transformacional

Lareina Yee: Detengámonos en este concepto de automatización de tareas frente a una transformación real del flujo de trabajo. Si lo expresamos de forma muy sencilla, hay un cambio básico y luego hay un cambio transformacional. Creo que mucha gente dedica tiempo al cambio básico, siente frustración, ve cómo se disparan los costos y no ve el valor empresarial. ¿Qué ejemplos hay de cosas que son básicas frente a transformacionales?

Rodrigo Liang: Hoy en día casi todas las empresas cuentan con una cantidad significativa de ingeniería de software. Es decir, no hay razón para no aprovecharla.

La IA puede escanear 100,000 códigos de referencia (stock-keeping units, o SKU) de todos sus productos y ya ha aprendido todas y cada una de las especificaciones, incluso las más técnicas. Hace un trabajo mucho mejor que cualquier ingeniero que intentara revisar 100,000 especificaciones de productos diferentes y averiguar para qué sirve cada una.

Lareina Yee: Me encanta su punto. ¿Por qué vivir en el mundo analógico para algunas de estas ideas? En particular, el marketing, así como las ventas, el software y el desarrollo de productos. Entonces, por el contrario, ¿qué le entusiasma de ese siguiente paso más allá de la curva en S. ¿Qué le emociona ver hacer a las empresas?

Rodrigo Liang: Yo diría que la capacidad de tomar cosas muy complejas en el mundo analógico, como todo el proceso de descubrimiento de fármacos y los siete años que suele llevar el análisis de los datos iniciales, y encontrar formas más eficientes de hacerlo.

Esto es algo que SambaNova hizo durante la pandemia de la COVID-19. Trabajamos con el gobierno de Estados Unidos para crear un científico de IA sustituto con el fin de aumentar significativamente el rendimiento en el descubrimiento del próximo fármaco. Porque en el mundo virtual se puede experimentar mucho más rápido.

Y luego está el proceso de mapeo de los depósitos de gas subterráneos en el sector energético. Hoy en día utilizamos señales sísmicas, combinadas con datos históricos y corazonadas. Pero localizar estos depósitos subterráneos sigue siendo increíblemente difícil. Si dejamos que la IA revolucione el proceso, puede localizar depósitos de carbono e indicar dónde perforar con mucha mayor precisión. De este modo, se reduce considerablemente el costo y el impacto medioambiental.

Inferencia de IA frente a entrenamiento de IA

Lareina Yee: Una de las cosas que mencionó al principio de la entrevista fue la inferencia de IA y su importancia. Cuéntenos ahora sobre la inferencia de IA y en qué se diferencia del entrenamiento de modelos tradicional.

Rodrigo Liang: Hay dos elementos básicos de la inteligencia artificial: los modelos de entrenamiento y los modelos de inferencia. La analogía que me gusta utilizar es que el entrenamiento es como crear un algoritmo de búsqueda. Y la inferencia es como la búsqueda en Google que todos hacemos a diario.

Cada vez verá menos gente entrenando estos modelos porque ya son bastante buenos. Y a medida que los modelos de código abierto sigan mejorando, ya no será necesario invertir $100, $200 o $300 millones de dólares para entrenar sus propios modelos. De hecho, puede usar los modelos de código abierto que ya existen y simplemente personalizarlos.

Lareina Yee: Es bastante notable porque hace dos años, algunos de nuestros científicos de datos de IA dedicaban mucho tiempo al entrenamiento. Y ahora es posible dedicar más tiempo a la parte de la inferencia. Así que, cuando mira uno o dos años hacia adelante, ¿qué cree que se normalizará?

Rodrigo Liang: Los agentes. Creo que cada uno de nosotros tendrá un conjunto personalizado de agentes. Todas las tareas empresariales que realicemos tendrán flujos de trabajo agénticos o agentes personalizados, listos para que los utilicemos cuando los necesitemos.

Para mí, es como si fueran plantillas. No entramos en PowerPoint y empezamos a diseñar el fondo de la diapositiva por nuestra cuenta. Básicamente, todos podremos utilizar esos agentes, crear los flujos de trabajo necesarios y personalizar nuestra propia experiencia.

Así es como va a ser. Dentro de dos años, cada uno de nosotros tendrá un conjunto de nuestros agentes favoritos que utilizaremos a diario, integrados en todo lo que hagamos. Porque hacer todo nosotros mismos y no utilizar la máquina es una locura.

Por lo tanto, creo que ese será el mundo en el que viviremos, y todos dependerán mucho de esas capacidades.

IA y robótica

Lareina Yee: De cara al futuro, ¿qué hay de los robots?

Rodrigo Liang: Creo que los robots que nos imaginamos caminan como los humanos. Pero el primer grupo de robots se usará en toda la producción industrial. Ya se ven robots reponiendo productos en las tiendas. Y hay robots ensamblando placas de ordenadores personales y automóviles en las fábricas. Estos se van a generalizar.

Creo que veremos cómo la tecnología alcanza un punto en el que ya permite implementar estas cosas para casos de uso empresarial. Y, de nuevo, al igual que con los agentes en lo que respecta al software, estos robots tan especializados se desplegarán más rápido. Esto se debe simplemente a que se puede demostrar que, dada una entrada A, se puede producir una salida B de forma muy consistente y mucho más eficiente. Y estas cosas serán las primeras en entrar en producción.

En cuanto a los robots que todos imaginamos y pensamos: “Oye, quiero probar esta cosa con aspecto humanoide para que haga todas las tareas domésticas”, esos también están en camino. Creo que solo tomará un poco más de tiempo. Pero los casos de uso en la vida real están empezando a aumentar.

Los mejores próximos pasos para las empresas

Lareina Yee: ¿Qué medidas a corto plazo cree que deberían adoptar las empresas ahora, dada la normalización o la generalización de la IA, los agentes de IA y la robótica en el lugar de trabajo?

Rodrigo Liang: Haga un inventario del negocio, incluyendo el back office, el escaparate y los aspectos operativos. Puede hacerlo por zonas geográficas o por funciones, pero las empresas deberían determinarlo rápidamente y adoptar un modelo híbrido. Porque si es una empresa Fortune 50, existen normas sobre los datos de los clientes que residen en determinados países.

Así que adopte la tecnología híbrida y, en función de la segmentación del negocio en términos de operaciones, geografía y líneas de producto, comience por los puntos de partida iniciales. Al principio, no todo va a estar en sus instalaciones. De hecho, probablemente debería pensar en ambas opciones.

Porque es probable que cada ubicación, cada negocio y cada función tenga ambos casos de uso, en la nube y en las instalaciones. Va a querer algo en la nube porque es más eficiente, pero también necesitará algunas cosas que pueda hacer de forma segura y privada en sus instalaciones.

Si comienza por ahí, la corporación puede empezar a aprender, porque hay que aprender, y la mayoría de las empresas no saben lo que no saben. Por lo tanto, hay que empezar a desplegar algunas cosas en determinados lugares que permitan crear ese aprendizaje institucional.

Porque detrás de la tecnología, lo más importante es la gestión del cambio, que es imprescindible para la producción. Cuanto más rápido supere esa curva, podrá aprovechar la tecnología con mayor eficacia.

Su capacidad para usar la tecnología lo diferenciará en el mercado. Y todos y cada uno de sus competidores también están intentando hacer lo mismo. El que llegue primero utilizando la tecnología de la forma más eficaz obtendrá una ventaja competitiva.

Acceso a la IA para todos

Lareina Yee: Hemos hablado mucho sobre la IA, pero me gustaría hablar un poco sobre usted. Es de Brasil y ha tenido una carrera increíble. Cuéntenos un poco sobre su lista de deseos si pudiera llevar la IA a Brasil.

Rodrigo Liang: La IA será omnipresente y no debería estar disponible solo para aquellos que puedan permitírselo. Creo que todos deberían tener acceso a esta tecnología, independientemente del lugar del mundo donde viva. Además, en cada mercado al que entramos, SambaNova invierte mucho en lingüística, porque la mayoría de los países no quieren que el inglés sea al idioma principal; quieren que todo se traduzca a su propio idioma.

Por eso, cuando SambaNova entra en un mercado, llegamos preparados para el idioma nativo o trabajamos con personas locales para que nos ayuden a operar en su idioma. Porque, ya sea para la atención al cliente, la interpretación de documentos o la traducción de audio y vídeo, es fundamental que sea nativo.

Lareina Yee: Última pregunta. Cuéntenos acerca del origen del nombre SambaNova.

Rodrigo Liang: Mi cofundador, Kunle, es de origen nigeriano, y teníamos una empresa que se llamaba Afara, que en su idioma significa “puente”. Así que, esta vez, hablamos de algo brasileño debido a mis orígenes.

Y si realmente queremos una palabra que nos haga pensar inmediatamente en Brasil, solo hay dos opciones: “samba” o “rio”. Una cosa llevó a la otra y así surgió SambaNova. Es un nuevo baile.

Dado que las tecnologías de SambaNova se basan en el flujo de datos, se trata de permitir que estos modelos funcionen por sí mismos sin tener que analizarlos, cortarlos o hacer todas las cosas heredadas que hacemos con los flujos de trabajo.

Así que el nombre se quedó porque es la esencia de lo que hacemos. Dejar que la tecnología fluya y ver cómo funciona.