Quando hai una conversazione con un chatbot, vuoi che ricordi le interazioni precedenti all’interno di quella conversazione. Questo è ciò che significa avere una conversazione, dopo tutto.
Quando si utilizza AI generativa (GENAI) per eseguire alcune attività di analisi oltre un’unica risposta a un immediate, si desidera che mantenga il contesto di istruzioni precedenti all’interno di story attività.
Quando un’azienda vuole che l’IA automatizzata un flusso di lavoro – una sequenza di passaggi nel tempo, con enter umani lungo la strada – si desidera che l’IA tenga traccia di dove ogni utente si trova lungo la propria istanza del flusso di lavoro.
Questi esempi sono tutte situazioni in cui ci aspettiamo che la nostra AI mantenga Informazioni sullo stato – Alcuni dati persistiti che tengono traccia di interazioni o attività automatizzate nel tempo.
Ora quell’intelligenza artificiale agente è qui, tuttavia, questi esempi di gestione dello stato non vanno abbastanza lontano.
Il pezzo mancante: vogliamo AI Imparare. Vogliamo che i nostri agenti diventino più intelligenti nel tempo.
Improvvisamente, tutti i nostri approcci tradizionali alla gestione dello stato delle interazioni in un ambiente informatico distribuito non sono all’altezza.
Dammi un biscotto
Ogni generazione di tecnologia ha dovuto affrontare la sfida informatica centrale di come gestire lo stato.
L’approccio predefinito, la scrittura di informazioni sullo stato per ogni utente e ogni interazione in un database sul server, ha funzionato abbastanza bene fino a un certo punto.
Tuttavia, tenere traccia delle informazioni di stato su un server da qualche parte non si ridimensiona. Alla positive, le applicazioni statali si impanellano.
Al contrario, le interazioni apolide offrono una scala enorme. Quando le parti sul back-end e sul lato server delle nostre applicazioni non devono tenere traccia degli utenti o delle loro richieste, quindi ridimensionarle è un semplice esercizio.
Sfortunatamente, così tante cose che potremmo voler fare ci richiedono di tenere traccia di qualcosa nel tempo, che richiede la gestione dello stato.
Abbiamo dovuto capirlo per il internet. Quindi, abbiamo dovuto capirlo per la nuvola, il che alla positive significava che dovevamo capirlo di nuovo per i microservizi.
Ora, gli agenti di AI sono qui. Indovina un po? Dobbiamo capire di nuovo la gestione dello stato.
Microservizi in soccorso?
La maggior parte delle implementazioni degli agenti AI funzionano come microservizi. Potresti quindi pensare che i microservizi affronterebbero il problema di gestione dello stato AI.
I microservizi sono intrinsecamente apolidi, consentendo loro di ridimensionare in modo massiccio e drammatico poiché qualsiasi microservizio può rispondere a qualsiasi richiesta così come qualsiasi altro microservizio identico.
Le ciolite consente quindi la natura intrinsecamente effimera ed elastica dei microservizi, proprietà che probabilmente rendono il nativo di cloud che calcola ciò che è oggi.
Gestire lo stato con i microservizi senza limitare la loro scalabilità e rallentare tutto è una delle sfide architettoniche più importanti del calcolo nativo del cloud.
Kubernetes gestisce la gestione dello stato aggiungendo un strato di astrazione. Gli stati di stato sono oggetti che consentono ai microservizi di mantenere le informazioni statali estraggendo il livello di persistenza.
I microservizi statali devono comunque scrivere informazioni sullo stato su un database da qualche parte, ma con gli statifulset, ogni microservizio non deve preoccuparsi dei dettagli.
L’infrastruttura di Kubernetes gestisce la scalabilità dei dati dietro le quinte, insieme alla gestione della coerenza dei dati che è sempre stata la sfida a costruire infrastrutture di persistenza massicciamente scalabile.
Dato che gli agenti di intelligenza artificiale in genere funzionano come microservizi, Cloud Native Computing può affrontare le loro sfide di gestione dello stato?
No. Manca ancora qualcosa.
L’enigma statale dell’AI
Molte delle applicazioni di Genai di oggi sono apolide: danno da mangiare a un immediate, ricevono una risposta e poi dimenticano tutto di te e di ciò che hai chiesto prima.
I cookie (o in generale, il mantenimento dello stato sul shopper) e i microservizi (mantenendo lo stato sul server) sono entrambi necessari per la gestione dello stato di intelligenza artificiale. Tuttavia, non sono sufficienti.
La prima dimensione: tenere traccia di ciò che ogni utente sta facendo. Il mantenimento dello stato sul cliente può gestire questo.
Advert esempio, un chatbot che tiene traccia di ogni conversazione con ogni utente. Punti bonus Se un utente può prendere una conversazione dopo aver lasciato il chatbot e tornare più tardi.
La seconda dimensione: tenere traccia delle interazioni tra gli utenti. Ora, possiamo invocare microservizi statali.
Advert esempio, un agente AI potrebbe aggiornare un’app CRM. Altre persone, e in effetti altri agenti di intelligenza artificiale, vedranno tali aggiornamenti e saranno in grado di prendere decisioni in base alle nuove informazioni.
Cloud Native Computing gestisce bene tali situazioni multiutente. Estrattando il livello di persistenza (in questo caso, l’archivio dati dietro l’app CRM), l’infrastruttura Kubernetes può scalare.
Ciò che manca a questa storia è la terza dimensione: agenti AI che possono Imparare.
Un chatbot, advert esempio, potrebbe diventare più intelligente nel tempo sulle preferenze di un particolare utente. Un chatbot di viaggio dovrebbe idealmente comprendere cose semplici come se un utente preferisca un corridoio o un sedile della finestra, ma dovrebbe anche imparare preferenze più sottili e complesse specifiche per ogni utente o relazioni tra gli utenti (advert esempio, le preferenze del coniuge e le tue quando viaggi insieme).
L’agente di intelligenza artificiale dovrebbe anche diventare più intelligente nel tempo su tutte le interazioni collaborative che viene chiamato a sostenere. Il semplice aggiornamento dei document CRM, advert esempio, non è un compito particolarmente prezioso per un agente AI. Comprendere come sfruttare al meglio il CRM per ottimizzare gli sforzi di vendita, un compito che richiede agenti per imparare nel tempo, è una storia diversa.
Perché la gestione dello stato dell’agente AI è diversa
Il comportamento di un agente AI (o di qualsiasi altra applicazione basata sull’intelligenza artificiale, per story questione) dipende dai suoi dati di formazione. Cambia i dati sottostanti e si cambia il comportamento dell’agente.
Affinché gli agenti AI apprendano, devono alimentare le informazioni dalle interazioni degli utenti in corso ai dati di formazione, cambiando così il comportamento degli agenti con ogni iterazione.
In altre parole, la modifica dei dati di formazione cambia lo stato dell’agente. I suggerimenti e altre informazioni contestuali sul comportamento dell’agente diventano tutti dati di formazione per qualsiasi agente con la capacità di apprendere nel tempo.
Questo comportamento iterativo di apprendimento-e quindi, la sfida di gestione dello stato basata sulla formazione-è specifico per l’IA agente perché story formazione renderà gli agenti di intelligenza artificiale nel tempo.
Tuttavia, dobbiamo ancora affrontare se vogliamo che le singole istanze degli agenti apprendano le preferenze dei singoli utenti o che apprendano da tutte le interazioni tra gli utenti, anche se interagiscono con distinte istanze degli agenti di intelligenza artificiale.
Idealmente, vorremmo un combine di entrambi: agenti che diventano più intelligenti interagendo con molti utenti mentre contemporaneamente diventano più intelligenti su ogni insieme di interazioni con ogni individuo, diventando così personalizzati.
La sfida irrisolta della gestione dello stato AI
In che modo, quindi, affrontiamo questa complessa sfida di gestione dello stato, dato che i dati di formazione stessi rappresentano lo stato di ciascun agente?
Nessuno ha ancora risolto questo problema (per quanto ne sappia), ma è chiaro che le persone hanno almeno discerne il problema sottostante.
Abbiamo visto questo problema apparire come un trope nella finzione. Ricorda il movie Suodove un sfortunato Joaquin Phoenix si innamora di un agente di intelligenza artificiale “femmina”?
L’agente impara nel tempo in modo molto personale specifico per il personaggio di Phoenix. Alla positive, “lei” diventa un individuo unico, solo per (avviso spoiler!) Reimpostare per “il suo” default di fabbrica, “uccidendola”.
Dove va la finzione, presto va in realtà. Quali informazioni vogliamo che gli agenti AI tengano traccia? Dato che vogliamo che imparino, allora cosa vogliamo che imparino e quando? E come decidiamo?
Quindi, ovviamente, dobbiamo capire come costruire la tecnologia necessaria per supportare lo stato in continua evoluzione di ciascuno dei nostri agenti AI, consentendo loro di ridimensionare senza rompere la banca.
