La generazione assaltata dal recupero (RAG) può sembrare complessa, ma rappresenta accuratamente il processo del sistema. RAG è un metodo che migliora le capacità dei modelli di grandi dimensioni (LLM) integrandoli con fonti di conoscenza esterne.
Ogni termine rappresenta un pezzo del puzzle:
- Recupero – Dati recuperati da una fonte esterna al di fuori dell’LLM (il più delle volte un database, ma possono includere file, pagine Internet, ecc.)
- Aumentato – “Aumentazione” (o aggiunta a) dati di formazione di un LLM. Ciò potrebbe includere informazioni recenti o personal a cui non aveva accesso durante il suo periodo di formazione. Molto spesso, questo viene fatto aggiungendo i dati al immediate (o enter) all’LLM.
- Generazione – È qui che gli LLM sono eccezionali. Generano una risposta (testo, immagine, video, ecc.) Simile ai dati forniti nell’enter. Questo è generato dalle probabilità, quindi non può garantire una coerenza al 100%.
Invece di fare affidamento esclusivamente sui dati di addestramento interno del modello, Rag recupera le informazioni pertinenti dai database o dalle raccolte di documenti per fondare le proprie risposte in contenuti fatti e aggiornati. Questo approccio non solo migliora l’accuratezza e l’affidabilità degli output generati, ma consente anche al sistema di adattarsi a contesti o domini specifici, rendendolo uno strumento potente per molte applicazioni personali e professionali.
In questo submit, definiremo ogni componente e come funziona insieme in un sistema di stracci.
Perché Rag?
Generazione di recupero (RAG) Risolve alcuni problemi diversi nello spazio tecnico.
1. Fornisce un modo per aggiungere dinamicamente dati/informazioni per (aumentare) le conoscenze di un LLM, migliorando la rilevanza e l’accuratezza delle risposte.
2. Fornisce accesso ricercabile a tutti i tipi di archiviazione dei dati, inclusi tipi di database, testo, immagini, audio, video, pagine Internet, ecc.
3. Consente agli esperti tecnici di guidare o limitare l’IA con strumenti definiti, dati di alta qualità, regole, logica aziendale e altro ancora. Ciò aumenta la precisione e riduce il rischio del sistema.
Modelli di linguaggio di grandi dimensioni (LLM)
Parte del AI generativo Subject, grandi modelli di linguaggio (LLM) sono sistemi AI avanzati progettati per generare contenuti prevedendo le probabilità delle sequenze all’interno dei loro dati di enter. Excel nella comprensione del contesto e nella produzione di output coerenti, rendendoli strumenti versatili per una vasta gamma di applicazioni.
Tuttavia, hanno anche dei limiti. Gli LLM generano risposte sulle probabilità, lasciando spazio a incoerenza o incertezza, specialmente quando ci sono più potenziali risposte e nessuna alta probabilità per nessuna delle opzioni.
Questi modelli possono elaborare vari tipi di enter/output (modalità), ma le loro prestazioni sono limitate dalle dimensioni delle finestre di contesto – dalla quantità di informazioni che possono prendere in considerazione contemporaneamente e dalla qualità delle istruzioni fornite.
Nota: ogni LLM è addestrato in modo leggermente diverso per dare la priorità a determinate probabilità rispetto advert altre per ottimizzare per determinati obiettivi. Questo è il motivo per cui ogni LLM può produrre output diversi per lo stesso enter e perché dovresti valutare diversi modelli e ricerche quali potrebbero essere pre-ottimizzati per le tue esigenze.
Ci sono una serie di ragioni per cui i modelli di linguaggio di grandi dimensioni tendono advert allucinare (o produrre risposte imprecise e senza senso). Alcuni di questi includono quanto segue:
- Alla ricerca di risposte relative a dati recenti o privati a cui LLM non è stato addestrato o advert cui ha accesso.
- Il immediate (enter) attraversa lacune o limiti nei percorsi di “conoscenza” di LLMS, rimanendo bloccati o non abbastanza pensieri successivi da generare.
- L’LLM non ha un contesto sufficiente (informazioni di base) per guidare la sua risposta verso un percorso specifico (troppa incertezza nel significato dell’enter).
Come possiamo migliorare questi punti deboli fornendo contesto all’LLM?
Incorporamenti vettoriali
UN Vector è un concetto matematico rappresentando una linea che ha una dimensione (grandezza) e una direzione. Questa rappresentazione numerica ci consente di effettuare calcoli e confronti per spiegare le forze in fisica. Nel mondo reale, usiamo i vettori per un paio di casi d’uso affini.
Percorsi di volo dell’aereo nello spazio tridimensionale. Se si pensa a un percorso di volo, potrebbero esserci caratteristiche di riferimento, come edifici, fiumi e spazi aerei (aree di restrizione militare, di città o aeroportuali). Gli aerei devono anche tenere conto dei fattori esterni, come il vento e le tempeste. Non solo hanno bisogno di una rappresentazione di dove si trovano nell’aria, ma devono anche essere in grado di calcolare le modifiche a quella by way of di volo a causa di ostacoli o restrizioni dello spazio aereo in tempo reale. Lo fanno creando una rappresentazione numerica (vettore) di quel percorso e calcolando con altri vettori per venti, aree meteorologiche e altro ancora.- Traiettorie di razzi nello spazio multidimensionale. Simile all’esempio dell’aereo, ma lo spazio esterno si occupa di spazio multidimensionale e “caratteristiche” più letali (ostacoli) lungo un percorso, come buchi neri, cinture di asteroidi e pianeti. Gli scienziati dovrebbero calcolare le rotte vettoriali per evitare di passare attraverso i pianeti ed evitare tiri gravitazionali dai corpi celesti.
Rappresentiamo i percorsi creando rappresentazioni numeriche basate su caratteristiche chiave e particular che caratterizzano il percorso (vettore). Quindi, possiamo usare quei percorsi per effettuare calcoli e regolazioni exact basate su fattori esterni.
Vettori applicati alle parole
Nel 2013, Google ha applicato questo concetto matematico alle parole (word2vec), creazione di rappresentazioni numeriche di parole basate su come funzionavano all’interno della lingua e definendo le caratteristiche. Le parole incorporano le parole mappano le parole in uno spazio vettoriale continuo in cui parole semanticamente simili sono più vicine tra loro. Advert esempio, le parole “King” e “Queen” potrebbero avere incorporamenti che sono vicini in questo spazio, riflettendo i loro significati correlati attorno al potere, alla management, alla vita lussuosa e alla ricchezza.
Questa capacità ha permesso agli umani di rappresentare le parole per confrontare la somiglianza delle parole o comprendere nuove parole dalle vicinanze alle parole conosciute. Ricerche più ampie e elenchi di sinonimo basati sul significato “semantico” potrebbero essere presi in considerazione nei calcoli, che sono fondamentali per molti compiti di elaborazione del linguaggio naturale.
Vettori applicati ai dati
Abbiamo fatto un ulteriore passo avanti negli ultimi anni per applicarlo a qualsiasi tipo di dati (testo, immagine, video, audio, ecc.). Gli incorporamenti vettoriali sono rappresentazioni numeriche di dati che catturano il significato semantico in un modo che semplifica il confronto e l’analizzazione.
Se combinati con AI generativa (Genai), gli incorporati consentono ricerche semantiche, che vanno oltre la semplice corrispondenza delle parole chiave. A differenza delle ricerche lessicali che si basano su corrispondenze di parole esatte, le ricerche semantiche usano gli incorporamenti per comprendere il significato dietro la question e recuperare i risultati che sono contestualmente rilevanti. Ciò li rende particolarmente potenti per applicazioni come il recupero dei documenti, in cui la comprensione dell’intento e del contesto di una question è cruciale per fornire risultati accurati e significativi.
C’è un detto comune che non puoi Confronta mele e arance (perché hanno due diversi set di caratteristiche). Tuttavia, con una rappresentazione numerica, possiamo effettivamente confrontarli perché abbiamo un formato comune per rappresentare tutti i tipi di oggetti e dati.
Inoltre, un recente articolo che ho letto ha confrontato i vettori con una “impronta digitale” dei dati. Proprio come un’impronta digitale è unica per ogni individuo, la rappresentazione vettoriale di un dato è unica per quel punto dati specifico. Questa unicità consente l’identificazione precisa e il recupero delle informazioni, anche in grandi set di dati.
Nota: poiché ogni LLM è addestrato in modo leggermente diverso, gli incorporamenti vettoriali possono essere diversi per ciascun modello. Ciò significa che lo stesso pezzo di dati può avere rappresentazioni vettoriali leggermente various con modelli diversi (sebbene entrambi saranno vicini nello spazio vettoriale). Questo è importante da considerare quando si utilizzano più LLM o si confrontano i risultati tra i modelli.
Qui inserisci la necessità e lo scopo di https://frankzliu.com/weblog/a-gentle-introduction-to-vector-database database VETTOR^), che sono ottimizzati per archiviare e cercare queste rappresentazioni vettoriali. Ma in che modo i database vettoriali cercano in modo efficiente grandi quantità di questi numeri (pensa a ogni parola in ogni lingua o milioni di documenti di testo)?
Ricerca di somiglianza
La ricerca di somiglianza implica la ricerca di file di dati più simili a una determinata question. Questo è spesso ottenuto usando tecniche come Ok-Nearest Neighbours (Ok-NN) o metodi approssimativi come Ok-Ann per efficienza, dove ok Rappresenta il numero di risultati più simili che desideri restituire (cioè 7, 42, 100).
Questo potrebbe sembrare eccessivamente complesso, ma diamo un’occhiata a un esempio per comprendere il potere di questi tipi di ricerche. Pensiamo a una biblioteca.
In una biblioteca oggi, la ricerca di un nuovo libro da leggere richiederebbe la raccolta della struttura della categoria nidificata di organizzare i libri (advert es. Fiction/Non -Fiction -> Genere -> Autore -> Titolo). Se volessi leggere un romanzo fantasy, la mia attuale strategia sarebbe quella di camminare verso l’space di finzione, trovare la sezione fantasy e iniziare a tirar fuori libri dallo scaffale per vedere cosa ha suscitato il mio interesse. Un’altra alternativa sarebbe quella di fare una ricerca di laptop per le parole chiave e sperare che il libro sia taggato con gli argomenti che mi interessa.
I vettori ci consentirebbero Cerca libri basati sulla semanticaTrovare somiglianze per caratteristiche specifiche che vengono cotte nell’incorporamento del vettore e di restituire risultati nello spazio vettoriale vicino come la nostra question di ricerca.
Per misurare la somiglianza, la somiglianza del coseno e la distanza euclidea sono due delle metriche più comuni utilizzate, sebbene ce ne siano anche altre. La somiglianza del coseno misura la distanza tra gli angoli dei vettori. Ricorda, i vettori sono linee con una lunghezza e una direzione, quindi il coseno misura la distanza tra le due linee in gradi. La distanza euclidea è la distanza più breve dal punto all’altro (“come il corvo vola” tra i punti vettoriali).
Nel nostro esempio di biblioteca, potremmo cercare funzionalità specifiche come “Dragons and Magic” o “con sede a St. Louis, USA”. Questi criteri sono molto più stretti e hanno maggiori probabilità di trovare un set di risultati più piccolo che è più rilevante per ciò che l’utente sta cercando.
Nota: gli incorporamenti vettoriali differiscono per ciascun modello e ogni archivio vettoriale ottimizza anche la ricerca di somiglianza vettoriale in modo diverso. Quindi anche gli stessi dati e gli incorporamenti memorizzati in diversi negozi vettoriali possono produrre risultati diversi da una ricerca di somiglianza.
Avvolgimento
In questo submit sul weblog, abbiamo esplorato alcuni concetti introduttivi sulla generazione (RAG) assistita dal recupero (RAG), perché esiste e i problemi che risolve. Abbiamo anche coperto alcuni concetti di Genai iniziali su modelli di grandi dimensioni (LLM), vettori e incorporamenti e ricerca di somiglianza vettoriale. Questi pezzi costruiscono le basi di sistemi di intelligenza artificiale più complessi e spiegano come RAG migliora le capacità degli LLM integrandoli con fonti di conoscenza esterne.
In un altro submit, esploreremo i diversi strati di straccio, tra cui strag vettoriale, straccio grafico e agenti.
Che tu sia uno sviluppatore, un knowledge scientist o semplicemente qualcuno interessato al futuro dell’intelligenza artificiale, comprendere le tecnologie di intelligenza artificiale e il modo in cui operano ti consentirà di prendere decisioni migliori su come usarle.
Codice felice!
