IA generativa: Databricks estende la sua copertura funzionale

IA generativa: Databricks estende la sua copertura funzionale
IA generativa: Databricks estende la sua copertura funzionale
-

Nel giugno 2023, lo specialista della gestione dei dati ha acquisito MosaicML, che sotto la sua protezione è diventato Mosaic AI.

Mosaic AI ha sviluppato un sistema di gestione del carico di lavoro AI parallelizzato, consentendo la distribuzione dei flussi di lavoro su centinaia o addirittura migliaia di GPU, insieme ai toolkit per addestrarli e dedurli.

È su queste basi che Databricks si basa per cercare di semplificare la formazione, la messa a punto dei modelli, ma anche l’implementazione di sistemi “compositi”, vale a dire applicazioni che integrano più modelli e strumenti software.

Il giorno prima del keynote principale del vertice Data+AI, un portavoce di Atlassian ha parlato della difficoltà nel padroneggiare la formazione e la messa a punto di LLM. In termini molto ampi, va ricordato che quanto più grande è il modello, tanto più difficile risulta la gestione del fine-tuning.

La formazione, come ultima risorsa

In questo senso, Databricks ha presentato Mosaic Mosaic AI Model Training. Presto saranno disponibili due moduli: Pretaining e Fine Tuning.

Il modulo Pretraining viene utilizzato per modificare gran parte dei pesi di un LLM preaddestrato, più comunemente chiamato modello di fondazione. Databricks supporta tre metodi di pre-formazione: ottimizzazione supervisionata, formazione continua e completamento della conversazione. La prima tecnica mira a “insegnare” al modello nuovi compiti, modificare il suo tono di risposta o rafforzare la sua capacità di seguire i compiti. Il secondo mira a rafforzare la conoscenza del LLM in un campo specifico a partire da un minimo di 1,5 milioni di documenti o campioni. Il terzo è migliorare la tua capacità di rispondere alle domande nel formato previsto.

Ciò comporta la riduzione dei costi di pre-formazione di dieci volte rispetto a un’infrastruttura allestita da un cliente. Databricks avverte che non può supportare set di dati più grandi di 10 trilioni di token, a causa della disponibilità di istanze di calcolo. “Le GPU sono costose, me lo ricorda ogni settimana il mio direttore finanziario”, scherza Ali Ghodsi, cofondatore e CEO di Databricks. L’azienda afferma che lo scorso anno sono stati addestrati più di 200.000 modelli di intelligenza artificiale utilizzando la sua piattaforma.

“Le GPU sono costose, me lo ricorda il mio direttore finanziario ogni settimana.”

Ali GhodsiCEO, Databricks

Il modulo di messa a punto promette un’interfaccia senza codice per semplificare l’implementazione della tecnica LoRA (Low Rank Adaptation of Large Language Models). Consiste nel modificare una piccola parte dei pesi di un LLM con l’obiettivo di specializzarlo in un settore. In questo caso, Databricks intende proporre la modifica degli LLM “a peso aperto”, tra cui DBRX, diversi modelli Mistral, Llama 2 e LLama 3.

Se la tecnica non è impeccabile, consente alle aziende di adattare i modelli ai propri usi a un costo inferiore.

I portavoce di Databricks sottolineano, tuttavia, che l’uso di Mosaic AI Model Training è necessario solo se l’azienda ha già provato una serie di tecniche di prompt engineering, ha implementato un’architettura RAG (Retrieval Augmented Generation) o non è soddisfatta della velocità o del costo di inferenza LLM o desidera ottenere la proprietà di un modello “personalizzato”.

RAG e controllo dei risultati

Se l’editore sa che alcuni dei suoi clienti desiderano questa padronanza, sa che vorranno anche modi per controllare i risultati dei LLM a costi inferiori. In questo senso ha presentato Mosaic AI Agent Framework. Riunisce diversi strumenti per “progettare, distribuire e valutare” le applicazioni RAG.

Nella sua documentazione, Databricks descrive in dettaglio tutti i passaggi necessari per configurare questo tipo di applicazione e il funzionamento di un’architettura RAG. Pertanto, è possibile inserire dati strutturati e non strutturati in tabelle o volumi Delta. Quindi, devi estrarre i dati da file PDF o immagini, metadati. L’editore consiglia di “tagliare” i documenti in “pezzi selezionati” che aiuteranno a perfezionare la risposta di un LLM a una domanda. Quindi, questi “pezzi” devono essere vettorizzati utilizzando un modello di incorporamento, prima di archiviarli in una tabella Delta sincronizzata con il modulo Databricks Vector Search. Esso stesso indicizza e memorizza i dati in un database vettoriale accessibile dall’applicazione RAG. Questa sincronizzazione dovrebbe consentire di aggiornare automaticamente l’indice man mano che un incorporamento viene aggiunto alla tabella Delta.

“Sono estremamente ottimista sull’interesse della RAG e continuo ad esserlo. Penso che questa tecnica sia qui per restare[…]»

Ali GhodsiCEO, Databricks

“Sono estremamente ottimista sull’interesse della RAG e continuo ad esserlo. Penso che questa tecnica sia destinata a durare, per tre ragioni”, afferma Ali Ghodsi durante una conferenza stampa. “In primo luogo, le aziende vogliono controllare la sicurezza dei dati, l’accesso e la gestione dei ruoli. In secondo luogo, puoi aggiornare regolarmente i tuoi dati nel tuo database, cosa che non è possibile se utilizzi il modello base. Terzo, puoi evitare le allucinazioni”, sostiene.

Inoltre, Databricks intende offrire quelli che chiama Unity GenAI AI Tools, vale a dire un modo per registrare funzioni remote, SQL, Python, chiamate ad altri LLM, e consentire ad un agente “dotato di ragione”, in breve un addestrato LLM con la tecnica della “catena di pensiero” nell’utilizzo di questi strumenti. Verranno registrati come asset controllabili dal catalogo Unity, il livello di governance della “Data Intelligence Platform”.

Una volta distribuita un’applicazione, la funzione Mosaic AI Agent Evaluation consente di valutare “la qualità, la latenza e il costo di un’applicazione AI”. In questo caso, Databricks si affida a MLFlow e più in particolare all’API “Evaluate” che consente di eseguire queste valutazioni.

Gli sviluppatori devono innanzitutto creare un set di dati “fondamentale” prima di fare affidamento su parametri di qualità, prestazioni e costi.

Per quanto riguarda la qualità delle risposte, Databricks offre due modalità di valutazione: una basata sul feedback degli utenti e l’altra utilizzando un “LLM come giudice”.

Nel primo caso, le domande, le risposte del modello e le opinioni degli utenti vengono raccolte in una tabella Delta per stabilire delle statistiche. Il secondo caso consente di automatizzare questo processo affidandosi a un LLM incaricato di classificare la qualità delle risposte o dei risultati.

Per mantenere il controllo su questi risultati, Databricks ha introdotto Mosaic AI Gateway, un’API basata su MLFLow adiacente al servizio di distribuzione Model Serving. Questo endpoint deve essere utilizzato per impostare limiti di chiamata ai modelli, gestire autorizzazioni e accesso, monitorare l’utilizzo e impostare guardrail (filtri).

È “troppo presto” per dichiarare un vincitore nell’IA generativa

Se spiega un po’ più chiaramente l’articolazione tra i diversi mattoni della sua piattaforma, Databricks si colloca allo stesso livello dei suoi concorrenti, secondo gli analisti.

Come AWS, Google, Microsoft, Oracle, Snowflake e altri, la maggior parte degli annunci sono in anteprima pubblica o privata.

“È una buona cosa vedere questi annunci”, afferma Dave Menninger, analista di Ventana Research [propriété d’ISG], da Searchdatamanagement, una pubblicazione sorella di MagIT. “Si tratta certamente di passi nella giusta direzione, ma le aziende hanno bisogno di funzionalità generalmente disponibili, affidabili e supportate da un supporto garantito”.

“Come Fiocco di neve [lors de sa conférence annuelle], Databricks annuncia anteprime”, aggiunge Kevin Petrie, analista di BARC US. “Il vero test sarà arrivare alla disponibilità generale il più rapidamente possibile”.

Sarebbe quindi “troppo presto” per dichiarare un vincitore nella corsa agli armamenti della GenAI, secondo Kevin Petrie.

“Poiché GenAI alla fine sarà più una funzione che un’iniziativa a sé stante, i vincitori saranno coloro che potranno aiutare le aziende a integrarla nei loro sistemi e applicazioni esistenti”.

Kevin PetrieAnalista, BARC US

“Poiché GenAI alla fine sarà più una funzione che un’iniziativa a sé stante, i vincitori saranno coloro che potranno aiutare le aziende a integrarla nei loro sistemi e applicazioni esistenti”, suggerisce. Un desiderio condiviso dai clienti Snowflake e Databricks, secondo i commenti raccolti nelle ultime due settimane da LeMagIT.

Dave Menninger non vede alcuna offerta per combinare machine learning e intelligenza artificiale generativa. Se questo non è così chiaro come potrebbe essere, questo è uno degli obiettivi di funzionalità come Unity GenAI Tools e la suite AI/BI.

Ali Ghodsi, da parte sua, suggerisce che Databricks e i suoi concorrenti abbiano tempo. “Ne sono molto entusiasta. L’intelligenza artificiale generativa è ovviamente il futuro, ma siamo solo al primo giorno su un milione. Quindi è molto presto, credo.

La priorità per le aziende, secondo lui, risiede nella sicurezza, nella governance e nell’ingegneria dei dati.

-

PREV Adnoc concede il 40% di un progetto sul gas a quattro società straniere
NEXT Prezzi dell’energia: il divario tra Europa e resto del mondo continuerà ad ampliarsi? – VBO FEB – Verbond van Belgische Ondernemingen