Microsoft dà a Copilot voce e visione nella sua più grande riprogettazione mai realizzata

Microsoft svela oggi una grande revisione della sua esperienza Copilot, aggiungendo funzionalità vocali e visive per trasformarlo in un assistente AI più personalizzato. Come ho rivelato in esclusiva nel mio Blocco note newsletter della scorsa settimana, le nuove funzionalità di Copilot includono una modalità di presentatore di notizie virtuale per leggerti i titoli, la possibilità per Copilot di vedere cosa stai guardando e una funzione vocale che ti consente di parlare con Copilot in modo naturale, proprio come OpenAI Modalità vocale avanzata.

Copilot è stato riprogettato su dispositivi mobili, Web e sull’app Windows dedicata in un’esperienza utente più basata su carte e molto simile al lavoro svolto da Inflection AI con il suo assistente AI personalizzato Pi. Microsoft ha assunto un gruppo di persone da Inflection AI all’inizio di quest’anno, tra cui il cofondatore di Google DeepMind Mustafa Suleyman, che ora è CEO di Microsoft AI. Questo è il primo grande cambiamento di Suleyman in Copilot da quando ha assunto il controllo del lato consumatore dell’assistente AI.

“In Microsoft AI, stiamo creando un compagno di intelligenza artificiale per tutti”, afferma oggi Suleyman in una lettera aperta. “Credo davvero che possiamo creare un’era tecnologica più tranquilla, più utile e di supporto, piuttosto diversa da qualsiasi cosa abbiamo visto prima.”

Copilot ora sembra diverso da qualsiasi cosa abbia mai visto prima da Microsoft, con un’interfaccia che è un grande allontanamento da ciò che esiste in questo momento. È molto più caldo, con una pagina Copilot Discover personalizzata che è più utile e invitante di una richiesta di immissione di testo per un chatbot. Microsoft sta personalizzando l’intera home page di Copilot in base alla cronologia delle conversazioni e, nel tempo, includerà ricerche utili, suggerimenti e informazioni pertinenti.

Microsoft ha ceduto la sua versione consumer di Copilot al team di Suleyman all’inizio di quest’anno e ha chiaramente consentito all’azienda di sperimentare di più con personalità e personalizzazione. “Cosa abbiamo imparato dal team Pi e dal [Inflection AI] persone che sono venute da noi è che hanno sempre avuto un’attenzione particolare ai bisogni dei clienti”, afferma Yusuf Mehdi, vicepresidente esecutivo e responsabile marketing consumer di Microsoft, in un’intervista a Il limite. “Il modo in cui ascoltano e ciò che hanno imparato da queste lunghe conversazioni nell’ambito della ricerca ha sicuramente influenzato ciò che abbiamo fatto qui.”

Oltre all’aspetto grafico di questo nuovo Copilot, Microsoft sta anche intensificando il lavoro sulla sua visione di un compagno di intelligenza artificiale per tutti aggiungendo funzionalità vocali molto simili a ciò che OpenAI ha introdotto in ChatGPT. Ora puoi chattare con l’assistente AI, fargli domande e interromperlo come faresti durante una conversazione con un amico o un collega. Copilot ora ha quattro opzioni vocali tra cui scegliere e sei invitato a sceglierne una quando utilizzi per la prima volta questa esperienza Copilot aggiornata.

“Stiamo facendo una grande scommessa sulla voce”, dice Mehdi. “Quando lo usi nel modo in cui lo abbiamo progettato, inizi davvero a lasciarti andare e ad avere conversazioni. Poi vedi i barlumi di dove andremo a lungo termine, con una visione in cui l’intelligenza artificiale può effettivamente aiutarti e vedere quello che vedi se lo desideri.

Copilot Vision è la seconda grande scommessa di Microsoft con questa riprogettazione, consentendo all’assistente AI di vedere ciò che vedi tu su una pagina web che stai visualizzando. Puoi fargli domande sul testo, sulle immagini e sui contenuti che stai visualizzando e, combinato con le nuove funzionalità di Copilot Voice, risponderà in modo naturale. Puoi utilizzare questa funzione mentre fai acquisti sul Web per trovare consigli sui prodotti, consentendo a Copilot di aiutarti a trovare diverse opzioni.

Le sessioni di Copilot Vision sono effimere e facoltative e Microsoft afferma che nessuno dei contenuti con cui Copilot Vision interagisce viene archiviato o utilizzato per la formazione. Questa nuova esperienza non funzionerà ancora su tutti i siti Web perché Microsoft ha imposto restrizioni sui tipi di siti Web con cui collabora Copilot Vision. “Stiamo iniziando con un elenco limitato di siti Web popolari per garantire un’esperienza sicura per tutti”, afferma il team di Copilot. Durante l’anteprima, Copilot Vision non funzionerà nemmeno su contenuti sensibili e protetti da paywall.

Nonostante le dichiarazioni di non responsabilità, Microsoft ha chiaramente una visione a lungo termine per queste nuove funzionalità vocali e visive in Copilot. Una demo mostra Copilot Vision mentre guarda le foto di vecchie ricette scritte a mano, aiutando a spiegare qual è il cibo e offrendo suggerimenti su quanto tempo ci vuole per preparare la ricetta. Microsoft ha dimostrato un’esperienza assistiva simile per i giochi Xbox all’inizio di quest’anno, mostrando come Copilot potrebbe aiutarti a navigare Minecraft.

La fase successiva di Copilot include anche Copilot Daily, un riepilogo audio di notizie e meteo che Copilot legge come se fosse un conduttore della CNN. È progettato come un breve clip che puoi ascoltare la mattina e utilizza solo contenuti di fornitori di notizie e meteo che hanno autorizzato Copilot a utilizzare i propri contenuti. Microsoft sta lavorando con ReutersAxel Springer, Hearst e il Tempi finanziari inizialmente, con l’intenzione di aggiungere più fonti nel tempo.

Copilot può anche gestire domande più complesse grazie agli ultimi modelli di OpenAI. Think Deeper è una nuova funzionalità di Copilot che consente all’assistente di impiegare più tempo per rispondere, consentendogli di fornire risposte passo passo a domande complesse. È progettato per funzionare al meglio quando cerchi di confrontare due opzioni fianco a fianco, come, ad esempio, “Devo trasferirmi a New York o San Francisco?”

Think Deeper è ancora in fase iniziale di sviluppo e Microsoft lo sta inserendo in Copilot Labs, un nuovo modo per testare funzionalità sperimentali che l’azienda sta ancora sviluppando. Inizialmente anche Copilot Vision farà parte della funzionalità Labs e i partecipanti potranno fornire feedback sulle esperienze. Microsoft sta chiaramente procedendo con cautela con Copilot Vision dopo il contraccolpo relativo ai problemi iniziali di sicurezza e privacy di Recall. Microsoft ha rivelato la scorsa settimana che Recall è stato revisionato con opzioni di sicurezza e privacy migliorate e sarai anche in grado di disinstallare completamente la funzionalità o non attivarla in primo luogo.

Questa esperienza Copilot aggiornata sarà disponibile oggi nelle app mobili iOS e Android, sul Web all’indirizzo copilot.microsoft.com e tramite l’app Copilot Windows. Copilot Voice sarà inizialmente disponibile in inglese in Australia, Canada, Nuova Zelanda, Regno Unito e Stati Uniti, per poi espandersi in altre regioni e lingue in futuro. Copilot Daily è limitato agli Stati Uniti e al Regno Unito prima di espandersi altrove, mentre Copilot Vision sarà limitato a un numero di abbonati Copilot Pro negli Stati Uniti.

Se, come me, ti stai chiedendo dove si dirigerà Copilot, il nuovo CEO dell’intelligenza artificiale di Microsoft ha alcune grandi idee. “Col tempo si adatterà ai tuoi atteggiamenti e svilupperà capacità costruite attorno alle tue preferenze e necessità. Non stiamo tanto creando uno strumento statico quanto stabilendo un’interazione dinamica, emergente e in evoluzione”, afferma Suleyman. “Ti accompagnerà all’appuntamento dal medico, prendendo appunti e rispondendo al momento giusto. Condividerà il carico di pianificazione e preparazione della festa di compleanno di tuo figlio. E sarà lì alla fine della giornata per aiutarti a riflettere su una decisione difficile della vita.

Iscriviti a Blocco note di Tom Warren, una newsletter settimanale che svela i segreti e la strategia dietro le scommesse epocali di Microsoft su intelligenza artificiale, giochi e informatica. Iscriviti per ricevere le ultime novità direttamente nella tua casella di posta.

Accettiamo carte di credito, Apple Pay e Google Pay.