Le piace definirsi come il “cloud dei builder”, AWS. L’obiettivo della multinazionale americana è infatti costruire soluzioni AI basandosi su building block, una sorta di “mattoncini Lego” che vengono assemblati da parte dei builder.
I tre pillar, che sono un po’ le fondamenta di questi building block, sono la parte computazionale, lo storage e il DB a cui recentemente si è aggiunto il building block dell’inferenza per poter utilizzare funzionalità di intelligenza artificiale in maniera nativa su AWS
Negli ultimi mesi ci sono stati una raffica di annunci da parte di AWS. Facciamo il punto della situazione.
Amazon Bedrock
AWS ha annunciato nuove funzionalità per Amazon Bedrock, il servizio di AWS fully managed che fornisce agli sviluppatori AI accesso ai principali modelli disponibili sul mercato (tramite API). La caratteristica di Bedrock è la filosofia della scelta: sono gli sviluppatori a scegliere il modello da utilizzare in base allo use case.
Tra le nuove funzionalità di Amazon Bedrock, spiccano i controlli automatizzati, la collaborazione tra agenti e la distillation dei modelli.
I controlli automatizzati aiutano a prevenire errori dovuti ad “allucinazioni” del modello, una sfida fondamentale per l’industria dell’AI generativa, soprattutto in settori regolamentati come la sanità e i servizi finanziari.
La capacità di organizzazione degli agent consente ai clienti di costruire e orchestrare facilmente più agenti AI per risolvere problemi complessi. Ad esempio, un’istituzione finanziaria può utilizzare agenti specializzati per analizzare fattori economici, valutare rischi specifici aziendali e monitorare il posizionamento competitivo, coordinati da un agente supervisore.
La distillation dei modelli permette ai clienti di trasferire conoscenze specifiche da un modello grande e capace a uno più piccolo ed efficiente, riducendo i costi e migliorando la velocità senza compromettere significativamente la precisione. Questo è particolarmente utile per casi d’uso come le interazioni in tempo reale nelle chat.
Dal punto di vista tecnico si segnalano queste nuove feature:
- Prompt caching. È una funzione di cache per prompt ripetitivi che diminuiscono la latenza con risparmio di risorse e una migliore coerenza. È in fase di preview
- Intelligent Prompt routing. Si tratta di un meccanismo che, una volta ricevuto il prompt, propone come risposta quella più accurata fra i modelli che sono stati utilizzati. È in fase di preview
- Knowledge bases. Serie di strumenti che permettono di gestire RAG realizzati dai clienti dei builder, in particolare per quanto riguarda le funzionalità di data retrieval di dati strutturati. In altre parole, questa funzione traduce il prompt in SQL per cercare dati all’interno dei DB. Inoltre si possono creare DB a grafo di conoscenza (GraphRag).
- Bedrock Data Automation permette di trasformare dati destrutturati in strutturati. Ad esempio da un video è possibile posso estrarre dati in formato tabulare. Questa funzione è in preview.
Amazon Nova
Amazon Nova è una nuova generazione di foundation model caratterizzato – secondo quanto comunicato – da un ottimo rapporto price/performance. Amazon Nova si va ad aggiungere ai vari Anthropic, Meta, Mistral e rientra sotto l’ombrello di Bedrock
Questi modelli sono stati sviluppati per elaborare testo, immagini e video come input, consentendo l’uso di applicazioni AI generative per comprendere video, grafici e documenti, o per generare contenuti multimediali.
I modelli Nova includono 6 versioni e precisamente:
- Amazon Nova Micro. Un modello text to text che offre le risposte a latenza più bassa a costi molto contenuti
- Amazon Nova Lite. Un modello multimodale a basso costo e molto veloce nell’elaborazione di input di immagini, video e testo
- Amazon Nova Pro. Un modello multimodale altamente capace che combina la migliore accuratezza, velocità e costi per un’ampia gamma di compiti
- Amazon Nova Premier. Il modello multimodale più capace di Amazon, ideale per compiti di ragionamento complessi e per l’uso come teacher per la distillation di modelli più piccoli e personalizzati
- Amazon Nova Canvas. Un modello avanzato per la generazione di immagini
- Amazon Nova Reel. Un modello avanzato per la generazione di video
Come accennato, tutti questi modelli sono sotto l’ombrello Bedrock e beneficiano quindi delle nuove funzionalità fra cui:
- Possibilità di fare fine tuning
- Creare architetture RAG
- Modelli ottimizzati per la creazione di agent
- Modelli multilingua e multimodali
Amazon Q Developer
Amazon Q Developer è una applicazione SaaS, un assistente AI generativo avanzato, che permette di semplificare il lavoro degli sviluppatori ed è progettato per la migrazione e la modernizzazione dei workload legacy, come Windows .NET, VMware e mainframe (Cobol).
Amazon Q Developer utilizza agenti AI per automatizzare attività come l’analisi del codice sorgente, la generazione di nuovo codice, il testing e l’esecuzione delle modifiche, approvate dal cliente. Secondo quanto comunicato, Amazon Q Developer offre diverse nuove funzionalità, tra cui:
- Modernizzare le applicazioni Windows .NET su Linux fino a quattro volte più velocemente, riducendo i costi di licenza fino al 40%.
- Trasformare i carichi di lavoro VMware in architetture cloud-native, convertendo le configurazioni di rete in equivalenti AWS in poche ore anziché settimane.
- Accelerare la modernizzazione dei mainframe semplificando attività laboriose come l’analisi del codice, la documentazione, la pianificazione e il refactoring delle applicazioni.
Le nuove funzionalità di Amazon Q Developer includono agenti che automatizzano il testing , la documentazione e le revisioni del codice per aiutare gli sviluppatori a lavorare più velocemente. Secondo quanto comunicato, Amazon Q Developer identifica e genera autonomamente i test unitari, migliorando l’affidabilità del codice con una copertura di test completa in meno tempo. Inoltre, la generazione e il mantenimento della documentazione sono semplificati, permettendo agli sviluppatori di avere sempre accesso alle informazioni più aggiornate sui progetti.
Le revisioni del codice sono ora più efficienti grazie alla capacità di Amazon Q Developer di controllare automaticamente la qualità del codice, individuare duplicazioni e vulnerabilità di sicurezza, fornendo feedback rapido agli sviluppatori.
AWS si sta muovendo lungo 2 direttrici: portare Amazon Q agli sviluppatori (Q è ora disponibile anche su GitLab) e portare i partner a Q tramite lo sviluppo di plugin.
AWS ha inoltre annunciato nuove funzionalità per Amazon Q Business, l’assistente AI generativo per trovare informazioni e ottenere insight. L’idea è aggiungere nuove caratteristiche che aiutano i dipendenti a completare più velocemente task noiosi e dispendiosi in termini di tempo.
Amazon Q Business e Amazon Q in QuickSight, insieme all’AI generativa in app di terze parti come Asana e Zoom, ora operano sullo stesso indice di dati aziendali. Questo permette ai dipendenti di ottenere insight migliori e beneficiare di esperienze AI più personalizzate.
Amazon Sagemaker
SageMaker è il servizio fully managed del 2017 che permette agli sviluppatori di machine learning di creare modelli svincolandosi dalla parte hardware. Ora c’è un riposizionamento importante perché SageMaker diventa una piattaforma unificata in ambito analitycs che mette insieme capacità di gestione dei dati, analisi e intelligenza artificiale in un’unica piattaforma integrata
Questa piattaforma, denominata SageMaker Unified Studio, permette agli utenti di trovare e accedere ai dati provenienti da tutta l’organizzazione (data exploration, data manipulation, data access) e di utilizzare gli strumenti AWS specifici per elaborare e analizzare i dati, sviluppare modelli di machine learning e applicazioni di AI generativa.
