Cheshire Cat è un software creato da sviluppatori italiani che propone un’interessante idea nel mondo dell’AI. Cheshire (il nome è ispirato al personaggio del libro “Alice nel paese delle meraviglie”) non è un LLM (Large Language Model), ma un ambiente di sviluppo che permette di creare agenti AI interfacciandosi a degli LLM già esistenti.
Permette quindi di utilizzare le capacità già acquisite dagli LLM mainstream e impiegarle per scopi specifici o estenderle con modelli personalizzati. Cheshire Cat offre un framework ricco di feature che semplificano lo sviluppo e il deploy, più alcune interessanti funzionalità di amministrazione, personalizzazione e condivisione. Il framework permette anche di creare plugin su misura per le proprie specifiche aziendali, in modo da integrare logiche di business dedicate con le funzionalità di un LLM.
Come installare il framework
Cheshire Cat non è utilizzabile in cloud o tramite un Notebook Jupiter, ma richiede l’installazione di un ambiente di sviluppo sul proprio device. Per utilizzare il framework, è necessario avere installato Docker e possedere un token di autenticazione per le API del LLM a cui volete interfacciarvi (OpenAI, Gemini, ecc.).
Per installare Cheshire su Doker è sufficiente compilare un file di configurazione e, una volta lanciata l’istanza Docker, potrete passare alla configurazione del collegamento con il LLM.
A questo scopo vi servirà registrare un abbonamento ai servizi per sviluppatori di un LLM come OpenAI o Gemini: in questo modo riceverete la API Key da inserire nella configurazione del framework. Questa chiave di registrazione diverrà il token con cui Cheshire autenticherà le proprie chiamate al LLM.
Approccio API First
Lo “Stregatto” dell’AI nasce da un team di sviluppatori e divulgatori con anni di esperienza in Machine e Deep Learning, che hanno avuto modo di vivere l’evoluzione della tecnologia AI, sperimentando in prima persona le difficoltà di approcciarsi a questo tipo di sviluppo software. Forti di questa seniority, gli sviluppatori di Cheshire hanno implementato nel proprio framework una serie di migliorie per offrire una curva di apprendimento morbida che si rivela ideale sia per sviluppatori alle prime armi sia per data scientist esperti.
Una delle ottimizzazioni salienti di Cheshire Cat è il suo approccio API First, che permette all’ecosistema di integrarsi facilmente come conversionational layer con qualsiasi software esistente. Il micro servizio AI su cui si basa è completamente software agnostico, e può essere fruito da librerie di diversi linguaggi (Python, C#, Typescript, ecc.) o incorporato in widget.
Lo sviluppatore esterno che voglia estendere il proprio software con un chatbot intelligente, potrà utilizzare delle comuni chiamate REST per avere tutte le funzionalità a disposizione. Il framework offre inoltre una pratica CLI (interfaccia a linea di comando) per impratichirsi con le caratteristiche dei diversi Endpoint.
Come utilizzare lo “Stregatto” in azienda
La facilità di integrazione permette a Cheshire Cat di essere interfacciato velocemente a qualsiasi software aziendale oppure al portale intranet. Cheshire Cat si presta particolarmente allo sviluppo di agenti RAG (Retrieval Augmented Generation), ossia plugin che permettono di arricchire le conoscenze del modello con informazioni provenienti da sorgenti esterne. G
razie a queste sue funzionalità RAG, Cheshire Cat è in grado di aggiornare i modelli di apprendimento con documentazioni e materiali recuperati dallo storage aziendale, in modo da arricchire le risposte del modello padre con dettagli delle specifiche logiche di business.
Cheshire Cat può diventare un valido aiutante per realizzare sistemi di ricerca personalizzati, oppure copilot intelligenti che affiancano gli operatori nelle loro attività quotidiane. Si può impiegare lo “Stregatto” per sviluppare forecasting che impiegano l’AI per supportare il management nei processi decisionali, e anche per realizzare procedure di on boarding e training del nuovo personale.
Cheshire Cat è un sistema aperto, le cui funzionalità possono essere arricchite sviluppando plugin custom, per cui si rivela essere un tool ottimale per essere applicato in una vasta gamma di tipologie aziendali.
La dashboard di amministrazione
Una particolare attenzione è stata posta nella realizzazione del pannello amministrativo in dotazione al framework. Da questa dashboard si può accedere, oltre alla configurazione dell’ambiente, a funzionalità che semplificano lo sviluppo degli agent.
Oltre al pannello di configurazione del LLM, dove si andrà a salvare la chiave di autenticazione, è anche disponibile una funzione per la gestione degli Embedder, in modo da semplificare il deploy della pipeline di apprendimento e validazione. Dal pannello di controllo si accede anche a una intuitiva interfaccia di management degli utenti, che possono essere attivati, disattivati, oppure associati a livelli specifici di autorizzazioni. Anche la gestione dei plugin è intuitiva, e disponibile dall’interfaccia grafica.
Privacy e sicurezza
L’ambiente di default di Cheshire Cat è aperto, ossia tutti gli Endpoint sono liberamente accessibili alla prima installazione. Lo “Stregatto”, però, per le realtà aziendali che operano con proprietà intellettuali riservate, mette a disposizione la possibilità di limitare l’accesso agli endpoint, in modo da creare un ambiente di sviluppo che tuteli le esigenze di privacy e compliance.
Configurare un accesso più sicuro agli endpoint è un’operazione semplice, che si può delegare anche a personale IT interno. La configurazione consiste innanzitutto nel creare degli utenti nella dashboard amministrativa e proteggerli con delle password. Occorre poi intervenire su delle variabili di ambiente per proteggere l’accesso gli Endpoint e ai WebSocket con una chiave di autenticazione, che rimarrà esclusiva per l’azienda.
