LocalAI è un'alternativa Open Source gratuita a OpenAI, Claude e altri servizi. È autoospitato e local-first, ed è un sostituto drop-in per OpenAI che funziona su hardware consumer-grade senza la necessità di una GPU. Supporta diverse architetture di modelli, tra cui gguf, transformers e diffusers.
Le funzionalità includono la generazione di testo, audio, video, immagini e la clonazione della voce. LocalAI supporta anche l'inferenza distribuita e P2P. È stato creato e mantenuto da Ettore Di Giacinto.
Per installare LocalAI, è possibile eseguire lo script di installazione o utilizzare Docker. Per caricare i modelli, è possibile utilizzarli dalla galleria dei modelli, direttamente da Hugging Face, dall'OCI registry di Ollama o da un file di configurazione. LocalAI supporta anche l'installazione e l'esecuzione di modelli da un registry standard OCI (ad esempio, Docker Hub).
LocalAI offre funzionalità come la generazione di testo con GPTs, la conversione testo-audio e audio-testo, la generazione di immagini, gli strumenti API OpenAI-alike, le generazione di embedding per database vettoriali, le grammatiche costrette, il download dei modelli direttamente da Hugging Face, l'API per la visione, l'API per il riordinamento, l'inferenza P2P e la rilevazione dell'attività vocale.
LocalAI ha un'ampia comunità e integrazioni, tra cui WebUI integrato, modelli, esempi, risorse e media. È possibile contribuire al progetto diventando un backer o un sponsor, e LocalAI riconosce i contributi della comunità e i software già disponibili.