Nom de domaine

Sogni di eseguire i più grandi modelli di intelligenza artificiale sul tuo computer, ma come me, non hai il budget per noleggiare un datacenter & MLDR; È comunque stupido.

Quindi se ti dicessi che esiste una soluzione per trasformare le tue macchine esistenti in un Cluster AI distribuitograzie a Exoun progetto gratuito che ti consente di collegare tutti i tuoi dispositivi per raggruppare la loro potenza di elaborazione.

Con Exo, sarai in grado di raggruppare il tuo MacBook, il tuo iPhone, il tuo tablet Android e persino il tuo Raspberry Pi per distribuire il carico e quindi eseguire i modelli open source più forti come Lama,, Maestrale O Qwen.

Screenshot EXO

Il principio è semplice & mldr; EXO analizza la memoria e le risorse disponibili su ciascun dispositivo collegato, quindi tagliare in modo intelligente il modello AI in pezzi che verranno distribuiti in tutta la rete. Più dispositivi aggiungi, più aumenti la capacità totale del cluster.

Per iniziare con EXO, basta installare Python 3.12+, quindi eseguire questi comandi:

git clone https://github.com/exo-explore/exo.git
cd exo
source install.sh

Una volta installato, quindi avvia il comando exo su ogni dispositivo. Il sistema rileverà quindi automaticamente gli altri nodi sulla rete, in questo modo, non è necessario una configurazione contorta! Tutto funziona in P2P.

Un’interfaccia Web in stile CHATGPT è quindi accessibile su http: // localhost: 52415.

Per operare, EXO utilizza una strategia di partizionamento chiamata Partizionamento ponderato per la memoria della memoria Laddove ciascun dispositivo esegue una serie di livelli del modello proporzionale alla memoria disponibile. Puoi quindi integrare EXO nelle tue applicazioni esistenti grazie alla sua API compatibile con quello di Chatgpt.

Molti modelli sono già supportati come Llama (MLX e Tinygrad Versions), Mistral, Llava, Qwen o DeepSeek.

Se vuoi vedere di più, Un tutorial è disponibile qui. Io dalla mia parte, non ho abbastanza macchine disponibili per eseguire Exo in modo comodo, ma uno YouTuber ha fatto il test con 5 MAC Studio, quindi condivido il tuo video per te:

https://www.youtube.com/watch?v=ju0ndy2kwlw


Grazie a Lorenper e Letsar per questa eccellente scoperta!

Scopri Exo su github


Source link

Categorized in:

Tecnologia