GPT-4 Vision obsoleto? Scopri le alternative open source LLaVA 1.5 che stanno conquistando il mercato!
LLaVA 1.5: un’alternativa open source a GPT-4 Vision
L’intelligenza artificiale generativa si sta evolvendo rapidamente grazie ai modelli linguistici multimodali (LMM), rappresentati da iniziative come GPT-4 Vision di OpenAI. Questi modelli rivoluzionano la nostra interazione con i sistemi di intelligenza artificiale integrando testo e immagini.
Tuttavia, la natura chiusa e commerciale di alcune di queste tecnologie potrebbe ostacolarne l’adozione universale. È in questo contesto che la comunità open source offre una promettente alternativa a GPT-4 Vision con il modello LLaVA 1.5.
La meccanica del LMM
Gli LMM funzionano utilizzando un’architettura multistrato. Combinano un modello pre-addestrato per codificare elementi visivi, un modello linguistico di grandi dimensioni (LLM) per decifrare e rispondere alle istruzioni dell’utente e un connettore multimodale per collegare visione e linguaggio.
La loro formazione si svolge in due fasi: una fase iniziale di allineamento tra visione e linguaggio, seguita da un aggiustamento fine per rispondere alle richieste visive. Questo processo, sebbene efficiente, spesso richiede notevoli risorse computazionali e un database accurato e ricco.
I vantaggi di LLaVA 1.5
LLaVA 1.5 si basa sul modello CLIP per la codifica visiva e Vicuna per il linguaggio. Il modello originale, LLaVA, utilizzava le versioni testuali di ChatGPT e GPT-4 per la regolazione visiva, generando 158.000 esempi di formazione.
LLaVA 1.5 va oltre collegando il modello linguistico e il codificatore visivo attraverso un percettrone multistrato (MLP), arricchendo il proprio database di formazione con domande e risposte visive. Questo aggiornamento, che include circa 600.000 esempi, ha consentito a LLaVA 1.5 di sovraperformare altri LMM open source su 11 dei 12 benchmark multimodali.
Il futuro degli LMM open source
La demo online di LLaVA 1.5, accessibile a tutti, mostra risultati promettenti anche con un budget limitato. Tuttavia, va notato che l’utilizzo dei dati generati da ChatGPT ne limita l’utilizzo a scopi non commerciali.
Nonostante questa limitazione, LLaVA 1.5 apre la strada al futuro degli LMM open source. Il suo rapporto costo-efficacia, la capacità di generare dati di addestramento in modo scalabile e l’efficienza nella regolazione delle istruzioni visive ne fanno un preludio a future innovazioni.
LLaVA 1.5 è solo l’inizio di un’evoluzione che accompagnerà il progresso della comunità open source. Anticipando modelli più efficienti e accessibili, possiamo immaginare un futuro in cui la tecnologia dell’intelligenza artificiale generativa sarà accessibile a tutti, rivelando il potenziale illimitato dell’intelligenza artificiale.