Apple utvecklar effektiv AI för att förstå långa videofilmer – slår större modeller

Modellen, SlowFast-LLaVA-1.5, bygger vidare på den öppna forskningsmodellen SlowFast-LLaVA men har anpassats och tränats av Apple för att bli både mer resurssnål och mer mångsidig, rapporterar 9to5Mac. Problemet med video och AI Att träna språkmodeller på video är krävande. Vanligtvis delas videon upp i enskilda bildrutor som analyseras med datorseende, men eftersom de flesta bildrutor innehåller nästan samma information blir resultatet en enorm mängd data som snabbt överskrider modellernas minnesgränser. Detta gör metoden ineffektiv och svår att skala. Apples lösning Apple kombinerade två olika analysströmmar: En ”långsam” ström som tittar på färre rutor i hög detalj för att förstå vad som syns i bilden, En ”snabb” ström som tittar på fler rutor i lägre detalj för att följa rörelser över tid. Först finjusterades modellen på bilder för att bygga en bred visuell förståelse, och därefter tränades den på både bilder och videor från publika dataset. Resultatet blev en familj av modeller i tre storlekar (1B, 3B och 7B parametrar) som presterar bättre än betydligt större modeller inom långvideoanalys – ibland med bred marginal. Varför det här är viktigt Effektivitet: Genom att bara analysera 128 rutor – 96 för rörelser och 32 för detaljer – kan modellen hantera även timslånga klipp utan att överbelastas. Allsidighet: Till skillnad från många tidigare videomodeller fungerar den också bra på bilduppgifter, som texttolkning och matematiskt resonemang. Tillgänglighet: Modellen är tränad på öppna dataset och finns nu tillgänglig som open source på GitHub och Hugging Face. Begränsningar och framtid Metoden riskerar att missa vissa nyckelrutor och kan få svårt att tolka videons uppspelningshastighet. Forskarna menar att ytterligare optimering kräver mer minnesbesparande tekniker, något som kan bli nästa steg i utvecklingen. Trots dessa utmaningar markerar Apples arbete ett genombrott inom videobaserad AI. En mer effektiv modell som klarar långa klipp utan att kräva extrema resurser kan på sikt få stor betydelse för allt från videoredigering och sökning till utbildning och underhållning.