Du kan köra AI-modeller på den där Intel Mac Pro
ToshLLM-projektet möjliggör körning av AI-modeller på Intel Mac Pro med AMD-grafikkort, utan kostnad per token och utan molntjänster, även om prestandan är lägre än M5 Ultra Mac Studio.
Relaterade artiklar
Så här kör du AI i stil med ChatGPT på din Mac utan att betala ett öre
OpenAI har släppt gpt-oss-20b-modellen som gör det möjligt för Mac-användare att köra AI-liknande ChatGPT offline utan kostnad. Modellen kan användas på många Apple Silicon Macs med rätt installation.
Potentialen hos M6 och M5 Ultra för lokal AI på macOS
Apple har presenterat Mac mini med M6-chip och Mac Studio med M5 Ultra, som båda fokuserar på lokal AI-prestanda. M6 använder 2 nm-teknologi och har en Dual 16-kärnig Neural Engine för upp till dubbelt så snabb AI-beräkning.
Meta släpper kraftfull AI-modell – kan köras lokalt på Mac
Meta har lanserat AI-modellen Muse Spark Open, som kan köras lokalt på minst två Mac Studio-datorer med M5 Ultra. Modellen, med 816 miljarder parametrar, är optimerad för Apples MLX och kan användas för programmering och automatisering.
Ollama antar MLX för snabbare AI-prestanda på Mac-datorer med Apple-silicon
Ollama har implementerat MLX för att förbättra AI-prestanda på Mac-datorer med Apple-silicon, vilket gör det enklare att köra AI-modeller lokalt.