Apple Mlx

Ollama har implementerat MLX för att förbättra AI-prestanda på Mac-datorer med Apple-silicon, vilket gör det enklare att köra AI-modeller lokalt.

Ollama har uppdaterat sin app för att utnyttja Apples MLX-ramverk, vilket ger en hastighetsökning på 1,6 gånger för kommandon och nästan dubblerar svarsgenereringen på Macs med Apple-silikon. Uppdateringen, Ollama 0.19, kräver över 32 GB enhetligt minne och stödjer för närvarande Alibabas Qwen3.5.

MacStories presenterar sin veckovisa sammanställning med nya artiklar och podcaster, inklusive en återställningsgenväg, AI-modeller på Mac Studio och en ny RSS-läsare.

M5-chipet i MacBook Pro och iPad Pro har dedikerade neurala acceleratorer som ger en hastighetsökning på 3-4 gånger i beräkningar. Fullt stöd för dessa acceleratorer i MLX väntas senare i år.

Apples MLX ramverk får nu stöd för NVIDIA GPU:er genom en ny CUDA-backend, vilket möjliggör körning av MLX-modeller på dessa grafikkort.