OpenAIs nya Codex-app har den bästa funktionen för 'datoranvändning' jag någonsin har testat

Datoranvändning i Codex. OpenAI lanserade sin uppdaterade Codex-app för Mac igår och, bland annat, släppte de ett inbyggt verktyg för datoranvändning för macOS som låter Sky interagera med flera Mac-appar i bakgrunden med hjälp av parallella markörer som inte för fram apparna till förgrunden när agenter interagerar med dem. Åh, jag ber om ursäkt, sa jag "Sky" istället för Codex? Det är ingen tillfällighet. Funktionen som OpenAI lanserade i Codex är bokstavligen baserad på Sky-appen som jag exklusivt förhandsgranskade förra året, och som senare förvärvades av OpenAI tillsammans med teamet som byggde den. Jag använder inte termen "bokstavligen" i en liberal mening här. När du aktiverar pluginet för Datoranvändning i Codex kan du gå till appens config.toml-konfigurationsfil, öppna den i en textredigerare, och du kommer att se denna rad: /Users/username/.codex/plugins/cache/openai-bundled/computer-use/1.0.750/Codex Computer Use.app/Contents/SharedSupport/SkyComputerUseClient.app/Contents/MacOS/SkyComputerUseClient Öppna den mappen och, visst, där finns en körbar fil för den tidigare Sky "appen", nu laddad som en förstapart-plugin som hanterar de virtuella datorinteraktionerna för Codex: Åh hej! Jag känner att jag är i en ganska unik position att kommentera allt detta eftersom, som MacStories-läsare kommer att minnas, jag kunde testa Sky i flera månader förra året innan teamet blev tysta och gick med i OpenAI. Här är saken: Jag överdriver inte när jag säger att Codex nu har den bästa funktionen för datoranvändning jag någonsin har testat i någon LLM eller skrivbordagent. Faktum är att den till och med är bättre än funktionen för datoranvändning jag använde i Sky förra året: Skys datoranvändning var fantastisk, men den var avsevärt långsammare än Codex nuvarande eftersom den kördes på Anthropics Claude-modeller. Med Codex för Mac idag är till och med den (ganska långsamma) GPT 5.4 snabbare än Sky någonsin var. Men, att använda Codex med snabb läge eller – för enklare uppgifter – Cerebras-hostade GPT-5.3-Codex-Spark-modellen ger dramatiskt snabbare prestanda än Sky för Mac levererade 2025. Men varför är det så? Låt mig förklara. De flesta modeller för datoranvändning (som den i Claude-appen, eller till och med den just släppta Persondatorn av Perplexity) förlitar sig på en kombination av skärminspelningsmöjligheter och lite AppleScript för att antingen simulera virtuella klick på skärmen och utföra grundläggande åtgärder inuti appar genom att kalla på osascript i en virtuell skal. Sky var annorlunda, och Codex är annorlunda, och jag kan dela fler detaljer idag som jag inte gick in på när jag skrev om Sky förra året. Vi har alla Apples tillgänglighetsteam att tacka för teknologin som gör att Codexs verktyg för datoranvändning kan existera. För att bygga det tog Codex-teamet tillvara på en avancerad tillgänglighetsfunktion som gör att tredjepartsappar kan läsa "tillgänglighetshierarkin" (även känd som "AX Tree") för vilken app som helst som är öppen på macOS.