ChatGPT:s brister i integrationen med Apple Health avslöjade i ny rapport

En reporter från The Washington Post har testat ChatGPT:s nya valfria integrationsfunktion med Apple Health genom att mata in tio års data från sin Apple Watch. Resultaten var inte uppmuntrande, för att säga det milt. Tidigare denna månad tillkännagav OpenAI lanseringen av ChatGPT Health, en dedikerad sektion av ChatGPT där användare kan ställa hälsorelaterade frågor helt åtskilt från sin huvudsakliga ChatGPT-upplevelse. För mer personliga svar kan användare koppla olika hälso-datatjänster som Apple Health, Function, MyFitnessPal, Weight Watchers, AllTrails, Instacart och Peloton. ChatGPT Health kan också integreras med dina medicinska journaler, vilket gör att den kan analysera dina laboratorieresultat och andra aspekter av din medicinska historia för att informera sina svar på dina hälsofrågor. Med detta i åtanke gav reportern Geoffrey Fowler ChatGPT Health tillgång till 29 miljoner steg och 6 miljoner hjärtslagsmätningar från sin Apple Health-app och bad boten att betygsätta hans hjärthälsa. Den gav honom ett F. Känslomässigt upprörd bad Fowler sin faktiska läkare, som utan tvekan avfärdade AI:ns bedömning helt. Hans läkare sa att Fowler hade så låg risk för hjärtproblem att hans försäkring sannolikt inte ens skulle täcka ytterligare tester för att motbevisa chatbotens fynd. Kardiologen Eric Topol från Scripps Research Institute var också oberörd av den stora språkmodellen bedömning. Han kallade ChatGPT:s analys "grundlös" och sa att folk borde ignorera dess medicinska råd, eftersom den uppenbarligen inte är redo för primetime. Kanske den mest oroande upptäckten var dock ChatGPT:s inkonsekvens. När Fowler ställde samma fråga flera gånger svängde hans poäng vilt mellan ett F och ett B. ChatGPT glömde också hela tiden grundläggande information om honom, inklusive hans kön och ålder, trots att den hade full tillgång till hans journaler. Anthropic:s Claude-chatbot klarade sig något bättre – men inte mycket. LLM:en betygsatte Fowlers hjärthälsa till ett C, men den misslyckades också med att korrekt ta hänsyn till begränsningar i Apple Watch-data. Båda företagen säger att deras hälsotools inte är avsedda att ersätta läkare eller ge diagnoser. Topol argumenterade med rätta att om dessa botar inte kan bedöma hälso-data korrekt, då borde de inte erbjuda betyg alls. Ändå verkar ingenting stoppa dem. Den amerikanska livsmedels- och läkemedelsmyndigheten (FDA) sa tidigare denna månad att myndighetens uppgift är att "kliva åt sidan som regulator" för att främja innovation. En kommissionär drog en röd linje vid AI som gör "medicinska eller kliniska påståenden" utan FDA-granskning, men ChatGPT och Claude hävdar att de bara tillhandahåller information. "Folk som gör detta kommer att bli riktigt oroliga för sin hälsa," sa Topol. "Det kan också gå åt andra hållet och ge människor som är ohälsosamma en falsk känsla av att allt de gör är bra." ChatGPT:s integration med Apple Health är för närvarande begränsad till en grupp beta-användare.