AI är nu smartare än dig

[TiborBlomhall]

Sajten trackingAI.org utför regelbundna IQ tester av olika AI modeller. I mars i år chockerade de världen när AI modellen Claude-3 för första gången passerade 100 i en IQ test och därmed blev smartare än genomsnittsmänniskan. IQ tester är utformade så att en genomsnittligt intelligent människa ska få resultatet 100 poäng.

Nu åtta månader senare är en annan AI modell, Open AI-s o1 uppe i 122 i IQ. Endast drygt 6% av oss människor har högre IQ än så. Därav dagens rubrik “AI är nu smartare än dig” utan att personligen mena just dig kära läsare.

Sajten använder sig av frågor från norska Mensa klubbens online test. Du kan ju själv prova vad du får för resultat där.

TrackingAI.org-s grundare Maxim Lott berättar att han höll på att bli blasé då ingen förbättring av resultaten skedde sedan i mars då Claude-3 passerade 100 i IQ. Tills för en månad sedan då o1 plötsligt fick 120 i resultat! Den svarade rätt på frågor han själv gick bet på.

En betydande förändring som skett under de senaste månaderna var dock att allt fler AI modeller börjat förstå bilder. I början av året behövde frågorna översattas till text innan AI modellerna kunde svara på dem – nu kan allt fler bara titta på bilden:



Men hur mycket av resultaten beror på “äkta IQ” – och hur mycket är “fusk”: att modellerna hittat svaren online på Internet? Även om Mensa inte publicerar resultaten kan AI modellerna ha hittat dem på andra platser?

För att säkerställa att modellerna inte fuskar bad Maxim Lott en Mensa medlem utforma en helt ny IQ test med unika frågor som aldrig visats online. Med de frågorna fick o1 “bara” 99 poäng. När den testen sedan testades på människor verkade det dock som om den var något svårare att lösa än andra IQ tester. Open AI o1 “sanna” IQ ligger därför nu troligtvis någonstans mellan 100 och 120.

När en artificiell intelligens för första gången passerade 100 i IQ i mars i år extrapolerade Maxim Lott att de skulle passera 120 om ett år, i mars 2025. Utvecklingen visade sig vara mycket snabbare än så.

Mensa, klubben som samlar världens 2% mest intelligenta har 131 poäng som minimigräns för medlemskap. De får göra sig beredda på att redan nästa år börja ta emot artificiella medlemmar.



Source: https://teslaclubsweden.se/ai-ar-nu-smartare-an-dig/

[tesla newbie]

Frågan är om det innebär att AI är intelligent eller att vi behöver bättre intelligenstester

[spacecoin]

Frågan är om det innebär att AI är intelligent eller att vi behöver bättre intelligenstester

Precis. Det finns redan bättre tester som inte finns öppna. De består av olika pussel som 11-åringar klarar lätt men ”ai” får runt 30-50% på max.

Se: https://arcprize.org/arc

Hela grejen är att ML inte kan generalisera bra och framförallt inte överföra kunskap mellan domäner.

IQ-tester som i artikeln är pattern matching som det finns gott om exempel på i träningsdatat. Dvs system är i princip en databas med fuzzy query. Inte intelligens. Sjukt användbart ändå så klart att man kan söka i, i princip, all världens kunskap.

Här är fler intressanta spaningar:
https://www.understandingai.org/p/seven ... an-workers

[Niklas Z]

IQ-tester är ju en sorts mätning via proxy. Det IQ-tester mäter korrelerar hos oss människor så pass starkt med den eller de egenskaper vi vill mäta, men som vi inte har verktyg för att mäta, att IQ-tester blir användbara. Däremot behöver inte korrelationen mellan det IQ-tester mäter och det vi vill mäta vara stark hos datorer.
IQ-tester är framtagna med oss människor i åtanke, inte andra system.

[tor-ake]

AI är smartare än dig, och nu också heligare än dig - I Peterskapellet i Luzern har de installerat en AI-jesus, som du kan dryfta dina kristna funderingar med.

Med anledning av 100-årsjubileet för den Schweiziska St. Lukasföreningen blickar Peterskapellet framåt genom det konstnärliga projektet «Deus in machina». Den experimentella konstinstallationen «Deus in machina» skapar ett intimt utrymme där besökare kan dela sina tankar och frågor i en biktstol med ett himmelskt hologram. Här är orden avsedda endast för "fyra öron" – dock utan traditionell bikt. Deus in machina uppmuntrar till kritisk reflektion kring teknologi och dess gränser i ett religiöst sammanhang.

Så fråga dig själv, vad skulle Jesus göra - eller i en snar framtid, ta upp din smartphone med "Pocket Jesus" och fråga den.

[SwedishAdvocate]

AI är smartare än dig, och nu också heligare än dig - I Peterskapellet i Luzern har de installerat en AI-jesus, som du kan dryfta dina kristna funderingar med.

Med anledning av 100-årsjubileet för den Schweiziska St. Lukasföreningen blickar Peterskapellet framåt genom det konstnärliga projektet «Deus in machina». Den experimentella konstinstallationen «Deus in machina» skapar ett intimt utrymme där besökare kan dela sina tankar och frågor i en biktstol med ett himmelskt hologram. Här är orden avsedda endast för "fyra öron" – dock utan traditionell bikt. Deus in machina uppmuntrar till kritisk reflektion kring teknologi och dess gränser i ett religiöst sammanhang.

Så fråga dig själv, vad skulle Jesus göra - eller i en snar framtid, ta upp din smartphone med "Pocket Jesus" och fråga den.

Personligen tycker jag ju inte det är särkilt smart att tillskriva 'gudomliga' egenskaper till en sagofigur. Men jag antar att det var det som var poängen.
and all…

[SwedishAdvocate]

All AI har så här nästan två år senare inte lärt sig svenska svampar.

Här har appen helt fel – svampexperten Nina sågar AI

Publicerad Idag 05:56 […]

Drygt hälften av svenskarna skulle inte känna igen en giftig svamp, enligt en Novusundersökning för Läkemedelsverket. Men att ta hjälp av AI kan sluta riktigt illa, varnar svampkonsulenten Nina Viereckel.

I sociala medier ser hon att många svampplockare frågar AI om arter, och svaren kan låta tvärsäkra.

I skogen i Lysvik testas ett vanligt AI-verktyg – och resultatet visar varför frågan väcker oro.

https://www.sverigesradio.se/artikel/ex ... l-om-svamp

[manneson]

Tror inte det krävs så högt IQ för att räkna till 100 tillsammans med två andra.
Men det verkar svårt för dagens AI.
Kort sagt är dagens AI något som tränats på mönster, och den förväntar sig att dessa mönster upprepas.
Att klura ut något nytt från grunden, som den inte tränats på, är mer eller mindre omöjligt. Just det är i min mening verklig intelligens.

[fth]

Den här bilden är mer relevant idag än någonsin...

Intelligence2.jpg

liksom artikeln

https://waitbutwhy.com/2015/01/artifici ... ion-1.html

Utvecklingen går extremt fort just nu, den här typen av "AI är så korkad"-videos visar kanske mest hur dåliga vi är på att förstå exponentiell utveckling.

/fth

[RareEarth]

Den här bilden är mer relevant idag än någonsin...
Intelligence2.jpg

liksom artikeln

https://waitbutwhy.com/2015/01/artifici ... ion-1.html

Utvecklingen går extremt fort just nu, den här typen av "AI är så korkad"-videos visar kanske mest hur dåliga vi är på att förstå exponentiell utveckling.

/fth

Den är tänkvärd, och möjlig. Men det är inte säkert att utvecklingen är exponentiell, enligt något meningsfullt sätt att mäta. Det är inte självklart.

[fth]

Den här bilden är mer relevant idag än någonsin...
Intelligence2.jpg

liksom artikeln

https://waitbutwhy.com/2015/01/artifici ... ion-1.html

Utvecklingen går extremt fort just nu, den här typen av "AI är så korkad"-videos visar kanske mest hur dåliga vi är på att förstå exponentiell utveckling.

/fth

Den är tänkvärd, och möjlig. Men det är inte säkert att utvecklingen är exponentiell, enligt något meningsfullt sätt att mäta. Det är inte självklart.

Det är förstås oerhört svårt att mäta detta, men det finns massor av väl etablerade benchmarks som i stort sett alla visar på en accelererande utveckling, och många matchar mycket väl exponentiell utveckling, se t.ex. METR task-horizon.
https://metr.org/
/fth

[fth]

Den riktigt spännande/farliga utvecklingen kommer förstås när AI-modellerna blir rekursivt självförbättrande, vilket iaf enligt Anthropic inte ser ut att vara särskilt långt borta.

Över 90% av deras utveckling är i slutet av augusti redan minst "AI collaborate", och 26% är redan "AI leads"...

https://www.anthropic.com/institute/mea ... evelopment

/fth

[RareEarth]

Den här bilden är mer relevant idag än någonsin...
Intelligence2.jpg

liksom artikeln

https://waitbutwhy.com/2015/01/artifici ... ion-1.html

Utvecklingen går extremt fort just nu, den här typen av "AI är så korkad"-videos visar kanske mest hur dåliga vi är på att förstå exponentiell utveckling.

/fth

Den är tänkvärd, och möjlig. Men det är inte säkert att utvecklingen är exponentiell, enligt något meningsfullt sätt att mäta. Det är inte självklart.

Det är förstås oerhört svårt att mäta detta, men det finns massor av väl etablerade benchmarks som i stort sett alla visar på en accelererande utveckling, och många matchar mycket väl exponentiell utveckling, se t.ex. METR task-horizon.
https://metr.org/
/fth

Ja men de mäter inte "intelligens". En banal jämförelse: de senaste 60-ish åren har beräkningskapaciteten hos datorer haft en exponentiell utveckling. Men nyttan av enskilda applikationer har inte förbättrats exponentiellt. Exempelvis Excel har inte blivit exponentiellt mycket bättre per år sedan det lanserades 1985. Snarare har förbättringen följt en mer linjär eller logaritmisk kurva. Detsamma gäller för de flesta nyttoapplikationer vi använder.

Det är många stora osäkerheter med AI. Vi vet inte om begreppet intelligens är obegränsat eller om det finns någon form av tak för hur intelligent en entitet kan bli. Vi vet inte om det nuvarande paradigmet med LLM har obegränsad potential eller som man stöter på en gräns i form av "diminishing returns" när man ökar beräkningskapacitet och storlek på modellen.

AI-verktyg är ju inte helt lätta att bedöma. De kan lösa matematiska problem som det om Navier-Stokes som ligger på gränsen för mänsklig förmåga, men de klarar fortfarande inte alltid att rita en gubbe utan att sätta dit tre ben.

[AAKEE]

Det är för att AI är så smart så han/hon föreslog att jag skulle ta kvartitre-tåget när klockan var 15:30

[manneson]

Den riktigt spännande/farliga utvecklingen kommer förstås när AI-modellerna blir rekursivt självförbättrande, vilket iaf enligt Anthropic inte ser ut att vara särskilt långt borta.

Över 90% av deras utveckling är i slutet av augusti redan minst "AI collaborate", och 26% är redan "AI leads"...

https://www.anthropic.com/institute/mea ... evelopment

/fth

”Claude is not operating fully autonomously for any measured subset of AI R&D work.”

[ErransEgo]

Jag har frågat många smarta människor och AI insatta personer där alla kan säga och hitta risken med att AI kommer förgöra oss.
Men inte en enda person kan säga om eller hur vi kan stoppa AI från att utvecklas till vår undergång.
Elon jiddrar något om att den som tränar AI måste ha fina värderingar och annat dravel.

Så mina vänner, hur ska vi rent konkret göra för att stoppa AI från att bli vår undergång?

[SwedishAdvocate]

Jag har frågat många smarta människor och AI insatta personer där alla kan säga och hitta risken med att AI kommer förgöra oss.
Men inte en enda person kan säga om eller hur vi kan stoppa AI från att utvecklas till vår undergång.
Elon jiddrar något om att den som tränar AI måste ha fina värderingar och annat dravel.

Så mina vänner, hur ska vi rent konkret göra för att stoppa AI från att bli vår undergång?

Då föreslår jag att någon först förklarar hur AI kommer bli vår undergång. Känns ju lite lättare att lösa problemet när vi vet vad det faktiskt är.

Det lär ju ta ett tag ifall AI:s plan är att förgifta oss med icke-ätliga svampar…

[mussla]

Jag har frågat många smarta människor och AI insatta personer där alla kan säga och hitta risken med att AI kommer förgöra oss.
Men inte en enda person kan säga om eller hur vi kan stoppa AI från att utvecklas till vår undergång.
Elon jiddrar något om att den som tränar AI måste ha fina värderingar och annat dravel.

Så mina vänner, hur ska vi rent konkret göra för att stoppa AI från att bli vår undergång?

Då föreslår jag att någon först förklarar hur AI kommer bli vår undergång. Känns ju lite lättare att lösa problemet när vi vet vad det faktiskt är.

Ett sätt att se på det är att om AI blir smartare än oss så kan vi inte kontrollera det. Vi kan heller inte förstå hur det kan göra för att förinta mänskligheten.

Kanske blir vi för dem som myror är för oss.

[fth]

Det finns som sagt många tänkbara scenarios, och spaltkilometer skrivet om detta, men man kan ju t.ex börja sina spekulationer genom att utgå från att en AGI/ASI kan hacka allt, och fundera på vilka hot detta kan innebära, när man dessutom inte kan räkna med att man öht förstår motiv och drivkrafter.

/fth

[martinot]

Det finns som sagt många tänkbara scenarios, och spaltkilometer skrivet om detta, men man kan ju t.ex börja sina spekulationer genom att utgå från att en AGI/ASI kan hacka allt, och fundera på vilka hot detta kan innebära, när man dessutom inte kan räkna med att man öht förstår motiv och drivkrafter.

/fth

AI kommer främst att direkt "bara" kunna påverka allt som är uppkopplat emot Internet och andra former av nätverk, och "endast" sådant som är styrt av elektronik/datorer.

[fth]

Det finns som sagt många tänkbara scenarios, och spaltkilometer skrivet om detta, men man kan ju t.ex börja sina spekulationer genom att utgå från att en AGI/ASI kan hacka allt, och fundera på vilka hot detta kan innebära, när man dessutom inte kan räkna med att man öht förstår motiv och drivkrafter.

/fth

AI kommer främst att direkt "bara" kunna påverka allt som är uppkopplat emot Internet och andra former av nätverk/elektronik.

Ja, och "bara" allt utöver detta som kan nås av maskiner och utrustning i den kategorin.

Detta omfattar ju i princip allt i den utvecklade delen av världen (Sentinel Island klarar sig nog ett tag).

Det bör ju t.ex. gå att åstadkomma rätt mycket skada i den fysiska världen med några hundra tusen kapade Teslor...

/fth

[Freez]

Skynet

[ErransEgo]

Jag har frågat många smarta människor och AI insatta personer där alla kan säga och hitta risken med att AI kommer förgöra oss.
Men inte en enda person kan säga om eller hur vi kan stoppa AI från att utvecklas till vår undergång.
Elon jiddrar något om att den som tränar AI måste ha fina värderingar och annat dravel.

Så mina vänner, hur ska vi rent konkret göra för att stoppa AI från att bli vår undergång?

Då föreslår jag att någon först förklarar hur AI kommer bli vår undergång. Känns ju lite lättare att lösa problemet när vi vet vad det faktiskt är.

Det lär ju ta ett tag ifall AI:s plan är att förgifta oss med icke-ätliga svampar…

Jag själv tror ungefär som I, robot, de tar över fast nu tar de ihjäl oss snabbt och effektivt utan medömkan eller pardon.
”Den” kommer ha lika mycket känslor för oss som vi har för myrstacken i gräsmattan eller skogsdungen när vi ska bebygga med nya hus och byggnader = noll procent.

Men här har du fler förslag.
https://theconversation.com/how-would-a ... ios-292220

https://en.wikipedia.org/wiki/AI_aftermath_scenarios

[Maetlarv]

Den här bilden är mer relevant idag än någonsin...
Intelligence2.jpg

liksom artikeln

https://waitbutwhy.com/2015/01/artifici ... ion-1.html

Utvecklingen går extremt fort just nu, den här typen av "AI är så korkad"-videos visar kanske mest hur dåliga vi är på att förstå exponentiell utveckling.

/fth

Nej, de visar snarare hur korkade och förenklade utsagor av typen ”AI är nu smartare än dig” är.
För det första finns det inte en AI utan massor av AI-system som är bra o dåliga på olika saker.
För det andra är vissa AI-system definitivt extremt mycket bättre än alla människor på vissa uppgifter samtidigt som det finns andra uppgifter som är enkla för människor som inget AI-system klarat av.

Elons favorituttryck om exponentiell utveckling och att vi inte förstår den är för övrigt extremt uttjatat och överanvänt i alla möjliga och omöjliga sammanhang. Jag har också lite svårt att se att det över huvud taget hjälper oss att begripa eller förstå utvecklingen framöver att vi börjar med att påstå vi inte begriper en viss typ av utveckling.
Känns bara som en trött kliche.

[Fredrik j]

Bad Gemini att göra en pensionsprognos med lite olika variabler.
Den bekräftade då att om jag skulle gå i pension vid 65år skulle jag arbeta i 19år till.
Eftersom jag är 55 så undrade jag hur det kunde bli 19år.
Svaret blev "ursäkta, jag räknade fel".
Lägger man in några såna här banala räknefel för att man ska tycka den blir mer mänsklig?