NEO lär sig snabbt

[TiborBlomhall]

I november i fjol berättade vi om roboten NEO som företaget 1X har tagit fram. Den är en direkt konkurrent till Teslas Optimus humanoida robot, med två stora fördelar: Med sin mjuka kropp är den utformad för en tillvaro i folks hem. Mjuk stickad tröja istället för hård metall och plast. Och du kan köpa en redan idag. Leveranser startar senare i år.

Fast presentationen av NEO blev ganska kontroversiell av en annan anledning: de uppgifter roboten inte själv kunde utföra skulle istället skötas av folk som fjärrstyrde roboten. Riktiga människor som fjärrtittar in i ditt hus. Och roboten kunde vid första presentationen inte utföra särskilt många uppgifter på egen hand.

Stora problemet med robotar är hur man ska lära dem vad de ska göra. Hur ska de till exempel kunna koka kaffe? Hitta kaffebryggaren i köket, fatta hur den fungerar. Det finns tusentals olika bryggare. Och dagens AI kräver enorma mängder indata för att lära sig saker. När roboten Figure 01 skulle lära sig koka kaffe behövde den titta på 10 timmar med film på hur människor gör innan den kunde lära sig göra det själv. På just den maskinen.

Det går ju inte. Hur ska man kunna fixa timmar med videos på varenda liten grej robotarna ska lära sig?

Företaget 1X har kommit med en genial lösning på problemet: AI videogenerering. De har släppt ovan video där roboten bland annat ställs inför uppgiften att lyfta på locket på en toalett. NEO har aldrig sett en toalett förut – hur ska den veta vad man ska göra?

Men det finns många AI videogenerator program som kan generera superrealistiska videos på folk som lyfter på toalock. Program som till exempel Veo och Sora behöver bara en textprompt “gör en video med en person som lyfter på en toalock”. Man kan till och med ge den en stillbild på en toa så genereras en filmklipp med just den toan. Roboten vet inte hur en toa fungerar – men AI videoverktyg vet.

1X har utvecklat en egen, specialiserad videogenerator som kan ta bilden från robotens kameraögon som utgångsbild och generera klipp på hur det skulle se ut när roboten gör sin uppgift. Sedan efterliknar roboten rörelserna från filmklippet i verkliga världen.

Nedan filmklipp visar hur roboten ska plocka upp en kastrull från bordet. Till vänster syns klippet AI videogeneratorn skapade. Den vet vad en kastrull är och att man tar i dess handtag när man plockar upp den. Till höger ser man hur verkliga roboten i verkliga världen efterliknar rörelsen.

https://stream.mux.com/3WxvYTCd00sKUiYC ... reams=true

Plötsligt behövs det inte enorma mängder indata längre, från tusentals upprepningar utförda av mänskliga operatörer. 1X World Model har redan en “medfödd” förståelse av vår värld, vet hur man utför olika uppgifter, och kan anpassa det efter utgångsbilden den får från robotens kameror. Plötsligt blir komplexa uppgifter som “öppna kylskåpet”, “ta upp kastrullen”, “stryk skjortan” om inte lekande lätt så åtminstone något roboten kan ge sig i kast med utan tusentals timmar träningsdata.

Plötsligt behöver NEO inte fjärrstyras av människor hela tiden. Den kan till och med klara av uppgifter den aldrig ens har tränats på förut. I ett utav klippen på företagets hemsida bad de roboten spela på en xylofon. Utan någon som helst träning, utan att någonsin ens ha sett en xylofon förut fattade roboten hur den skulle göra. Åter igen till vänster AI videogenerering, till höger verkliga roboten:

https://stream.mux.com/EoSNTZyQQDeB6fS9 ... reams=true

Det blev nog inga sköna toner, men att slippa först spela in tusentals klipp med människor som spelar xylofon, och sedan behöva träna robotens AI innan den kan försöka göra det själv är ändå framtidens melodi.

1X och roboten NEO visar vägen mot hur framtidens robotar kan komma klara sig utan komplexa inlärningsbehov.



Source: https://teslaclubsweden.se/neo-lar-sig-snabbt/

[AAKEE]

@NEO har ju ganska bra koll redan innan

[spacecoin]

Att använda videogenerering för träning av robotar är inte så nytt som folk tror. Ett exempel är Wayve som 2023 tog fram GAIA-1 som genererade simulator-scenarior för träning.

Det finns givetvis massor av andra hinder på forskningsstadiet kvar innan robotar blir "mainstream" i våra hem och jag skulle inte investera i en robot-startup som håller på med detta.

[SwedishAdvocate]

Hur går det för den här produkten nu för tiden?…

[TiborBlomhall]

Hur går det för den här produkten nu för tiden?…

Den var 1X förra generations robot. Stackars EVE är nu nästan helt bortplockad från företagets webbsida, förutom en ganska dold sida med en video på https://www.1x.tech/eve

Jag tror att det har att göra med att EVE var pitchad som en industriell robot medan NEO är menad för hemanvändare, och 1X har anpassat hela sin hemsida till NEO.

Mig veterligen har 1X inte aktivt lagt ner EVE, den "finns" fortfarande och NEO delar många komponenter och mjukvara med EVE.