FSD Beta är imponerande!

[spacecoin]

[
1) Du har valt ut några parametrar, eller snarare odefinierade ord, som enligt dig är viktigast. Har du någon referens på något/några av dessa "ord" skulle vara viktigast för AD?
Jag kan köpa "processorkraft", men menar du onboard eller till training? Med "datainsamling" så antar jag att du menar training data set? Där tänker jag att kvalitet trumfar storlek. Det var i alla fall det AK sa i robot brains-podden som jag uppfattade det.

2) Hur är du så säker på att Tesla är bäst på dessa ord du valt ut?

Enligt min erfarenhet hjälper det med mer pengar om man behöver dom bästa resurserna.

Mer pengar kan hjälpa om det finns kompetens att köpa. Det verkar vara ont om det och utveklare som Andrej Karpathy tjänar redan oerhört bra. Det går nog inte bara att locka med pengar, drivna människor tenderar vilja ha något meningsfullt att göra med.

Processorkraft krävs både i bilen för att skapa data som är relevant för träning och sedan även för träning. När Dojo först nämndes så trodde jag att det var distributed computing där man använde alla inaktiva Teslor men det visade sig vara en superdator.

Angående vad som krävs för autonomi. Det spelat ingen roll vilken strategi man har, det går inte att lösa det utan NNs och det kräver obscena mängder data. Kvaliteten är självklart viktig. Det Tesla gör när man låter testförare utmana betan tills dess att de tvingas ingripa och att bilen då fångar hela situationen i 4d är precis det som krävs för att skapa så bra träningsdata som möjligt.

Man kan inte veta om Tesla är bäst men det går inte att komma ifrån att de kan ha ett stort övertag när det gäller antalet testfordon, mängden data och processorkraft. Bara shadow mode kan bli mer och mer värdefullt i takt med att FSD beta förbättras

Jag tror inte att ha tillgång till en snabb träningsdator är något unikt för Tesla. Waymo/Google har ett eget compute cloud etc etc. Vidare finns väl Mobileyes utrustning (kameror) i fler bilar än Tesla.
Mobileye har antagligen mer data också eftersom dom hållit på länge med en stor flotta. Intel lär ju kunna slänga upp några servrar åt Mobileye...

Och trots detta så är det Waymo, med marginal, som kan visa bäst resultat hittills. Och några andra. Så i slutändan kanske det är helt andra saker som spelar in.

När det gäller att hitta talang så tror jag Google, Amazon etc har minst lika bra möjligheter att få rätt personer på plats.

Kort sagt tror jag inte du har så många rätt. Du har bara mer koll på Tesla än alla andra tävlande, och eftersom Tesla jobbar mer aktivt med att skapa hype än någon annan med marginal, så har du sett fler videos, fler tweets och så vidare från Tesla med fanclub.

[spacecoin]

Baidu, som var i "leaders"-kvadranten i rapporten som jag postade, har för övrigt gått live med en ny (förarlös) robotaxi-tjänst med deras "Apollo Go"-varumärke. Denna är i liten skala i en liten liten del av Peking, med 10 bilar. Det är deras tredje testområde som är "live" där allmänheten kan beställa robotaxi.

Det ska blir spännande att se om MobilEye går live i Jerusalem i år. Dom har ju planerat att öppna upp både i EU och i USA under 2022.

[Jordad]

Jag tror inte att ha tillgång till en snabb träningsdator är något unikt för Tesla. Waymo/Google har ett eget compute cloud etc etc. Vidare finns väl Mobileyes utrustning (kameror) i fler bilar än Tesla.
Mobileye har antagligen mer data också eftersom dom hållit på länge med en stor flotta. Intel lär ju kunna slänga upp några servrar åt Mobileye...

Och trots detta så är det Waymo, med marginal, som kan visa bäst resultat hittills. Och några andra. Så i slutändan kanske det är helt andra saker som spelar in.

När det gäller att hitta talang så tror jag Google, Amazon etc har minst lika bra möjligheter att få rätt personer på plats.

Kort sagt tror jag inte du har så många rätt. Du har bara mer koll på Tesla än alla andra tävlande, och eftersom Tesla jobbar mer aktivt med att skapa hype än någon annan med marginal, så har du sett fler videos, fler tweets och så vidare från Tesla med fanclub.

En så snabb dator i den mängden bilar som Tesla har är helt unikt hittils och det skapar ofrånkomligt långt mer användbar data än vad någon annan har tillgång till. Den superdator Tesla håller på att bygga är 10x snabbare än någon existerande dator för träning av NNs. Det är en stor fördel även mot Waymo och Intel. Peter Bannon är kvar på Tesla och har antagligen ansvarat för bygget.

Mobileye har långsam dator i majoriteten av sina bilar och är oftast begränsade till en kamera framåt och de använder data framförallt för att skapa detaljerade kartor. Det är en helt annan strategi än Tesla och det går inte att jämföra rakt av på det sättet. Jag tycker också att Mobileyes strategi är spännande att följa. De verkar ha kommit långt.

Jag är även imponerad av Waymo och har köpt en hel del Alphabet delvis pga det.

Om jag har rätt eller inte spelar ingen roll i sammanhanget. Jag försöker verkligen följa alla och jag vill bara se till att man inte blundar för de uppenbara fördelar Tesla håller på att skaffa sig. Däremot är det så att Teslas strategi också kräver det, de behöver antagligen ha 100x mer relevant data och 100x fler utvecklingsfordon för att lyckas med sin strategi. Det är enda sättet.

[spacecoin]

Jag försöker verkligen följa alla och jag vill bara se till att man inte blundar för de uppenbara fördelar Tesla håller på att skaffa sig. Däremot är det så att Teslas strategi också kräver det, de behöver antagligen ha 100x mer relevant data och 100x fler utvecklingsfordon för att lyckas med sin strategi. Det är enda sättet.

Tumme upp på det. Ska bli spännande att se vad som händer i år och nästa kring AD.

[Curik]

En så snabb dator i den mängden bilar som Tesla har är helt unikt hittils och det skapar ofrånkomligt långt mer användbar data än vad någon annan har tillgång till. Den superdator Tesla håller på att bygga är 10x snabbare än någon existerande dator för träning av NNs. Det är en stor fördel även mot Waymo och Intel. Peter Bannon är kvar på Tesla och har antagligen ansvarat för bygget.

Detta är såklart trams. Du har ingen aning om huruvida deras nya dator kommer bli 10x snabbare (osannolikt). Du tror på deras marketing (som ofta överestimerar) och det får man göra, men det gör det inte till fakta eller att något "är".

Sorry, men det blir lite väl fanatiskt här ibland.

[martinot]

Utan att känna till fakta så misstänker jag att det också är en överdrift. Alla företag som är villiga att investera en eller flera miljarder per år inom AD-utveckling (för det är de siffrorna som vi oftast talar om) har troligen även råd att köpa in den kapacitet gällande både compute och storage som man kräver.

Compute vill man ofta ha i närheten av utvecklare/simuleringar/tester, medans extremt stor storage kan man oftast köpa billigare lite längre bort i världen (Holland för oss i Europa ligger ju bra till prismässigt och kapacitetsmässigt).

Sedan kan det ha sina utfodringar att även få compute-kapacitet på plats lokalt som inte bara handlar om CAPEX-kostnad. Har jobbat på företag som velat installera massiv computekapacitet för maskininlärning i sina kontor/utvecklingsbyggnader, men blivit stoppade pga. att det inte finns tillräcklig med strömkapacitet inom det lokala kontorsområdet eller staden.

[Jordad]

Du har ingen aning om huruvida deras nya dator kommer bli 10x snabbare (osannolikt). Du tror på deras marketing (som ofta överestimerar) och det får man göra, men det gör det inte till fakta eller att något "är".

Sorry, men det blir lite väl fanatiskt här ibland.

10x är högst troligen sant eftersom det inte finns så många superdatorer fokuserade på AI-träning ännu. Dojo kommer säkert även vara världens mest kraftfulla superdator som Tesla säger men den är också den senaste som byggts och det kommer garanterat snart andra ännu kraftfullare framöver.

Det faktum att det finns ett stort underskott i träningskapacitet vill ju Tesla även utnyttja. Man vill bli för AI-träning vad Amazon Web Services är för molntjänster. Man kommer presentera det under AI-day senare i år.

Jim Keller och Peter Bannon är två av de främsta chip designers som finns och de gick över till Tesla för 5 år sedan. De var tidigare på Apple och tog fram arkitekturerna som såg till att Apples mobila produkter var avsevärt snabbare och mer effektiva än konkurrenter.

Under tiden på Tesla så har de tagit fram FSD chip och Jim Keller lämnade en tid efter det var klart. Peter Bannon är kvar och har ansvarat för nästa generations FSD chip som borde vara klart för massproduktion nu och troligen även Dojo.

Jim Keller är numera på Tenstorrent och tar fram AI-chip.

[dd88]

Hur vet man att det är just 10 gånger snabbare och inte 5 eller 15?

[martinot]

https://teslaclubsweden.se/sa-fungerar- ... nde-bilar/

Men hur fungerar Waymos, Cruises och de andras självkörade bilar egentligen? Och på vilket sätt är Teslas approach annorlunda? Det pratas mycket om lidar men vägvalet handlar egentligen om mycket mer än själva sensorn.

[spacecoin]

https://teslaclubsweden.se/sa-fungerar- ... nde-bilar/

Men hur fungerar Waymos, Cruises och de andras självkörade bilar egentligen? Och på vilket sätt är Teslas approach annorlunda? Det pratas mycket om lidar men vägvalet handlar egentligen om mycket mer än själva sensorn.

Det är en bra artikel, men kombinationen av de bägge tillvägagångssätten lär ju vara bäst om man får till det om man vill jaga nior. Vad jag förstår är det så t ex Mobileye tänker. Dom utvecklar ju ett rent vision-system och ett annat med LiDAR för "realtid" (och tänker använda bägge för redundans på vissa applikationer, t ex robotaxi) och scannar dessutom HD-kartor i förväg.

På så sett kan som sälja vision-systemet eller LiDAR-systemet separat till biltillverkare, och kombinera bägge i robotaxi-tillämpningar, till exempel.

Sedan undrar jag hur mycket kartinformation Tesla är beroende av. Det behövs ju kart-metadata för FSD-betan, men det är inte helt klart vad Tesla stoppar in i dem eller hur man sourcat den informationen.

[backe]

Du har ingen aning om huruvida deras nya dator kommer bli 10x snabbare (osannolikt). Du tror på deras marketing (som ofta överestimerar) och det får man göra, men det gör det inte till fakta eller att något "är".

Sorry, men det blir lite väl fanatiskt här ibland.

10x är högst troligen sant eftersom det inte finns så många superdatorer fokuserade på AI-träning ännu. Dojo kommer säkert även vara världens mest kraftfulla superdator som Tesla säger men den är också den senaste som byggts och det kommer garanterat snart andra ännu kraftfullare framöver.

Det faktum att det finns ett stort underskott i träningskapacitet vill ju Tesla även utnyttja. Man vill bli för AI-träning vad Amazon Web Services är för molntjänster. Man kommer presentera det under AI-day senare i år.

Jim Keller och Peter Bannon är två av de främsta chip designers som finns och de gick över till Tesla för 5 år sedan. De var tidigare på Apple och tog fram arkitekturerna som såg till att Apples mobila produkter var avsevärt snabbare och mer effektiva än konkurrenter.

Under tiden på Tesla så har de tagit fram FSD chip och Jim Keller lämnade en tid efter det var klart. Peter Bannon är kvar och har ansvarat för nästa generations FSD chip som borde vara klart för massproduktion nu och troligen även Dojo.

Jim Keller är numera på Tenstorrent och tar fram AI-chip.

Stämmer det du påstår måste den åtminstone vara 10x snabbare än nr 5 på listan över superdatorer, Nvidia Selene. Har du några fakta som tyder på det?

https://blogs.nvidia.com/blog/2020/12/1 ... lene-busy/

https://blogs.nvidia.com/blog/2020/08/1 ... ndemic-ai/

[Jordad]

Hur vet man att det är just 10 gånger snabbare och inte 5 eller 15?

Tesla har nog rätt bra koll eftersom man högst troligen har det mest avancerade AI-projektet i världen under utveckling för tillfället. Tesla behöver därför antagligen också långt mer resurser än någon annan just nu. När Tesla började bygga Dojo så satte man antagligen 10x som ett lämpligt mål. "Orders of magnitude" är ju även Elons favorituttryck. Man har redan haft ett fungerande prototypchip, de 0,01% som Elon har talat om och storleken på Dojo bestäms av hur många chip man bygger den färdiga superdatorn av.

Tesla kommer garanterat att bygga fler Dojo och kanske inte bara sälja träningstimmar utan även chip och mjukvara till företag som vill utveckla allehanda produkter som bygger på AI.

[Zalman3]

Problemet är inte bara att bygga ett chip som är ca 10ggr snabbare. Man måste klara strömbudgeten också.

[Jordad]

Stämmer det du påstår måste den åtminstone vara 10x snabbare än nr 5 på listan över superdatorer, Nvidia Selene. Har du några fakta som tyder på det?

https://blogs.nvidia.com/blog/2020/12/1 ... lene-busy/

https://blogs.nvidia.com/blog/2020/08/1 ... ndemic-ai/

Det är inte överdrivet konstigt om en ny superdator som bygger på nyutvecklade chip som enbart är designade för NNs är 10x snabbare vid träning av NNs än en superdator som bygger på icke-optimerade GPUer.

[Jordad]

Problemet är inte bara att bygga ett chip som är ca 10ggr snabbare. Man måste klara strömbudgeten också.

En superdator begränsas kanske mer av värmen den producerar även om det såklart finns en korrelation mellan ström och värme.

När det gäller FSD chip så är väl fördelen framförallt att det är utvecklat enbart för NNs och inte en dåligt optimerad GPU. Jämför tex Nvidias Drive för L5 med FSD computer.

[backe]

Stämmer det du påstår måste den åtminstone vara 10x snabbare än nr 5 på listan över superdatorer, Nvidia Selene. Har du några fakta som tyder på det?

https://blogs.nvidia.com/blog/2020/12/1 ... lene-busy/

https://blogs.nvidia.com/blog/2020/08/1 ... ndemic-ai/

Det är inte överdrivet konstigt om en ny superdator som bygger på nyutvecklade chip som enbart är designade för NNs är 10x snabbare vid träning av NNs än en superdator som bygger på icke-optimerade GPUer.

Har du någon fakta kring det eller är det bara gissningar? Blir mest bara tomt prat när man skriver"borde" och "troligen" överallt.

[Jordad]

Stämmer det du påstår måste den åtminstone vara 10x snabbare än nr 5 på listan över superdatorer, Nvidia Selene. Har du några fakta som tyder på det?

https://blogs.nvidia.com/blog/2020/12/1 ... lene-busy/

https://blogs.nvidia.com/blog/2020/08/1 ... ndemic-ai/

Det är inte överdrivet konstigt om en ny superdator som bygger på nyutvecklade chip som enbart är designade för NNs är 10x snabbare vid träning av NNs än en superdator som bygger på icke-optimerade GPUer.

Har du någon fakta kring det eller är det bara gissningar? Blir mest bara tomt prat när man skriver"borde" och "troligen" överallt.

Nej vi kan bara lita till vad Peter Bannon presenterade under Autonomy day. Men jag har inte sett någon som motsatte sig till vad han sa då. Peter Bannon känns inte heller som någon som överdriver på det sättet som Elon kan tendera göra. Peter Bannon börjar vid 1:12:00.

[backe]

Stämmer det du påstår måste den åtminstone vara 10x snabbare än nr 5 på listan över superdatorer, Nvidia Selene. Har du några fakta som tyder på det?

https://blogs.nvidia.com/blog/2020/12/1 ... lene-busy/

https://blogs.nvidia.com/blog/2020/08/1 ... ndemic-ai/

Det är inte överdrivet konstigt om en ny superdator som bygger på nyutvecklade chip som enbart är designade för NNs är 10x snabbare vid träning av NNs än en superdator som bygger på icke-optimerade GPUer.

Har du någon fakta kring det eller är det bara gissningar? Blir mest bara tomt prat när man skriver"borde" och "troligen" överallt.

Nej vi kan bara lita till vad Peter Bannon presenterade under Autonomy day. Men jag har inte sett någon som motsatte sig till vad han sa då. Peter Bannon känns inte heller som någon som överdriver på det sättet som Elon kan tendera göra. Peter Bannon börjar vid 1:12:00.

Jag har sett det där tidigare och det är intressant, jag tror dock fortfarande inte att man ska kunna prestera 10x prestanda inom AI/NN mot det någon annan superdator kan när Tesla är klar med sin Dojo, det finns inget i det här klippet som visar på det heller vad jag kunde se?
Det måste såklart vara ett standardiserat test för att det ska gå att jämföra.

Det verkar inte precis som att Nvidia ligger på latsidan, så att påstå 10X det dom andra har känns mer dumtdristigt att tro på innan det finns riktiga benchmarks mot det absolut senaste från de andra, men skulle det visa sig vara sant så är det imponerande dock men inget som jag skulle sätta några pengar på.

Den här ska t.ex. sitta i bilar 2025.
https://nvidianews.nvidia.com/news/nvid ... s-vehicles

Den här ska gå ut i produktionsklara bilar av 2022 års modell så den har alltså varit klar ett tag för biltillverkarna att implementera.
https://nvidianews.nvidia.com/news/nvid ... s-machines

[Jordad]

Jag har sett det där tidigare och det är intressant, jag tror dock fortfarande inte att man ska kunna prestera 10x prestanda inom AI/NN mot det någon annan superdator kan när Tesla är klar med sin Dojo, det finns inget i det här klippet som visar på det heller vad jag kunde se?
Det måste såklart vara ett standardiserat test för att det ska gå att jämföra.

Det verkar inte precis som att Nvidia ligger på latsidan, så att påstå 10X det dom andra har känns mer dumtdristigt att tro på innan det finns riktiga benchmarks mot det absolut senaste från de andra, men skulle det visa sig vara sant så är det imponerande dock men inget som jag skulle sätta några pengar på.

Den här ska t.ex. sitta i bilar 2025.
https://nvidianews.nvidia.com/news/nvid ... s-vehicles

Den här ska gå ut i produktionsklara bilar av 2022 års modell så den har alltså varit klar ett tag för biltillverkarna att implementera.
https://nvidianews.nvidia.com/news/nvid ... s-machines

Det Tesla har sagt är att de håller på och bygger en superdator som mätbart har bättre prestanda än någon annan på jorden. Det är ju fint men det betyder inte så mycket egentligen. Nytt är alltid bättre och det kommer alltid komma snabbare datorer.

Det som är intressant är dock att Tesla bygger en superdator till framförallt sig själva och den är byggd för att klara en enda uppgift. Tesla säger att för den enda specialiserade uppgiften så är deras dator 10x mer kraftfull än någon annan. Självklart är det inget konstigt med det. Hade Nvidia byggt en superdator för exakt samma enda uppgift så hade nog resultat blivit ungefär det samma.

Är man verkligen intresserad av det här så har Dave Lee gjort två videos med James Douma där de går igenom hur Teslas chip skiljer sig jämfört med Nvidia, Mobileye och massa annat:



Ps. Jag kollade lite på den ena igen och och James Douma refererar hela tiden till Steve Bannon Det är ju den högerextrema galningen som gav Trump en massa idéer. Chipdesignern på Tesla heter Peter Bannon och inget annat såvida Steve Bannon inte har oväntade talanger

[Jordad]

Elon har twittrat. Svårt att tolka allt. FSD beta i Europa känns fortfarande långt bort iaf.

[Bjelke]

Subscription om någon månad... spännande...

[spacecoin]

Subscription om någon månad... spännande...

Elon-time, alltså. Så runt nyår då? Det brukar väl vara ungefär faktor 2 * pi på det Elon säger?

[martinot]

Subscription om någon månad... spännande...

Elon-time, alltså. Så runt nyår då? Det brukar väl vara ungefär faktor 2 * pi på det Elon säger?

Jag brukar räkna med elonår som hundår (faktor *7).

[spacecoin]

Subscription om någon månad... spännande...

Elon-time, alltså. Så runt nyår då? Det brukar väl vara ungefär faktor 2 * pi på det Elon säger?

Jag brukar räkna med elonår som hundår (faktor *7).

Ja, det blir ju enklare än 2pi och nära nog.

[backe]

Subscription om någon månad... spännande...

Den finns redan, släpptes tidigt i år