Tesla Will Hold AI Day 2021 On August 19

[Jordad]

Det är imponerande teknik, men dom jag skrivit förut så behövs kompilatorteknik som inte Tesla har "uppfunnit" ännu för att Dojo ska skala när den finns nästa år.

Google har motsvarande HW (där det finns verkliga benchmarks gjorda) sedan i maj: https://www.datacenterknowledge.com/mac ... nce-tpu-v4

Från artikeln du länkar:

Google has said in the past, however, that its TPU pods operate at lower numerical precision than traditional supercomputers do, making it easier to get to such speeds. Deep-learning models for things like speech or image recognition don’t require calculations nearly as precise as traditional supercomputer workloads, used to do things like simulating behavior of human organs or calculating space-shuttle trajectories.

Google har byggt en grym superdator som är perfekt för dem. Tesla håller på och ska bygga en annan superdator som är perfekt för det Tesla behöver den till. Vackert så

[spacecoin]

Det är imponerande teknik, men dom jag skrivit förut så behövs kompilatorteknik som inte Tesla har "uppfunnit" ännu för att Dojo ska skala när den finns nästa år.

Google har motsvarande HW (där det finns verkliga benchmarks gjorda) sedan i maj: https://www.datacenterknowledge.com/mac ... nce-tpu-v4

Från artikeln du länkar:

Google has said in the past, however, that its TPU pods operate at lower numerical precision than traditional supercomputers do, making it easier to get to such speeds. Deep-learning models for things like speech or image recognition don’t require calculations nearly as precise as traditional supercomputer workloads, used to do things like simulating behavior of human organs or calculating space-shuttle trajectories.

Google har byggt en grym superdator som är perfekt för dem. Tesla håller på och ska bygga en annan superdator som är perfekt för det Tesla behöver den till. Vackert så

Om du läser texten du saxade lite långsammare så inser du strax att Googles TPU v4 pod är för "Deep-learning models for things like speech or image recognition" och inte "simulating behavior of human organs or calculating space-shuttle trajectories".

Det vill säga samma som Tesla

[Jordad]

Det är imponerande teknik, men dom jag skrivit förut så behövs kompilatorteknik som inte Tesla har "uppfunnit" ännu för att Dojo ska skala när den finns nästa år.

Google har motsvarande HW (där det finns verkliga benchmarks gjorda) sedan i maj: https://www.datacenterknowledge.com/mac ... nce-tpu-v4

Från artikeln du länkar:

Google has said in the past, however, that its TPU pods operate at lower numerical precision than traditional supercomputers do, making it easier to get to such speeds. Deep-learning models for things like speech or image recognition don’t require calculations nearly as precise as traditional supercomputer workloads, used to do things like simulating behavior of human organs or calculating space-shuttle trajectories.

Google har byggt en grym superdator som är perfekt för dem. Tesla håller på och ska bygga en annan superdator som är perfekt för det Tesla behöver den till. Vackert så

Om du läser texten du saxade lite långsammare så inser du strax att Googles TPU v4 pod är för "Deep-learning models for things like speech or image recognition" och inte "simulating behavior of human organs or calculating space-shuttle trajectories".

Det vill säga samma som Tesla

Dojo ska träna NNs för precis autonomi utifrån en helt galen mängd träningsdata. Det är något helt annat än image recognition.

[spacecoin]

Det är imponerande teknik, men dom jag skrivit förut så behövs kompilatorteknik som inte Tesla har "uppfunnit" ännu för att Dojo ska skala när den finns nästa år.

Google har motsvarande HW (där det finns verkliga benchmarks gjorda) sedan i maj: https://www.datacenterknowledge.com/mac ... nce-tpu-v4

Från artikeln du länkar:

Google has said in the past, however, that its TPU pods operate at lower numerical precision than traditional supercomputers do, making it easier to get to such speeds. Deep-learning models for things like speech or image recognition don’t require calculations nearly as precise as traditional supercomputer workloads, used to do things like simulating behavior of human organs or calculating space-shuttle trajectories.

Google har byggt en grym superdator som är perfekt för dem. Tesla håller på och ska bygga en annan superdator som är perfekt för det Tesla behöver den till. Vackert så

Om du läser texten du saxade lite långsammare så inser du strax att Googles TPU v4 pod är för "Deep-learning models for things like speech or image recognition" och inte "simulating behavior of human organs or calculating space-shuttle trajectories".

Det vill säga samma som Tesla

Dojo ska träna NNs för precis autonomi utifrån en helt galen mängd träningsdata. Det är något helt annat image recognition.

Så det är inte bilder som Dojo ska träna från? OK... Vad är det då menar du?

[Jordad]

Det är imponerande teknik, men dom jag skrivit förut så behövs kompilatorteknik som inte Tesla har "uppfunnit" ännu för att Dojo ska skala när den finns nästa år.

Google har motsvarande HW (där det finns verkliga benchmarks gjorda) sedan i maj: https://www.datacenterknowledge.com/mac ... nce-tpu-v4

Från artikeln du länkar:

Google has said in the past, however, that its TPU pods operate at lower numerical precision than traditional supercomputers do, making it easier to get to such speeds. Deep-learning models for things like speech or image recognition don’t require calculations nearly as precise as traditional supercomputer workloads, used to do things like simulating behavior of human organs or calculating space-shuttle trajectories.

Google har byggt en grym superdator som är perfekt för dem. Tesla håller på och ska bygga en annan superdator som är perfekt för det Tesla behöver den till. Vackert så

Om du läser texten du saxade lite långsammare så inser du strax att Googles TPU v4 pod är för "Deep-learning models for things like speech or image recognition" och inte "simulating behavior of human organs or calculating space-shuttle trajectories".

Det vill säga samma som Tesla

Dojo ska träna NNs för precis autonomi utifrån en helt galen mängd träningsdata. Det är något helt annat image recognition.

Så det är inte bilder som Dojo ska träna från? OK... Vad är det då menar du?

Dojo är framförallt till för att träna NNs utifrån en galen mängd träningsdata. De NNs som Dojo tränar ska användas på en begränsad dator som genom 8 kameror skapar en vector space som används av en planner för att framföra bilen. Det är något helt annat.

Men till viss del används Dojo även till image recognition. Man borde nog bara kalla det för 4d-video recognition istället.

[spacecoin]

Så det är inte bilder som Dojo ska träna från? OK... Vad är det då menar du?

Dojo är framförallt till för att träna NNs utifrån en galen mängd träningsdata. De NNs som Dojo tränar ska användas på en begränsad dator som genom 8 kameror skapar en vector space som används av en planner för att framföra bilen. Det är något helt annat.

Men till viss del används Dojo även till image recognition. Man borde nog bara kalla det för 4d-video recognition istället.

Du slänger du dig med en hel del ord om inte handlar om vad vi pratar om. Jag gissar att du inte har en utbildning inom Computer Science?

Datorerna har ungefär samma prestanda och exakt samma syfte; att träna NN från bilder. Inte att göra flyttalsoperationer som ska beräkna i långa steg hur man ska skjuta upp en raket exakt för att hamna i omloppsbana runt Mars.

Fråga någon du litar på så får du reda på att jag har rätt här.

[renes]

Så det är inte bilder som Dojo ska träna från? OK... Vad är det då menar du?

Som jag förstod det så används i första steget NNs till att syntetisera en 360 grader bild från olika kamerakällor, i andra steget till att omsätta detta till vector-space representation. Den "riktiga" NN träningen och analysen sker på vector-space sen. Alltså något helt annat än image analys.

En NN för image analys, som Tesla använde tidigare, funkar bara på kamerabilden, frame-by-frame, så missar även tidsaxeln och därmed "object permanence". Det var image analysen som primärt verktyg för planering, labeling och körning som Tesla övergav eftersom utvecklingen hamnade i ett "lokalt optimum". Just det att de övergav image analys till fördel för vector space analys var ett av huvudbudskapen i presentationen.

[spacecoin]

Så det är inte bilder som Dojo ska träna från? OK... Vad är det då menar du?

Som jag förstod det så används i första steget NNs till att syntetisera en 360 grader bild från olika kamerakällor, i andra steget till att omsätta detta till vector-space representation. Den "riktiga" NN träningen och analysen sker på vector-space sen. Alltså något helt annat än image analys.

En NN för image analys, som Tesla använde tidigare, funkar bara på kamerabilden, frame-by-frame, så missar även tidsaxeln och därmed "object permanence". Det var image analysen som primärt verktyg för planering, labeling och körning som Tesla övergav eftersom utvecklingen hamnade i ett "lokalt optimum". Just det att de övergav image analys till fördel för vector space analys var ett av huvudbudskapen i presentationen.

Det är möjligt att det påverkar något men det tror jag inte. Teslas "Dojo" är ändå en träningsdator optimerad för NN och Tensorflow och inte långa flyttal, precis som Googles, vilket var det diskussionen handlade om.

Edit: Dojochippet och dess instruktionsset togs ju sannolikt fram innan Tesla bytte strategi kring tränings-input.

[renes]

Så det är inte bilder som Dojo ska träna från? OK... Vad är det då menar du?

Som jag förstod det så används i första steget NNs till att syntetisera en 360 grader bild från olika kamerakällor, i andra steget till att omsätta detta till vector-space representation. Den "riktiga" NN träningen och analysen sker på vector-space sen. Alltså något helt annat än image analys.

En NN för image analys, som Tesla använde tidigare, funkar bara på kamerabilden, frame-by-frame, så missar även tidsaxeln och därmed "object permanence". Det var image analysen som primärt verktyg för planering, labeling och körning som Tesla övergav eftersom utvecklingen hamnade i ett "lokalt optimum". Just det att de övergav image analys till fördel för vector space analys var ett av huvudbudskapen i presentationen.

Det är möjligt att det påverkar något men det tror jag inte. Teslas "Dojo" är ändå en träningsdator optimerad för NN och Tensorflow och inte långa flyttal, precis som Googles, vilket var det diskussionen handlade om.

Edit: Dojochippet och dess instruktionsset togs ju sannolikt fram innan Tesla bytte strategi kring tränings-input.

Din argumentering tidigare i tråden har ju hela tiden varit att inget som Tesla gör är nytt, allt har Google och andra redan gjort. Sen säger du att Tesla "bara" gör image analys som alla andra redan gör. Nu säger du att ja, kanske, de faktiskt inte gör image analys, men att det i alla fall redan har gjorts av andra. Eller också säger du att Tesla gör något annat än Google, men att det inte gör någon skillnad. Jag kan inte utläsa vilken av dessa förklaringar du egentligen anför. Men samtidigrt lämnar du åt sidan hela konverteringen till vector space, object permanence och labelling i vector space, som om de var insignifikanta, medan de ju var själva kärnan av presentationen. Varför? Eller har Google redan gjort allt det där? Eller du kanske väljer att ignorera det och istället säga att Dojo är trivialt och nåt Google redan gör, förstås.

Mao, det finns inget argument som kan rucka på föreställningen att Tesla inte har kommit på något nytt, oavsett vad de effektivt har utvecklat?

[spacecoin]

Det jag framförallt vänder mig emot är att folk som har exakt noll koll på vad konkurrenterna gör, och teknikutveckling i allmänhet verkar det som, och säger att Tesla är "dom enda", "dom bästa", eller "först" med precis allting. Wow, simulering, mind blown. Wow, superdator, mind blown. Wow, neurala nätverk, mind blown. Wow, robot, mind blown. Det är som man bott i en källare i 30 år och får se en iPhone med internet. För varje grej.

När hälften av de grejer man dessutom pratar om inte finns i verkligheten blir det extra tröttsamt...

Det är klart det är jätteimponerande att Tesla har fått ihop det här själva, men tanke på hur relativt litet företaget är. Räcker det till att lösa problemet icke-geofencad Robotaxi med kameror. Kanske om 5-10 år? Jag tittar mer på faktiska resultat än på slidedecks. FSD beta v9 will blow your mind... Or not. Var är dom här "exponentiella förbättringarna"? Nä, istället så kommer omskrivningar och nya grepp vartannat år, minst. v10 är det dags för plannern. Vad blir v11? v12?

Tesla är som en tävlande i ett rullstolsrace i mörker, där man säger att man inte behöver varken rullstolen eller lampa är att köra loppet och vinna, på rekordtid. De andra använder hjälpmedel för att kunna komma i mål med känd teknik. Det är svårt nog.

[Jordad]

Det jag framförallt vänder mig emot är att folk som har exakt noll koll på vad konkurrenterna gör, och teknikutveckling i allmänhet verkar det som, och säger att Tesla är "dom enda" eller "först" med precis allting.

Du brukar istället argumentera för att Tesla är sämst på allt och att Mobileye, Waymo etc är långt mycket bättre. Det är baklänges det med särskilt eftersom du gör det på ett Teslaforum.

Tesla håller på att bygga en superdator som är perfekt för dem. Det är inget konstigt med det och det finns ingen mening med att hela tiden angripa det. Tesla behöver sjuk prestanda parat med sjuk bandbredd och det är precis det man har tagit fram. Här är en slide från presentationen som beskriver skillnaden mot TPU v3.

TPU v4 ska enligt Google ha 2,7x prestanda. Jag vet inte vad skillnaden är i bandbredd.

[spacecoin]

Jag angriper inte Teslas effort. Jag angrip folk som säger att den är "bästa superdatorn i världen". Hands down.
Återkom när Tesla har en podd som levererar i ett benchmark, just nu är Dojo-superdatorn lika verklig som roboten.

Dom sa själva att dom ska börja testa den för training under nästa år och "se om det blir bättre".

[renes]

Det jag framförallt vänder mig emot är att folk som har exakt noll koll på vad konkurrenterna gör, och teknikutveckling i allmänhet verkar det som, och säger att Tesla är "dom enda", "dom bästa", eller "först" med precis allting. Wow, simulering, mind blown. Wow, superdator, mind blown. Wow, neurala nätverk, mind blown. Wow, robot, mind blown. Det är som man bott i en källare i 30 år och får se en iPhone med internet. För varje grej.

Problemet med ditt resonemang är att du inte gjort dig besväret att ens förstå vad som ingick i presentationen. Det borde vara ett minimumkrav innan man ger sig in på att kritisera den. Det är Teslas AI day presentation det handlar om och det är du som har noll koll på dess innehåll.

[spacecoin]

Det jag framförallt vänder mig emot är att folk som har exakt noll koll på vad konkurrenterna gör, och teknikutveckling i allmänhet verkar det som, och säger att Tesla är "dom enda", "dom bästa", eller "först" med precis allting. Wow, simulering, mind blown. Wow, superdator, mind blown. Wow, neurala nätverk, mind blown. Wow, robot, mind blown. Det är som man bott i en källare i 30 år och får se en iPhone med internet. För varje grej.

Problemet med ditt resonemang är att du inte gjort dig besväret att ens förstå vad som ingick i presentationen. Det borde vara ett minimumkrav innan man ger sig in på att kritisera den. Det är Teslas AI day presentation det handlar om och det är du som har noll koll på dess innehåll.

Låt oss anta att du har rätt och jag inte har en aning om vad som sades och inte fattade något, hur påverkar det resonemanget ovan menar du? Det håller fortfarande så vitt jag kan se.

[renes]

Låt oss anta att du har rätt och jag inte har en aning om vad som sades och inte fattade något, hur påverkar det resonemanget ovan menar du? Det håller fortfarande så vitt jag kan se.

Låt mig se om jag fattat det här rätt: du säger att det spelar ingen roll om du har förstått presentationen, tekniken, eller ämnet, du har lika rätt ändå?

Visst, sure, låt inte mig stå i vägen... låter som ett framgångsrecept. Alla vinner första pris på dagis.

[spacecoin]

Låt oss anta att du har rätt och jag inte har en aning om vad som sades och inte fattade något, hur påverkar det resonemanget ovan menar du? Det håller fortfarande så vitt jag kan se.

Låt mig se om jag fattat det här rätt: du säger att det spelar ingen roll om du har förstått presentationen, tekniken, eller ämnet, du har lika rätt ändå?

Visst, sure, låt inte mig stå i vägen... låter som ett framgångsrecept. Alla vinner första pris på dagis.

Nej du har inte fattat det rätt.
Vi tar en enkel grej som de flesta kan förstå: Simulatorn. Mind blown. Varför då? Jämfört med vad?

[MWall]

Låt oss anta att du har rätt och jag inte har en aning om vad som sades och inte fattade något, hur påverkar det resonemanget ovan menar du? Det håller fortfarande så vitt jag kan se.

Låt mig se om jag fattat det här rätt: du säger att det spelar ingen roll om du har förstått presentationen, tekniken, eller ämnet, du har lika rätt ändå?

Visst, sure, låt inte mig stå i vägen... låter som ett framgångsrecept. Alla vinner första pris på dagis.

Nej du har inte fattat det rätt.

Vi tar en enkel grej som de flesta kan förstå: Simulatorn. Mind blown. Hur då? Jämfört med vad?

Jag tror det blir så eftersom folk här är intresserade av Tesla och kanske inte av vad deras konkurrenter gör i samma utsträckning. Folk blandar ihop aktieuppgången med verkliga framgångar också.

[renes]

Låt oss anta att du har rätt och jag inte har en aning om vad som sades och inte fattade något, hur påverkar det resonemanget ovan menar du? Det håller fortfarande så vitt jag kan se.

Låt mig se om jag fattat det här rätt: du säger att det spelar ingen roll om du har förstått presentationen, tekniken, eller ämnet, du har lika rätt ändå?

Visst, sure, låt inte mig stå i vägen... låter som ett framgångsrecept. Alla vinner första pris på dagis.

Nej du har inte fattat det rätt.
Vi tar en enkel grej som de flesta kan förstå: Simulatorn. Mind blown. Varför då? Jämfört med vad?

Hade du tittat på presentationen så hade du inte ställt frågan, eftersom den besvarades rätt så detaljerat under föreställningen. Men ok, spoon feeding verkar vara metoden...

Tesla utnyttjar sitt stora nätverk av bilar över världen till att samla data från "real life" som används i träningen av nätverket. Men det finns alltid situationer som uppträder så pass sällan att inte ens Teslas alla bilar fångar dessa edge cases i tillräcklig omfattning, så då använder de sig av dessa real world situationer och tillfogar varianter på dessa i simulation som sedan också ingår i träningsdata. Det är alltså ett tillägg till real world data. Det finns en slide där du ser en man och kvinna med hund springa på motorvägen, en situation man inte hittat i real world, men la till som simulering. Det var ett kul exempel på den sorts simulering man menar.

Det sades flera gånger att simuleringen var ett tillägg av sällsynta situationer ovanpå alla riktiga scenarion. Svårt att missa om man sett presentationen.

Om någon hade sin "mind blown" av den simulationsprincipen har jag ingen aning om. Det har jag inte märkt. Men vem vet. Jag tror dig. Eller kanske inte, ändå.

[spacecoin]

Poängen jag försöker göra är ju att man kan reflektera över hur Teslas approach skiljer sig mot andra företags prestationer inom simulation (eller någon annat), om man vet vad det är. Och sedan värdera och resonera kring varför Tesla gör som dom gör, hur dom ligger till osv. Verkar det vara det nytänk eller är det som dom andra? Vad är bättre/sämre.

Några axplock:
https://blog.waymo.com/2021/06/SimulationCity.html



Eller så kan man bara nöja sig med att vara "mindblown" i sin Teslabubbla.

[renes]

Poängen jag försöker göra är ju att man kan reflektera över hur Teslas approach skiljer sig mot andra företags prestationer inom simulation (eller någon annat), om man vet vad det är. Och sedan värdera och resonera kring varför Tesla gör som dom gör, hur dom ligger till osv. Verkar det vara det nytänk eller är det som dom andra? Vad är bättre/sämre.

Några axplock:
https://blog.waymo.com/2021/06/SimulationCity.html



Eller så kan man bara nöja sig med att vara "mindblown" i sin Teslabubbla.

De här länkarna går till presentationer som visar olika nivåer av simulation. Fine. Vad är din poäng?

Att Tesla tillfogar simulation till sina real world data vet vi. Och att andra också gör det. Det var inte vad AI day handlade om, det var en av många detaljer. Det verkar fortfarande som du baserar din anti-fanboy eller anti-bubbla tes på att Tesla inte är den enda som har simulationer. Men det vet vi redan, ingen argumenterar emot det.

Vart vill du egentligen komma? Varför spelar vi fortfarande det här destruktiva spelet? Om du bara vill uttrycka ditt låga omdöme om folk som jag som tyckte AI Day var mycket intressant och innehöll en hel del tänkvärt så behöver du inte anstränga dig så mycket. Det har redan blivit tydligt.

[spacecoin]

Vart vill du egentligen komma? Varför spelar vi fortfarande det här destruktiva spelet? Om du bara vill uttrycka ditt låga omdöme om folk som jag som tyckte AI Day var mycket intressant och innehöll en hel del tänkvärt så behöver du inte anstränga dig så mycket. Det har redan blivit tydligt.

Jag vill komma till ett ställe där det inte bara okritiskt hurras för Tesla, utan man kan diskutera även det som inte är bra.

Jag tyckte också AI dagen var intressant. Var det imponerande? Ja, det är det. Är det någon teknik helt unik för Tesla. Jag tror inte det, men jag är inte tillräckligt bra på ML. Det mesta såg ut som referensarkitekturer och ganska standard.

Är det "the most amazing real-world AI & engineering effort I have ever seen in my life."? Ja, i alla fall för Lex Fridman. Vad betyder det?

Finns det några andra motsvarande "efforts" med att jämföra med? Vilka då? Vet man hur man ska lösa autonomi? Svar nej.
Att man försöker jättemycket är ingen garant för att man lyckas. Regalskeppet Wasa var också en jätte-imponerande "engineering effort". Det gick inte så bra i alla fall.

Sedan har vi Roboten... En SVP på Google brukade hålla upp ett kuvert med en "million dollar idea" i. Sedan frågade han rummet om vad folk var beredda att betala för hans kuvert (hint: inte så mycket). Roboten är en idé just nu och den är inte ens ny. Ändå verkar folk tro att den kommer at frälsa världen. Hur kommer det sig? Efter Elons alla löften?

Har jag "uttryckt mitt låga omdöme" om folk? I så fall ber jag om ursäkt.

[Zalman3]

Tydligen så ska Tesla också göra robotar med hjul.
Ska dom användas vid paketleveranser?

[dd88]

Nu kommer Meta med en superdator för AI-träning som ska stå klar i år med en prestanda på 5 exaflops, hur står sig den mot Dojo? Var målet 1 exaflop eller var det bara ett delmål?

RSC is up and running today, but its development is ongoing. Once we complete phase two of building out RSC, we believe it will be the fastest AI supercomputer in the world, performing at nearly 5 exaflops of mixed precision compute. Through 2022, we’ll work to increase the number of GPUs from 6,080 to 16,000, which will increase AI training performance by more than 2.5x. The InfiniBand fabric will expand to support 16,000 ports in a two-layer topology with no oversubscription. The storage system will have a target delivery bandwidth of 16 TB/s and exabyte-scale capacity to meet increased demand.

https://ai.facebook.com/blog/ai-rsc

[spacecoin]

Nu kommer Meta med en superdator för AI-träning som ska stå klar i år med en prestanda på 5 exaflops, hur står sig den mot Dojo? Var målet 1 exaflop eller var det bara ett delmål?

Ja, tänk vad man kan åstadkomma med off-the-shelf-teknik utan att försöka bygga egna CPU:er, kompilatorer och snacka om det inför publik i flera år med mystiska projektnamn om man bara sätter igång.

Då kan man fråga sig varför Tesla inte väljer samma spår. Teorier välkomnas. Jag har några bra jag kan dela med mig av.