Självkörande Teslor i EU: var god dröj

[d3marcus]

Fotonräknande kameror har funnits länge i labmiljö, men en foton gör ingen sommar för att travestera ordspråket. Nuvarande kameror är inte jättebra i mörker även om HW4 var ett stort kliv framåt från HW3. Bilderna blir brusiga och svårare att tolka. Och lysen har man ju bara framåt.

Det är där direktinmatning av fotoner i det neurala nätverket kommer in. Ett av de stora misstagen man kan göra vid bildbehandling är kontextfri filtrering för att snygga till bilden innan man börjar processa den.

Musk kallar det ”direct photon count”, men en vanlig CMOS-sensor är inte därmed en fotonräknande detektor. Den mäter ackumulerad laddning i pixlar, med shot noise, read noise, full-well capacity, kvantiseringsbrus och begränsat dynamiskt omfång.

Att ge nätverket råare sensordata kan absolut undvika informationsförlust från tone mapping, demosaicing och annan ISP-processing. Men det skapar inte fotoner som aldrig registrerats, förhindrar inte saturation från starka ljuskällor och eliminerar inte dåligt SNR i mörker. Det är precis de fysikaliska begränsningar som är relevanta här.

Och framför allt: var finns den oberoende evidensen för att Musks påstådda metod faktiskt löser dessa problem till den nivå som krävs för förarlös körning? En rekonstruktionsbild på X visar inte detection recall, false negatives eller säkerhetsmarginaler för fotgängare och hinder i mörker.

Musk har beskrivit ”raw photon counts” sedan åtminstone 2021. Att Musk upprepar ett tekniskt påstående på X gör det inte till verifierad ingenjörsvetenskap, det är snarare hans modus operandi.

Kritiskt tänkande är aldrig fel.

[Maetlarv]

Fotonräknande kameror har funnits länge i labmiljö, men en foton gör ingen sommar för att travestera ordspråket. Nuvarande kameror är inte jättebra i mörker även om HW4 var ett stort kliv framåt från HW3. Bilderna blir brusiga och svårare att tolka. Och lysen har man ju bara framåt.

Det är där direktinmatning av fotoner i det neurala nätverket kommer in. Ett av de stora misstagen man kan göra vid bildbehandling är kontextfri filtrering för att snygga till bilden innan man börjar processa den.

Musk kallar det ”direct photon count”, men en vanlig CMOS-sensor är inte därmed en fotonräknande detektor. Den mäter ackumulerad laddning i pixlar, med shot noise, read noise, full-well capacity, kvantiseringsbrus och begränsat dynamiskt omfång.

Att ge nätverket råare sensordata kan absolut undvika informationsförlust från tone mapping, demosaicing och annan ISP-processing. Men det skapar inte fotoner som aldrig registrerats, förhindrar inte saturation från starka ljuskällor och eliminerar inte dåligt SNR i mörker. Det är precis de fysikaliska begränsningar som är relevanta här.

Och framför allt: var finns den oberoende evidensen för att Musks påstådda metod faktiskt löser dessa problem till den nivå som krävs för förarlös körning? En rekonstruktionsbild på X visar inte detection recall, false negatives eller säkerhetsmarginaler för fotgängare och hinder i mörker.

Musk har beskrivit ”raw photon counts” sedan åtminstone 2021. Att Musk upprepar ett tekniskt påstående på X gör det inte till verifierad ingenjörsvetenskap, det är snarare hans modus operandi.

Kritiskt tänkande är aldrig fel.

Jo, jag begriper noll om ”raw photon counts” men det är väl min erfarenhet också att det Elon säger låter rimligt förutom när han uttalar sig om områden som jag har djupare kunskap om, då är det mest blaha blaha..

[Gustafsson]

Vad jag har sett menas att man använder kameradata direkt in i dataprocessing utan att försöka skapa en ”fin bild” som vi skulle uppfatta det. Varje pixel har en laddning motsvarande antalet fotoner som träffar sensorn/pixeln, så i den meningen kan man väl kalla en kamerasensor för fotonräknamde. Även i ett gråskaleområde som för ögat skulle se svart ut så finns det gråskala kvar rent matematiskt. Den infon kan lätt försvinna om man ”förbättrar” bilden med kontrasthöjande tekniker tex, se inlägget ovan. Det här arbetssättet/tekniken är dock inget nytt. Det har använts länge i kvantitativ bildanalys.

[Autonom]

Har du någon länk till tekniken? Skulle vara intressant att se hur tekniken ser ut idag. Jobbade en del med ultrasvagt ljus för väldigt länge sedan, vi kunde då fånga typ varannan foton från en extremt svag ljuskälla. Men sen var man ju tvungen att samla in ett gäng för att förstå hur ljuskällan såg ut. De kameror vi då använde var kylda CCD kameror och de var inte gratis…

Jag har ingen direkt länk, informationen jag bygger det på kommer i små skvättar om hur det hela fungerar och byggelement de använt, eftersom jag är högst bekant med tekniken.

Det som jag tolkar vad Elon kallar raw photon count är inte HW-räknare utan att man använder oprocessat data direkt, dvs ingen konventionell kamerakrets emellan så data motsvarar respektive pixlars laddning/spänning (som i princip är proportionell mot antalet registrerade fotoner) vid utklockningen. Finns naturligtvis hjälpelektronik för att klocka sensorn och kabel-interface.

Eftersom kamerasensorn IMX963 har 120db dynamik (runt 20 bitar) så får data inte plats direkt i 16 bitar (som HW4 arbetar med), så antingen arbetar den med längre tal än 16 bitar eller så arbetar man med t.ex. en aning aningen olika slutartider och/eller klockhastigheter beroende på ljusförhållandena (vilket är min gissning att man gör, för att spara databandbredd). Vilket är egentligen inte så viktigt, eftersom man arbetar med 16-bitarstal i de neurala nätverken i HW4 så måste man skala data på något sätt någonstans.

En viktig förutsättning för att det hela ska fungera är att de neurala nätverken i HW4 använder 16-bitars integer (HW3 är native bara 8-bitars), och inte Floating Point (med dess oundvikliga trunkeringsfel) till skillnad från conventional wisdom, jag antar dock att detta håller på att ändra sig i rask takt i och med ökade insikter.

Skillnaden i hur man behandlar data är i princip att man matar in (nära) ofiltrerat data i nätverken och man kan extremt förenklat se det som att man gör mönsterigenkänning på det brusiga data genom att parallellt matcha kända objekt mot rådata för att se vad det är och först efter detta dra slutsater vad man ser, dvs. samma sorts rimlighetstolkning som en människa gör på ofullständigt data, när man försöker se i mörker, men som att man sätter ett antal personer på uppgiften med lite olika vinklar (dataset/tidsfönster) och sedan majoritetsröstar.

Den lite längre historien när det gäller end-to-end är att man egentligen inte bryr sig om mellanresultatet vad man ser, utan drar det hela genom beslutsträdet, dvs. om man ser en sten, katt, ekorre eller igelkotte spelar ingen roll, för om alla resulterar i samma beslut spelar det ingen roll. Vad som däremot spelar roll är hur säker man är på att resultatet är rätt, och det har framgått från Ashok Elluswamys presentationer att det finns en annan kanal utöver resultatet som är en kvalitetsindikator för att avgöra detta, och som rimligen används i meddelandena i FSD (Supervised) för att påkalla ökad uppmärksamhet eller begära att föraren tar över (vilket i senare versioner inte betyder att den faktiskt inte kan fortsätta, den är bara osäker).

[Gustafsson]

Well AI har onekligen utvecklats på ett sätt jag inte trodde var möjligt för ett par år sedan. Så i ett till synes brusigt bildmaterial kan det finnas mönster som inte är uppenbara, men som AI har bättre möjlighet att bringa ordning i/associera till kända strukturer. Men det är en gissning från min sida och jag har ingen aning om hur bra det skulle kunna bli. Som vanligt gäller rimligen att skit in leder till skit ut…
Vore intressant att vara ”flugan på väggen” i labben som utvecklar tekniken.
Tesla (Musk) är ju kroniskt överoptimistisk så magkänslan är att optimismen till största delen är kommersiell hype än så länge.
Beklagar lite OT funderingar, men teknologin som sådan är intressant tycker jag.

[Autonom]

Well AI har onekligen utvecklats på ett sätt jag inte trodde var möjligt för ett par år sedan. Så i ett till synes brusigt bildmaterial kan det finnas mönster som inte är uppenbara, men som AI har bättre möjlighet att bringa ordning i/associera till kända strukturer.

Ja, det är ett bra sätt att sammanfatta det på.

Det finns en sak till, och det är att med 16 bitars djup i pixeldata så har kan man utnyttja extremt små kontraster i en ljus bild, och de neurala nätverken gör att man fiska upp mönster även djupt under brusgolvet. Jämför hur en människa lätt kan uppfatta toner som ligger 20 dB under bruset (vilket då inte syns med vanliga mätinstrument och därför ofta dyker upp som produktproblem med oljud).

[d3marcus]

Har du någon länk till tekniken? Skulle vara intressant att se hur tekniken ser ut idag. Jobbade en del med ultrasvagt ljus för väldigt länge sedan, vi kunde då fånga typ varannan foton från en extremt svag ljuskälla. Men sen var man ju tvungen att samla in ett gäng för att förstå hur ljuskällan såg ut. De kameror vi då använde var kylda CCD kameror och de var inte gratis…

Jag har ingen direkt länk, informationen jag bygger det på kommer i små skvättar om hur det hela fungerar och byggelement de använt, eftersom jag är högst bekant med tekniken.

Det som jag tolkar vad Elon kallar raw photon count är inte HW-räknare utan att man använder oprocessat data direkt, dvs ingen konventionell kamerakrets emellan så data motsvarar respektive pixlars laddning/spänning (som i princip är proportionell mot antalet registrerade fotoner) vid utklockningen. Finns naturligtvis hjälpelektronik för att klocka sensorn och kabel-interface.

Eftersom kamerasensorn IMX963 har 120db dynamik (runt 20 bitar) så får data inte plats direkt i 16 bitar (som HW4 arbetar med), så antingen arbetar den med längre tal än 16 bitar eller så arbetar man med t.ex. en aning aningen olika slutartider och/eller klockhastigheter beroende på ljusförhållandena (vilket är min gissning att man gör, för att spara databandbredd). Vilket är egentligen inte så viktigt, eftersom man arbetar med 16-bitarstal i de neurala nätverken i HW4 så måste man skala data på något sätt någonstans.

En viktig förutsättning för att det hela ska fungera är att de neurala nätverken i HW4 använder 16-bitars integer (HW3 är native bara 8-bitars), och inte Floating Point (med dess oundvikliga trunkeringsfel) till skillnad från conventional wisdom, jag antar dock att detta håller på att ändra sig i rask takt i och med ökade insikter.

Skillnaden i hur man behandlar data är i princip att man matar in (nära) ofiltrerat data i nätverken och man kan extremt förenklat se det som att man gör mönsterigenkänning på det brusiga data genom att parallellt matcha kända objekt mot rådata för att se vad det är och först efter detta dra slutsater vad man ser, dvs. samma sorts rimlighetstolkning som en människa gör på ofullständigt data, när man försöker se i mörker, men som att man sätter ett antal personer på uppgiften med lite olika vinklar (dataset/tidsfönster) och sedan majoritetsröstar.

Den lite längre historien när det gäller end-to-end är att man egentligen inte bryr sig om mellanresultatet vad man ser, utan drar det hela genom beslutsträdet, dvs. om man ser en sten, katt, ekorre eller igelkotte spelar ingen roll, för om alla resulterar i samma beslut spelar det ingen roll. Vad som däremot spelar roll är hur säker man är på att resultatet är rätt, och det har framgått från Ashok Elluswamys presentationer att det finns en annan kanal utöver resultatet som är en kvalitetsindikator för att avgöra detta, och som rimligen används i meddelandena i FSD (Supervised) för att påkalla ökad uppmärksamhet eller begära att föraren tar över (vilket i senare versioner inte betyder att den faktiskt inte kan fortsätta, den är bara osäker).

Vet att du blockat de som inte finns i din åsiktskorridor men för er andra:

Det här illustrerar egentligen min invändning ganska väl. Du skriver själv ”jag tolkar”, ”min gissning”, ”jag antar” och ”rimligen”. Det är alltså en möjlig arkitektur du rekonstruerar utifrån fragment av information, inte en dokumenterad beskrivning av Teslas eventuella implementation.

Dessutom blandas föera saker ihop. 120 dB dynamiskt omfång betyder inte att sensorn levererar ett linjärt 20-bitars råvärde per pixel; sådant HDR-omfång uppnås normalt genom sensorarkitektur/exponerings- och readouttekniker. Och påståendet att integer skulle vara viktigt eftersom floating point har ”oundvikliga trunkeringsfel” håller inte heller som generell förklaring. Både fixed-point och floating-point kvantiserar, och FP16 har tvärtom ett betydligt större dynamiskt omfång än INT16. Valet handlar om precision, range, throughput och effekt, inte om att integer på något fundamentalt sätt är mer korrekt. Det är trivial gymnasiekunskap.

Det viktigaste kvarstår dock: ingen av dessa arkitekturfantasier från Youtube visar att vision-only löser perception i mörker. Ingen fotonträff är alltid sämre än en fotonträff. Och shot noise, read noise, saturation, motion blur och brist på infångade fotoner försvinner inte för att man matar råare data till ett neuralt nätverk.

Och en confidence-signal är inte heller evidens för korrekt perception. Ett neuralt nätverk kan vara både fel och självsäkert; kalibrering och out-of-distribution-beteende är egna problem.

Det är just därför jag efterfrågar mätresultat, inte fler slutsatser dragna från Twitter och Musk-inlägg utan evidens.

[Gustafsson]

När jag funderar lite mer så tänker jag att det möjligen inte är de små kontrasterna i objekt/bakgrund som är kameror/ai s styrka. Om man bara diskuterar kontrast tror jag systemen kan prestera bättre i mörker än en förare under motsatta förhållanden dvs med mycket hög kontrast, dvs starkt ljus och svagt ljus i samma synfält, såsom vid möte med en bil med bländande strålkastare. Människor får med tiden grumlingar i ”optiken” dvs ljus sprids i ögats lins mm och orsakar ströljus som döljer svagt ljus (typ från en älg) i de delar av synfältet. Många äldre blir ”bländade” mycket lättare än vad unga blir av det skälet. Med bra optik vågar jag påstå att kameror kan ge en bättre bild än många bilförares ögon kan under vissa liknande förhållanden. Men för det behövs inte fotonräknare och problemet är där inte svagt ljus i sig utan snarare kombon med starkt ljus. En simpel metod som vi använde var att summera våra 8 bitars pixlar sekventiellt till 16 bitars tal i datorns minne. På så sätt minskas brus och S/N blir bättre. Men det tar ju tid att samla in mer ljus och systemen blir långsammare. Man kan också bara samla mer ljus (längre exponering) i en kamerasensor och få samma effekt, men på bekostnad av lägre bildfrekvens. Det finns många sätt att optimera, detta var bara en fundering till.