AMCI Testing utvärderar FSDS på HW4

[spacecoin]

After an extensive, 1000-mile evaluation, AMCI Testing issues Warnings and Limited Encouragement, for Tesla’s latest version of “Full Self Driving (Supervised)”
Weeks out from Robotaxi unveiling, overall performance of Tesla’s camera-enabled, autonomous-driving software is suspect.

Los Angeles, CA September 24. 2024

After what is likely the most extensive real-world test of Tesla’s FSD ever conducted by an independent third party – covering more than 1000 miles (1610 km) – AMCI Testing’s result demonstrates just how far Tesla must go before Robotaxi operations can be safely undertaken. AMCI Testing’s evaluation was based exclusively on Tesla’s latest software iterations, 12.5.1 and 12.5.3, with time spent across four distinct driving environments: city streets, rural two-lane highways, mountain roads and freeways.

While impressive for a uniquely camera-based system, AMCI testing’s evaluation of Tesla FSD exposed how often human intervention was required for safe operation. In fact, our drivers had to intervene over 75 times during the evaluation; an average of once every 13 miles. “ With all hands-free augmented driving systems, and even more so with driverless autonomous vehicles, there is a compact of trust between the technology and the public. When this technology is offered the public is largely unaware of the caveats (such as monitor or supervise) and the tech considered empirically foolproof. Getting close to foolproof, yet falling short, creates an insidious and unsafe operator complacency issue as proven in the test results,” said David Stokols, CEO of AMCI Testing’s parent company, AMCI Global. “ Although it positively impresses in some circumstances, you simply cannot reliably rely on the accuracy or reasoning behind its responses.”

AMCI Testing has just dropped the first round in a series of test-video releases intended to demonstrate the complex issues of trust and performance that FSD poses to drivers and the public. These and future videos can be seen at www.amcitesting.com/teslafsd

“It’s undeniable that FSD 12.5.1 is impressive, for the vast array of human-like responses it does achieve, especially for a camera-based system,” said Guy Mangiamele, Director of AMCI Testing. “ But its seeming infallibility in anyone’s first five minutes of FSD operation breeds a sense of awe that unavoidably leads to dangerous complacency. When drivers are operating with FSD engaged, driving with their hands in their laps or away from the steering wheel is incredibly dangerous. As you will see in the videos, the most critical moments of FSD miscalculation are split-second events that even professional drivers, operating with a test mindset, must focus on catching.”

AMCI Testing found that the more miles you drive with FSD engaged, the more likely you are to encounter these failure modes.

“What’s most disconcerting and unpredictable is that you may watch FSD successfully negotiate a specific scenario many times – often on the same stretch of road or intersection – only to have it inexplicably fail the next time,” Mangiamele continued. “Whether it’s a lack of computing power, an issue with buffering as the car gets ”behind” on calculations, or some small detail of surrounding assessment, it’s impossible to know. These failures are the most insidious. But there are also continuous failures of simple programming inadequacy, such as only starting lane changes toward a freeway exit a scant tenth of a mile before the exit itself, that handicaps the system, and casts doubt on the overall quality of its base programming.”

Next week, we will release another round of videos to further illustrate the real-world capabilities of FSD (Supervised). AMCI Testing will continue to evaluate subsequent iterations of Tesla’s FSD as they become available. Go to www.amcitesting.com to sign up to receive updates as they occur.

[Bjelke]

Det gick ”sådär” skulle man kunna sammanfatta det.
”Ganska bra för ett system baserat enbart på kameror” är också en bra summering.

[AAKEE]

Det gick ”sådär” skulle man kunna sammanfatta det.
”Ganska bra för ett system baserat enbart på kameror” är också en bra summering.

Ungefär som väntat, med andra ord.
Man känner igen problembilden härifrån också.
Att bilen skjuter över mittlinjen i kurvor på smala landsvägar har de inte ändrat på fyra år och det ser ut exakt som det gör idag i Sverige. Livsfarligt eftersom det är väldigt kort tid som föraren behöver reagera på och åtgärda för att inte riskera en frontalkrock eller att fara i diket.

[jpetters]

Det gick ”sådär” skulle man kunna sammanfatta det.
”Ganska bra för ett system baserat enbart på kameror” är också en bra summering.

Ungefär som väntat, med andra ord.
Man känner igen problembilden härifrån också.
Att bilen skjuter över mittlinjen i kurvor på smala landsvägar har de inte ändrat på fyra år och det ser ut exakt som det gör idag i Sverige. Livsfarligt eftersom det är väldigt kort tid som föraren behöver reagera på och åtgärda för att inte riskera en frontalkrock eller att fara i diket.

Det problemet har väl att göra med begränsningen av sido accelerationskraft och göra att bilen driftar ur körfältet.
När jag själv körde med FSDS i USA så var det inget problem alls, sen fanns det såklart annat.

[Jaegaern]

Det problemet har väl att göra med begränsningen av sido accelerationskraft och göra att bilen driftar ur körfältet.

Det var vad jag kommer ihåg, inte ett problem med Teslas AP1. Den hade nästan inga begränsningar (tillämpade) och gjorde att man lätt åt en hel meny från McD innan man behövde röra vid ratten. Tror det var 15 min.

Dock hade den andra problem som att höjdskillnader tolkades som kurvor vilket slutade i nära-brunt-i-byxan-situationer då den drog kraftigt mot kanter.

[spacecoin]

Det problemet har väl att göra med begränsningen av sido accelerationskraft och göra att bilen driftar ur körfältet.
När jag själv körde med FSDS i USA så var det inget problem alls, sen fanns det såklart annat.

1.Tesla anpassar inte hastigheten tillräckligt mycket i kurvor för att vara klara UNECE-reglerna på ett säkert sätt. AP1 klarar detta galant.

2. Se video från testföretaget...

[jpetters]

Det problemet har väl att göra med begränsningen av sido accelerationskraft och göra att bilen driftar ur körfältet.

Det var vad jag kommer ihåg, inte ett problem med Teslas AP1. Den hade nästan inga begränsningar (tillämpade) och gjorde att man lätt åt en hel meny från McD innan man behövde röra vid ratten. Tror det var 15 min.

Dock hade den andra problem som att höjdskillnader tolkades som kurvor vilket slutade i nära-brunt-i-byxan-situationer då den drog kraftigt mot kanter.

I början var det inte ett problem med AP1 men det kom en "regulatory update" även till den. Minns att det blev klart sämre på min SP90D när denna implementerades.

[spacecoin]

Det problemet har väl att göra med begränsningen av sido accelerationskraft och göra att bilen driftar ur körfältet.

Det var vad jag kommer ihåg, inte ett problem med Teslas AP1. Den hade nästan inga begränsningar (tillämpade) och gjorde att man lätt åt en hel meny från McD innan man behövde röra vid ratten. Tror det var 15 min.

Dock hade den andra problem som att höjdskillnader tolkades som kurvor vilket slutade i nära-brunt-i-byxan-situationer då den drog kraftigt mot kanter.

I början var det inte ett problem med AP1 men det kom en "regulatory update" även till den. Minns att det blev klart sämre på min SP90D när denna implementerades.

Ok. Jag har inte kört AP1 mycket och det var länge sedan så jag kanske minns fel.

[jpetters]

Det problemet har väl att göra med begränsningen av sido accelerationskraft och göra att bilen driftar ur körfältet.

Det var vad jag kommer ihåg, inte ett problem med Teslas AP1. Den hade nästan inga begränsningar (tillämpade) och gjorde att man lätt åt en hel meny från McD innan man behövde röra vid ratten. Tror det var 15 min.

Dock hade den andra problem som att höjdskillnader tolkades som kurvor vilket slutade i nära-brunt-i-byxan-situationer då den drog kraftigt mot kanter.

I början var det inte ett problem med AP1 men det kom en "regulatory update" även till den. Minns att det blev klart sämre på min SP90D när denna implementerades.

Ok. Jag har inte kört AP1 mycket och det var länge sedan så jag kanske minns fel.

Var ju ett tag sedan även jag körde AP1, men minns mycket väl hur mycket sämre det blev. Först driftade bilen bara ur körfältet, sen kom det någon uppdatering där bilen "panikbromsade" och det var ju inte så kul heller. Så slutade använda AP när det svängde för mycket.

[jpetters]

Det problemet har väl att göra med begränsningen av sido accelerationskraft och göra att bilen driftar ur körfältet.
När jag själv körde med FSDS i USA så var det inget problem alls, sen fanns det såklart annat.

1.Tesla anpassar inte hastigheten tillräckligt mycket i kurvor för att vara klara UNECE-reglerna på ett säkert sätt. AP1 klarar detta galant.

2. Se video från testföretaget...

1. Det är helt klart ett problem på icke-FSDS, även på motorväg om det svänger lite för mycket.

2. Är det FSDS i USA på dessa videos? UNECE-reglerna påverkar väl inte där?
Märkligt i så fall. Det var en av de saker jag specific testade i bergen i Kalifornien i april när jag hyrde en Model S (AI3) med FSDS v12. Kanske blivit sämre i nyare version helt enkelt.

[spacecoin]

Det problemet har väl att göra med begränsningen av sido accelerationskraft och göra att bilen driftar ur körfältet.
När jag själv körde med FSDS i USA så var det inget problem alls, sen fanns det såklart annat.

1.Tesla anpassar inte hastigheten tillräckligt mycket i kurvor för att vara klara UNECE-reglerna på ett säkert sätt. AP1 klarar detta galant.

2. Se video från testföretaget...

1. Det är helt klart ett problem på icke-FSDS, även på motorväg om det svänger lite för mycket.

2. Är det FSDS i USA på dessa videos? UNECE-reglerna påverkar väl inte där?
Märkligt i så fall. Det var en av de saker jag specific testade i bergen i Kalifornien i april när jag hyrde en Model S (AI3) med FSDS v12. Kanske blivit sämre i nyare version helt enkelt.

Ja, senaste FSDS, Hw4

[tnjo]

En sak dom skrev är ju att bilen kan hantera situationer 9 av 10 gånger galant, vilket är bland dom större problemen då man blir invaggad i "det här är aldrig några problem"

[Jaegaern]

Det problemet har väl att göra med begränsningen av sido accelerationskraft och göra att bilen driftar ur körfältet.

Det var vad jag kommer ihåg, inte ett problem med Teslas AP1. Den hade nästan inga begränsningar (tillämpade) och gjorde att man lätt åt en hel meny från McD innan man behövde röra vid ratten. Tror det var 15 min.

Dock hade den andra problem som att höjdskillnader tolkades som kurvor vilket slutade i nära-brunt-i-byxan-situationer då den drog kraftigt mot kanter.

I början var det inte ett problem med AP1 men det kom en "regulatory update" även till den. Minns att det blev klart sämre på min SP90D när denna implementerades.

Mm kommer ihåg det. Trist.

[Nicke Nyfiken]

Det problemet har väl att göra med begränsningen av sido accelerationskraft och göra att bilen driftar ur körfältet.

Det var vad jag kommer ihåg, inte ett problem med Teslas AP1. Den hade nästan inga begränsningar (tillämpade) och gjorde att man lätt åt en hel meny från McD innan man behövde röra vid ratten. Tror det var 15 min.

Dock hade den andra problem som att höjdskillnader tolkades som kurvor vilket slutade i nära-brunt-i-byxan-situationer då den drog kraftigt mot kanter.

I början var det inte ett problem med AP1 men det kom en "regulatory update" även till den. Minns att det blev klart sämre på min SP90D när denna implementerades.

Mm kommer ihåg det. Trist.

Ja det var en jäkla skituppdatering.
Farthållaren slutade också att accelerera under filbyte vid omkörning.

[Jaegaern]

Det problemet har väl att göra med begränsningen av sido accelerationskraft och göra att bilen driftar ur körfältet.

Det var vad jag kommer ihåg, inte ett problem med Teslas AP1. Den hade nästan inga begränsningar (tillämpade) och gjorde att man lätt åt en hel meny från McD innan man behövde röra vid ratten. Tror det var 15 min.

Dock hade den andra problem som att höjdskillnader tolkades som kurvor vilket slutade i nära-brunt-i-byxan-situationer då den drog kraftigt mot kanter.

I början var det inte ett problem med AP1 men det kom en "regulatory update" även till den. Minns att det blev klart sämre på min SP90D när denna implementerades.

Mm kommer ihåg det. Trist.

Ja det var en jäkla skituppdatering.
Farthållaren slutade också att accelerera under filbyte vid omkörning.

Det missade jag, men trist! De kanske tillåter allt detta igen om nya reglerna som tillåter FSD(s) blir spikade. Låt oss hoppas.

[spacecoin]

Det var vad jag kommer ihåg, inte ett problem med Teslas AP1. Den hade nästan inga begränsningar (tillämpade) och gjorde att man lätt åt en hel meny från McD innan man behövde röra vid ratten. Tror det var 15 min.

Dock hade den andra problem som att höjdskillnader tolkades som kurvor vilket slutade i nära-brunt-i-byxan-situationer då den drog kraftigt mot kanter.

I början var det inte ett problem med AP1 men det kom en "regulatory update" även till den. Minns att det blev klart sämre på min SP90D när denna implementerades.

Mm kommer ihåg det. Trist.

Ja det var en jäkla skituppdatering.
Farthållaren slutade också att accelerera under filbyte vid omkörning.

Det missade jag, men trist! De kanske tillåter allt detta igen om nya reglerna som tillåter FSD(s) blir spikade. Låt oss hoppas.

Tyvärr har jag inte sett något om det i DCAS/R171 tror jag.