AI-modeller

[spacecoin]

Nu har Allen AI Institute (Paul Allen, ex-Microsoft) skeppat en open source modell, Tülu 3, som har likande prestanda som Deepseek R1 och GPT-4o.

Godnatt Open AI.

https://allenai.org/blog/tulu-3-405B?includeDrafts=true

[manneson]

Vad jag förstår har modellerna nu nått sådan skala att de tränats på allt tillgängligt material på internet.
Dvs den snabba förbättring som skett senaste åren har nu avtagit kraftigt.
Bolagen tvingas nu skapa artificiellt material för att träna dem vidare.

Det kommer säkert ske noterbara framsteg i närtid, men jag tror själv mycket kommer handla om effektivitet. Dvs att det som idag kräver massiva datacenter fyllda med svindyra GPUer kommer effektiviseras så det kan köra lokalt på tex en iPhone och liknande inom relativt kort tid.

Kort sagt är den nivån på AI vi ser nu troligen ungefär så bra det kommer vara närmaste åren. Det som sker nu är att det kommer dyka upp i allas egna enheter. AI blir helt enkelt ”commodity”. Vi får alla en assistent som kan hjälpa oss med diverse basala saker. Istället för att googla frågar man AI.

AGI ligger nog likt självkörande bilar en bra bit fram i tiden…

[tor-ake]

Det som också sker är att området drar till sig mer och mer investeringar, forskning och människor, vilket i sin tur *kan* leda till genombrott.

Personligen tror jag att det för tidigt att säga vartåt det kommer gå men om det stabiliserar sig nu på LLM-området så som det verkar ha gjort på t.ex. självkörningsområdet (inga genombrott på flera år, och investeringarna verkar börja sina) så är det ju lättare att se.

[spacecoin]

Det känns som att det är diminishing returns nu.

Open source (Deepseek) är i princip lika bra som proprietära…

Jag använder Gemini Flash i mina applikationer eftersom api-kostnaden är typ en tiondel jfr ”Open”AI.

[Jaegaern]

Är vi inte vid punkten när vilken modell man använder spelar mindre roll. Snarare API:er, eller "agents" som man pratar om, som är skillnaderna. Alltså hur väl man kan använda respektive modell?

[Matte]

Är vi inte vid punkten när vilken modell man använder spelar mindre roll. Snarare API:er, eller "agents" som man pratar om, som är skillnaderna. Alltså hur väl man kan använda respektive modell?

100%. Jag använder chatgpt idag, men enbart för att jag är för lat för att ändra. Tror Microsoft blir vinnare på denna, dom kommer kunna göra mycket med Windows, Office o Azure, där dom kan införa agenter o smidiga ai-lösningar (som i teorin skulle kunna vara 90% så bra som andras, folk skulle ändå använda den). Gissar jag.

[spacecoin]

Är vi inte vid punkten när vilken modell man använder spelar mindre roll. Snarare API:er, eller "agents" som man pratar om, som är skillnaderna. Alltså hur väl man kan använda respektive modell?

Det jag tror många missar är att idag är vi i "internet med modem"-eran för AI eller kanske när cloud var nytt för 15 år sedan. Min gissing är att ingen kommer att säga "jag använder X för AI om 5 år" på samma sätt som ingen säger jag använder Bahnhof för Internet.

AI kommer att vara inbyggt i allt och finnas där som en naturlig del.

Därför är det viktigt att ha API:er till en kostnad som gör att utvecklare har råd att lägga till AI. För att det ska hända behöver man ha egen hårdvara som drar mindre ström och är optimerad för inference på de modeller man erbjuder.

Jag tror inte att Microsoft är vinnare i det spelet (men ej heller en förlorare). Microsoft har knappt egna modeller, egna chip, egna API:er eller egen prissättning. De har "bara" OpenAI på Azure. Jag är personligen bullish Google inom AI och AWS är alltid en spelare, men Google är långt före på chipsidan och med AI generellt.

Microsoft har ju en stor installerad bas där de kan uppsälja AI-funktioner så de kan nog tjäna bra med pengar där - mer än på API-sidan gissar jag.

Andy Jassey på Amazon (fd chef AWS, nu för hela Amazon) sa följande igår på earnings call:
AWS is a reasonably large business by most standards, and though we expect growth will be lumpy over the next few years as enterprise adoption cycles, capacity considerations, and technology advancements impact timing, it's hard to overstate how optimistic we are about what lies ahead for AWS' customers and business. I spent a fair bit of time thinking several years out. And while it may be hard for some to fathom a world where virtually every app has generative AI infused in it, with inference being a core building block just like compute, storage, and database, and most companies having their own agents that accomplish various tasks and interact with one another, this is the world we're thinking about all the time. And we continue to believe that this world will mostly be built on top of the cloud with the largest portion of it on AWS.

AI kommer att bli som "konnektivitet" eller elektricitet. Det är en infrastrukturtjänst.

Sedan kommer det så klart att finnas massa konsumentprodukter, både hw (glasögon etc) och alla olika appar som folk bygger.

[Jaegaern]

Är vi inte vid punkten när vilken modell man använder spelar mindre roll. Snarare API:er, eller "agents" som man pratar om, som är skillnaderna. Alltså hur väl man kan använda respektive modell?

Det jag tror många missar är att idag är vi i "internet med modem"-eran för AI eller kanske när cloud var nytt för 15 år sedan. Min gissing är att ingen kommer att säga "jag använder X för AI om 5 år" på samma sätt som ingen säger jag använder Bahnhof för Internet.

AI kommer att vara inbyggt i allt och finnas där som en naturlig del.

Därför är det viktigt att ha API:er till en kostnad som gör att utvecklare har råd att lägga till AI. För att det ska hända behöver man ha egen hårdvara som drar mindre ström och är optimerad för inference på de modeller man erbjuder.

Jag tror inte att Microsoft är vinnare i det spelet (men ej heller en förlorare). Microsoft har knappt egna modeller, egna chip, egna API:er eller egen prissättning. De har "bara" OpenAI på Azure. Jag är personligen bullish Google inom AI och AWS är alltid en spelare, men Google är långt före på chipsidan och med AI generellt.

Microsoft har ju en stor installerad bas där de kan uppsälja AI-funktioner så de kan nog tjäna bra med pengar där - mer än på API-sidan gissar jag.

Andy Jassey på Amazon (fd chef AWS, nu för hela Amazon) sa följande igår på earnings call:
AWS is a reasonably large business by most standards, and though we expect growth will be lumpy over the next few years as enterprise adoption cycles, capacity considerations, and technology advancements impact timing, it's hard to overstate how optimistic we are about what lies ahead for AWS' customers and business. I spent a fair bit of time thinking several years out. And while it may be hard for some to fathom a world where virtually every app has generative AI infused in it, with inference being a core building block just like compute, storage, and database, and most companies having their own agents that accomplish various tasks and interact with one another, this is the world we're thinking about all the time. And we continue to believe that this world will mostly be built on top of the cloud with the largest portion of it on AWS.

AI kommer att bli som "konnektivitet" eller elektricitet. Det är en infrastrukturtjänst.

Sedan kommer det så klart att finnas massa konsumentprodukter, både hw (glasögon etc) och alla olika appar som folk bygger.

Ja absolut, håller med.

[d3marcus]

Finns många tillämpningar men något som underskattas är att framtidens input-UI bara blir en promptruta med text (eller tal). Inga krångliga komponenter för input utan ren text, exempelvis för att konfigurera en bil, jämföra modeller et al. Däremot kommer output-UI fortfarande vara relevant, så klart.

Ang. AI-agenter så kommer de ffa minska beroendet av dyra anpassningar till ERP-/verksamhetssystem. Språkmodellernas styrka är att de inte är beroende av strukturerade JSON-kontrakt. Aktörer som Accenture och IBM behöver hitta andra intäktsströmmar eller gilla läget.

Mvh
Konsult med 27 års erfarenhet, varav 15 inom fordonsindustrin.

[spacecoin]

Finns många tillämpningar men något som underskattas är att framtidens input-UI bara blir en promptruta med text (eller tal). Inga krångliga komponenter för input utan ren text, exempelvis för att konfigurera en bil, jämföra modeller et al. Däremot kommer output-UI fortfarande vara relevant, så klart.

Ang. AI-agenter så kommer de ffa minska beroendet av dyra anpassningar till ERP-/verksamhetssystem. Språkmodellernas styrka är att de inte är beroende av strukturerade JSON-kontrakt. Aktörer som Accenture och IBM behöver hitta andra intäktsströmmar eller gilla läget.

Mvh
Konsult med 27 års erfarenhet, varav 15 inom fordonsindustrin.

"Promptruta"-grejen är ju en del av "agental" egentligen. LLM:er är inte en rå modell utan den är tränad med RLHF för att svara trevligt och säkert i konversationsform.

Den klassiska styrkan i ML är ju att hitta mönster i stora datamängder som är svåra för människan att se.

[spacecoin]

Alltid i fronten: Sexindustrin. Man undrar om OpenAI vågar göra det i kristendomens svar på Iran?

[spacecoin]

Tesla kanske kan gå med i Googles early access program