Jag satt i ett möte i våras där en teknikchef beskrev en pilot som fungerat i fyra månader. Modellen levererade, användarna var nöjda, effekten gick att mäta. Sedan skulle lösningen skalas till produktion, och juridik ställde en enda fråga: var behandlas datan? Två veckor senare var satsningen pausad.
Det som stoppade projektet var inte tekniken. Det var att ingen hade tagit ett arkitekturbeslut tidigt nog för att det skulle gå att försvara sent.
Diskussionen om lokal AI och on-premises har blivit en positionsstrid mellan molnentusiaster och säkerhetsavdelningar. Det är fel konflikt. Placeringen av AI-arbetsbelastningar är ett portföljbeslut, inte ett trosval och det fattas bäst per arbetsflöde, inte per företag.
Tre saker har förändrats
Små modeller duger till mer än man tror. Mycket av det som faktiskt skapar värde i verksamheten – klassificering, extraktion, sammanfattning, sökning över egna dokument – kräver inte den största modellen på marknaden. Det kräver en tillräckligt bra modell med tillgång till rätt data.
Kostnadskurvan vänder vid volym. I pilotfas är rörlig kostnad per anrop en icke-fråga. I produktion, med jämn och hög volym, blir samma modell en annan kalkyl. Det är övergången från rörlig till fast kostnad som gör egen infrastruktur intressant – inte priset i sig.
Regelverken har gått från oro till krav. Dataresidens, spårbarhet och dokumenterad kontroll över modellers livscykel är inte längre något man reder ut efter lansering. Det är förutsättningar som måste finnas i arkitekturen från början.
Tre beslut som brukar klumpas ihop till ett
Den vanligaste tankefällan är att behandla ”lokalt eller moln” som en enda fråga. Det är i själva verket tre:
- Var körs modellen? Ren infrastrukturfråga.
- Var bor datan, och vart rör den sig? Inte samma sak som ovan. Data kan stanna internt även när beräkningen sker någon annanstans, och tvärtom.
- Vem styr livscykeln? Vem bestämmer när modellen uppgraderas, byts eller avvecklas och vad händer med era utvärderingar när den gör det?
Man kan köra i molnet med god datakontroll. Man kan lika gärna köra lokalt och ändå vara utlämnad åt en leverantörs releasetakt. Suveränitet handlar mer om det tredje beslutet än om var servrarna står.
Fyra frågor som avgör placeringen
När jag hjälper organisationer att sortera det här återkommer samma fyra dimensioner:
- Känslighet. Vad händer om datan lämnar huset – juridiskt, kommersiellt, förtroendemässigt? Patientdata, konstruktionsunderlag och pågående förhandlingar hamnar sällan i samma hink som marknadsföringstexter.
- Volym och förutsägbarhet. Jämn, hög och planerbar belastning talar för egen hårdvara. Ojämn, oregelbunden eller experimentell belastning talar för moln.
- Latens och tillgänglighet. Ska det fungera på produktionsgolvet, i fält eller utan uppkoppling? Då är frågan redan avgjord.
- Kompetens. Den obekväma frågan: finns det någon hos er som kan drifta detta om två år, när entusiasmen lagt sig och konsulten har gått vidare?
Var lokal AI faktiskt är svårt
Argumenten ovan används ofta som om on-premises vore det enkla alternativet. Det är det inte.
Utnyttjandegraden på egen hårdvara blir sällan så hög som kalkylen förutsätter. Modelluppdateringar går från att vara någon annans problem till att bli ert projekt. Utvärdering och kvalitetssäkring, som få organisationer gjort ordentligt ens i molnet, blir plötsligt något ni måste bygga själva. Och driften behöver en tydlig ägare, inte en eldsjäl.
Det är därför beslutet sällan bör landa i ett antingen–eller. Hybrid är för de flesta ett rimligare utgångsläge än en principiell hållning i någon riktning.
En praktisk hållning
Sortera era AI-arbetsflöden i tre hinkar, innan ni bestämmer något om infrastruktur:
- Får aldrig lämna huset. Placeringen är given av data, inte av teknikval.
- Hör hemma i molnet. Experiment, oregelbunden belastning, allmänt tillgänglig information.
- Är flyttbara. Den intressanta kategorin – här ska beslutet tas medvetet, dokumenteras och omprövas när volymen ändras.
Den tredje hinken är där de flesta pengar och de flesta problem finns. Den kräver att någon faktiskt tar ställning, inte att frågan skjuts till nästa arkitekturmöte.
Det mest strategiska med lokal AI är sällan modellen i sig. Det är att organisationen tvingas svara på vad den vill äga och vad den är beredd att låna.
Var går gränsen hos er? Vilka arbetsflöden får aldrig lämna huset – och vem har egentligen fattat det beslutet?