1. Start
  2. /
  3. Kunskapsbank
  4. /
  5. När lönar sig lokal AI? Så påverkar tokens kostnaden för AI
Man med headset och glasögon sitter vid en dator på ett kontor; en kollega sitter bakom en skärm.

Vad är tokens inom AI? 

En token är enkelt uttryckt en informationsenhet som en AI-modell arbetar med. Texten du skriver till en språkmodell delas upp i tokens innan den behandlas. Även svaret modellen genererar består av tokens.  

Det betyder att en AI-tjänst kan räkna både hur mycket information som skickas in i modellen och hur mycket information som genereras ut. Och det är här tokenomics kommer in i bilden. 

Vad är tokenomics? 

Tokenomics beskriver i det här sammanhanget ekonomin kring hur AI används och hur tokenförbrukningen påverkar kostnaden. För molnbaserade AI-modeller kan kostnaden exempelvis baseras på antalet tokens som skickas till modellen och antalet tokens som modellen genererar tillbaka. Ju större användning, fler anrop och mer omfattande uppgifter, desto större kan den totala förbrukningen bli. 

För ett företag som använder AI i allt fler processer kan kostnaden därför förändras över tid. En lösning som är enkel och billig att komma igång med behöver inte nödvändigtvis ha samma kostnadsbild när användningen växer. Det är en av anledningarna till att frågan om lokal AI kontra AI i molnet blir allt mer intressant. 

Vad är lokal AI? 

Lokal AI innebär att hela eller delar av AI-lösningen körs på företagets egen infrastruktur i stället för att all bearbetning sker i en extern molntjänst. Det ger företaget större kontroll över exempelvis hårdvara, kapacitet och var informationen behandlas. Lokal AI-hårdvara kan vara perfekt för utveckling och i test, men även i produktion när det är dags att skala upp. Man kan investera i en begränsad mängd i början och skala upp vid driftsättning.

Men lokal AI behöver inte innebära att allt måste flyttas hem. Ett alternativ är en hybrid AI-lösning, där exempelvis känslig företagsdata hanteras lokalt medan vissa delar av AI-bearbetningen fortfarande sker i molnet.  

När kan lokal AI vara intressant? 

Det finns ingen universell brytpunkt där lokal AI automatiskt blir billigare än molnbaserad AI. Kalkylen behöver göras utifrån det enskilda användningsfallet. 

Några frågor blir särskilt viktiga:

  • Hur mycket används AI idag?
  • Hur snabbt ökar användningen?
  • Hur många användare eller processer använder lösningen samtidigt?
  • Hur mycket data behöver AI:n hantera?
  • Hur höga krav finns på svarstid och kvalitet?
  • Hur stor blir tokenförbrukningen?
  • Får företagets data skickas till en extern tjänst?
  • Vad skulle motsvarande kapacitet kosta att driva lokalt?

Har företaget redan en AI-tjänst med förbrukningsbaserad prissättning finns dessutom värdefull information att utgå från. Faktisk användning, antal anrop, tokenförbrukning och prestandakrav kan användas som underlag när en alternativ lokal eller hybrid lösning dimensioneras.  

Lokal AI handlar inte bara om att sänka kostnaden 

Det är lätt att göra lokal AI till en ren kostnadsfråga. Men för många företag kan kontrollen över data vara ett minst lika viktigt argument.  
Företagsdata kan innehålla affärskritisk information, kunddata, interna dokument, immateriella tillgångar eller annan information som organisationen av olika skäl vill behålla inom sin egen miljö. Därför kan lokal AI vara relevant även när den inte är det billigaste alternativet.

En hybridlösning kan också skapa en mellanväg. Känslig data kan stanna lokalt samtidigt som verksamheten använder kapacitet från en molnbaserad AI-modell där det är lämpligt.  

Börja inte med tekniken 

När ett företag börjar undersöka AI är det lätt att diskussionen snabbt hamnar i modeller, GPU:er, servrar och minne. Men det kanske är fel håll att börja från. Den viktigaste frågan är i stället: Vilket konkret problem ska AI lösa? 
Det kan exempelvis handla om att analysera stora mängder loggdata, automatisera repetitiva arbetsmoment, övervaka system, optimera energianvändning eller hitta och sammanställa information från företagets egna system. Först när användningsområdet är tydligt går det att avgöra vilken modell, kapacitet och infrastruktur som faktiskt behövs. 

Fem frågor att ställa innan ni investerar i AI 

Ett bra första steg är att utgå från fem frågor:

1. Vilket problem vill vi lösa? 
Definiera det konkreta användningsfallet och vilket värde AI ska skapa. 
2. Vilken data och vilka system behöver AI:n komma åt? 
Kartlägg var informationen finns, vilken kvalitet den har och vilka behörigheter som krävs. 
3. Ska AI:n köras lokalt, i molnet eller som hybrid? 
Låt krav på data, säkerhet, prestanda, skalbarhet och ekonomi styra. 
4. Hur mycket kommer lösningen att användas? 
Titta på användare, anrop, tokens, samtidighet och vilka svarstider verksamheten kräver. 
5. Hur ska resultatet mätas? 
Bestäm från början hur ni ska mäta kostnad, kvalitet, svarstid och framför allt affärsnytta.  

Börja med en pilot, inte ett jätteprojekt 

Ett AI-projekt behöver inte börja med en stor investering. Tvärtom kan ett avgränsat användningsfall vara ett bättre första steg. Testa AI mot ett verkligt problem, med relevant data och tydliga mätpunkter. Då går det att se hur lösningen fungerar i praktiken innan den skalas upp. Det gör det också möjligt att svara på frågor som annars lätt blir teoretiska:

Hur mycket nytta får vi? Hur mycket kapacitet behöver vi? Vad kostar den? Och vilken arkitektur är rimlig om användningen växer? 

Molnet, lokalt eller både och? 

Det finns alltså inget enkelt svar på om lokal AI är bättre än AI i molnet.  
Molnet kan ge en låg tröskel och göra det möjligt att snabbt komma igång utan stora initiala investeringar. Lokal AI kan ge större kontroll över data och kostnadsbilden kan bli intressant när användningen blir omfattande. Hybrid AI kan kombinera egenskaper från båda alternativen. 

Den verkliga frågan är därför inte: 
”Ska vi köra AI lokalt eller i molnet?” 
Utan: 
”Vilken AI-lösning ger bäst effekt för vårt användningsfall, vår data och vår ekonomi?” 
Det är där diskussionen bör börja. 

Ta det med Palle

Molnet, lokalt eller en kombination? Brytpunkten ser olika ut för olika verksamheter.

AI-användning, tokenförbrukning, kostnad och krav på kontroll över data är några av faktorerna som avgör när lokal AI blir intressant. Därför går det inte att sätta ett visst antal tokens som en generell gräns. Det behöver räknas på utifrån er faktiska användning.

Vill du veta när lokal AI kan börja bli intressant för er? Ta det med Palle.

 

Kontakta oss
Man med glasögon och mörkblå kavaj står med armarna i kors framför gröna växter.
Specialist, Specialist Klienter

Palle Rellos

Specialistsäljare Klienttjänster

Relaterade nyheter

Publik på AI-konferens lyssnar på en paneldebatt under lila och blå scenbelysning.
Omvärldsbevakning

AI går från experiment till verklighet. Är din organisation redo?

Kvinna vid ett skrivbord arbetar vid tangentbordet och höjer handen mot datorskärmarna.
Omvärldsbevakning

Cybersäkerhetsmånaden: När AI går fel, är du redo att agera?

Två män pratar medan en av dem håller upp en bärbar dator på ett evenemang inomhus.
Omvärldsbevakning

IT-priserna fortsätter uppåt – hur påverkar det dina investeringar?

Denna webbplats använder cookies

Cookies ("kakor") består av små textfiler. Dessa innehåller data som lagras på din enhet. För att kunna placera vissa typer av cookies behöver vi inhämta ditt samtycke. Vi på B2B IT-Partner AB, orgnr. 556593-0996 använder oss av följande slags cookies. För att läsa mer om vilka cookies vi använder och lagringstid, klicka här för att komma till vår cookiepolicy.

Hantera dina cookieinställningar

Nödvändiga cookies

Markera för att samtycka till användning av Nödvändiga cookies
Nödvändiga cookies är cookies som måste placeras för att grundläggande funktioner på webbplatsen ska kunna fungera. Grundläggande funktioner är exempelvis cookies som behövs för att du ska kunna använda menyer och navigera på sajten.

Cookies för statistik

Markera för att samtycka till användning av Cookies för statistik
För att kunna veta hur du interagerar med webbplatsen placerar vi cookies för att föra statistik. Dessa cookies anonymiserar personuppgifter.

Cookies för annonsmätning

Markera för att samtycka till användning av Cookies för annonsmätning
För att kunna erbjuda bättre service och upplevelse placerar vi cookies för att kunna anpassa marknadsföring till dig. Ett annat syfte med denna behandling är att kunna marknadsföra produkter eller tjänster till dig, ge anpassade erbjudanden eller marknadsföra och ge rekommendationer kring nya koncept utifrån vad du har köpt tidigare.

Cookies för personlig annonsmätning

Markera för att samtycka till användning av Cookies för personlig annonsmätning
För att kunna visa relevant reklam placerar vi cookies för att anpassa innehållet för dig

Cookies för anpassade annonser

Markera för att samtycka till användning av Cookies för anpassade annonser
För att visa relevanta och personliga annonser placerar vi cookies för att tillhandahålla unika erbjudanden som är skräddarsydda efter din användardata