Tjänster / LLM-integration
LLM-integration
LLM-integration innebär att koppla en språkmodell till era egna data, dokument och API:er så att den kan svara på och utföra saker i er verksamhet. Jag bygger sådana lösningar med mätbar utvärdering, kostnadstak och tydligt avgränsad behörighet — inte som en demo, utan som något som tål att ha riktiga användare.
Vanliga utgångslägen
- Ni har byggt en chattprototyp som imponerade i demo och sedan aldrig gick i produktion.
- Ingen kan svara på hur ofta svaren är korrekta, för det finns inget utvärderingsunderlag.
- Kostnaden per fråga är okänd, och därför vågar ingen släppa på volymen.
Så gör jag
En språkmodell är lätt att imponera med och svår att lita på. Skillnaden mellan en demo och ett system i drift är nästan aldrig modellen. Den är utvärderingen, behörighetsgränserna och kostnadskontrollen.
Ett system som svarar rätt i nio fall av tio kan vara utmärkt för intern sökning och direkt olämpligt för besked till kund. Vilket av dem ni bygger måste avgöras innan, inte upptäckas efteråt.
Utvärdering före utveckling
Först byggs en uppsättning frågor med kända rätta svar. Utan den går det inte att säga om en ändring gjorde systemet bättre eller sämre, och då blir utvecklingen gissningar med självförtroende.
Sökning som bär lösningen
De flesta RAG-problem är sökproblem, inte modellproblem. Hybridsökning, omrankning och genomtänkt uppstyckning av dokument ger nästan alltid mer än att byta till en dyrare modell.
Verktyg och behörighet
När modellen ska utföra saker och inte bara svara måste varje verktyg ha avgränsad behörighet och ett spår som går att granska i efterhand. Det är en systemdesignfråga, inte en promptfråga.
Kostnad och latens som krav
Kostnad per fråga och svarstid sätts som mål innan bygget, inte som en överraskning efter. Ofta går det att flytta merparten av volymen till en mindre modell utan mätbar kvalitetsförlust.
Vad du får
- Utvärderingsuppsättning som är er egendom och går att köra om vid varje ändring
- Tjänsten i drift i er miljö, med loggning och spårbarhet
- Kostnadstak och larm per användare eller per dygn
- Dokumenterad gräns för vad modellen får och inte får göra
Förstudie · 2–3 veckor
95 000 – 140 000 kr
Spannet styrs av hur många datakällor som ska indexeras och om systemet ska utföra åtgärder eller bara svara.
Vanliga frågor
Skickas våra data till OpenAI eller Anthropic?
Bara om ni vill det. Alternativen är leverantörer med databehandling inom EU, eller modeller som körs helt i er egen miljö. Valet påverkar kostnad och kvalitet, och vi tar det som ett uttalat beslut tidigt.
Hur vet vi att modellen inte hittar på?
Man eliminerar det inte, man mäter det. Med en utvärderingsuppsättning går andelen felaktiga svar att följa över tid, och genom att kräva källhänvisning i svaret blir felen synliga för användaren.
Vad kostar det att driva?
Det beror på volym och modellval, men storleksordningen går att räkna fram redan i förstudien. Om driftkostnaden inte bär sin nytta är det ett resultat värt att få innan bygget, inte efter.
Omfattas det här av EU:s AI-förordning?
Ofta i någon mån. Vilken del beror på användningsområdet. Kundtjänst och interna kunskapssystem hamnar sällan i högriskkategorin, men transparens- och dokumentationskrav gäller brett. Det reds ut i förstudien.