Wat is on-prem AI?

On-premise AI is een AI-oplossing die draait op servers die jouw organisatie beheert (eigen datacenter of private hosting onder jouw controle). In plaats van dat gebruikers hun data naar een publieke AI-dienst sturen, blijft informatie binnen de grenzen van jouw infrastructuur en beleid.

In de praktijk betekent dit:

• AI in je eigen netwerk / tenant / hosting

• eigen identity & access (bijv. Azure AD/Entra)

• eigen logging, auditing en retentie

• controle over data-bronnen (SharePoint, file shares, ticketing, DMS)

Waarom kiezen organisaties hiervoor?

AI is alleen echt nuttig als je hem bedrijfsinformatie durft te laten verwerken. Precies dáár wringt het bij publieke AI: medewerkers kopiëren teksten, stukken contract, klantvragen of incidentlogs in een chatvenster en je verliest grip op:

• waar data terechtkomt

• wie toegang heeft

• hoe je kunt aantonen wat er is gebeurd

• of informatie later hergebruikt wordt

On-prem AI is een logische keuze wanneer:

• je met vertrouwelijke data werkt (klanten, dossiers, interne policies)

• je onder AVG/GDPR, ISO27001 of sectorregels valt

• je niet wilt dat data door derden wordt verwerkt

• je AI wilt integreren in processen (in plaats van losse “promptjes”)

Hoe werkt on-prem AI technisch gezien?

Een on-prem AI-oplossing bestaat meestal uit 5 onderdelen:

1) AI-model (LLM)

Bijvoorbeeld een open model (Llama/Mistral-klasse) dat je zelf draait. De keuze hangt af van:

• taal (NL/EN)

• redeneerkwaliteit

• latency

• compute (GPU)

2) Knowledge layer (RAG)

RAG (Retrieval-Augmented Generation) zorgt dat het model antwoorden geeft op basis van jouw documenten, zonder dat je het model hoeft te trainen. De flow:

1. documenten worden “opgeknipt” (chunks)

2. omgezet naar embeddings

3. opgeslagen in vector database

4. bij een vraag: relevante chunks ophalen

5. model antwoordt met context

3) Access control (RBAC)

Je AI moet dezelfde regels volgen als je IT:

• medewerker mag niet meer zien dan zijn SharePoint-rechten

• afdelingen gescheiden

• logging/audit verplicht

4) Integraties

Bijv.:

• SharePoint/Teams

• file server / NAS

• servicedesk (Topdesk/Autotask/Jira)

• werkplekbeheer (device management, policies, documentatie)

5) Governance & monitoring

• audit logging

• content filters (data leakage)

• model updates

• incident management

Wanneer kies je on-prem AI (en wanneer niet)?

Kies on-prem AI als:

• je vertrouwelijke informatie wilt gebruiken (contracten, tickets, HR/finance)

• je compliance moet kunnen aantonen (audit trails)

• je AI wil integreren in werkprocessen

• je vendor lock-in wilt beperken

• je centrale beheerbaarheid wilt (IT als eigenaar)

Kies (nog) geen on-prem AI als:

• je geen eigen IT-beheer hebt of “beheerloos” wil starten

• je AI alleen incidenteel gebruikt voor niet-gevoelige content

• je geen budget/ruimte hebt voor infrastructuur (GPU/hosting)

• je organisatie niet klaar is voor governance (rechten, beleid)

Security & compliance (vaste checklist)

Een on-prem AI is niet automatisch veilig. Hij is beheerbaar—dat is het echte voordeel.

Let minimaal op:

• Data-opslag: welke data wordt gecached? waar?

• Toegang: SSO + RBAC (Entra ID)

• Logging/audit: wie vroeg wat, wanneer, welke bronnen

• Retentie: hoe lang logs/outputs blijven bestaan

• DLP/filters: gevoelige data masken/blokkeren

• Segmentatie: AI componenten gescheiden van productie waar nodig

Valkuilen (en hoe je ze voorkomt)

1. “We zetten een model neer en klaar.”
   → zonder RAG, rechten en content governance is het een chatbot zonder bedrijfswaarde.

2. Te veel data toegankelijk maken.
   → start klein: één domein (IT docs / policies) en rol-gebaseerd uitbreiden.

3. Geen adoptieplan.
   → succes = procesintegratie, geen losse tool.