KI-Strategie für den Mittelstand: vom Piloten zur Marge

Die Debatte über KI im Mittelstand läuft seit drei Jahren an der eigentlichen Frage vorbei. Sie dreht sich um Werkzeuge, um Modelle, um Anbieter. In den Gesprächen, die ich mit Geschäftsführungen führe, steht aber eine andere Frage im Raum: Womit fangen wir an, wenn wir weder ein Data-Science-Team noch ein sechsstelliges Budget haben?

Diese Frage bleibt in den meisten Leitfäden unbeantwortet. Sie listen Anwendungsfälle auf, ohne zu sagen, welcher davon in deinem Unternehmen zuerst dran ist.

Dieser Text ordnet zunächst ein, wo der Mittelstand bei KI tatsächlich steht. Danach folgt ein Entscheidungsrahmen aus drei Prüffragen und ein Vorgehen für den ersten Piloten samt Abbruchkriterium. Am Ende weißt du, welche zwei Prozesse in deinem Unternehmen als Erstes an der Reihe sind.

Wie weit ist der Mittelstand bei KI wirklich?

Weiter als die Skeptiker glauben und deutlich weniger weit als die Anbieterprospekte suggerieren. Für 2024 gilt: Jedes fünfte Unternehmen in Deutschland nutzt Technologien der künstlichen Intelligenz. Die Verteilung nach Größe ist dabei aufschlussreicher als der Durchschnitt. 48 Prozent der Großunternehmen setzen KI ein, aber nur 28 Prozent der mittleren Unternehmen mit 50 bis 249 Beschäftigten und 17 Prozent der kleinen mit 10 bis 49 Beschäftigten.

Daneben stehen zwei weitere Zahlen. Der Bitkom-Studie „Künstliche Intelligenz 2025“ zufolge nutzt inzwischen etwa jedes dritte Unternehmen KI, nämlich 36 Prozent nach 20 Prozent im Vorjahr. Befragt wurden dafür 604 Unternehmen ab 20 Beschäftigten. Die Bundesnetzagentur wiederum kommt in ihrer Kennzahlenübersicht zur Digitalisierung im Mittelstand auf etwa 26 Prozent für Deutschland gegenüber einem EU-Durchschnitt von 20 Prozent.

Dass dieselbe Frage drei verschiedene Antworten hat, ist kein Widerspruch, sondern eine Frage der Schwelle. Wer Unternehmen erst ab 20 Beschäftigten befragt, misst eine andere Grundgesamtheit als wer ab zehn erhebt. KfW Research zählt den Mittelstand inklusive der Kleinstbetriebe und kommt für den Zeitraum 2022 bis 2024 auf 20 Prozent, nach vier Prozent zwischen 2016 und 2018. Das entspricht knapp 780.000 Unternehmen.

Für dich heißt das zweierlei. Der Rückstand kleiner Betriebe ist real und amtlich belegt. Und wer dir eine Adoptionsquote nennt, ohne die Beschäftigtenschwelle dazuzusagen, verkauft dir eine Zahl ohne Bedeutung.

Warum scheitert KI im Mittelstand: am Geld oder am Wissen?

Am Wissen und an der Rechtsunsicherheit, nicht am Budget. Unternehmen, die keine KI einsetzen, nennen in der Erhebung des Statistischen Bundesamtes als Grund an erster Stelle fehlendes Wissen mit 71 Prozent, gefolgt von Unklarheit über die rechtlichen Folgen mit 58 Prozent, Datenschutzbedenken mit 53 Prozent und Schwierigkeiten mit Verfügbarkeit oder Qualität der Daten mit 45 Prozent.

Bei den Unternehmen, die KI bereits nutzen, sieht das Muster ähnlich aus. Bitkom nennt als größte Hemmnisse rechtliche Hürden und Unklarheiten sowie fehlendes technisches Know-how mit je 53 Prozent und fehlende personelle Ressourcen mit 51 Prozent. 24 Prozent fehlt es an Daten, 23 Prozent sehen keine Anwendungsfälle für sich, 17 Prozent haben ethische Bedenken.

Die Konsequenz für deine Planung ist unbequem. Ein größeres Budget löst keines dieser Probleme. Was hilft, ist Klarheit darüber, welcher Prozess mit welchen Daten welches Ergebnis liefern soll. Der Satz, man sehe keine Anwendungsfälle, ist fast nie ein Befund über die Technologie, sondern einer über die fehlende Systematik bei der Suche.

Wie entwickelst du eine KI-Strategie mit begrenzten Ressourcen?

Du beginnst mit einer Bestandsaufnahme, nicht mit einem Werkzeug. Das Fraunhofer IAO beschreibt aus der Projektpraxis mit KMU, dass sich die bekannten Hindernisse überwinden lassen, wenn frühzeitig ein strategischer Ansatz bei der KI-Einführung verfolgt wird. Vorab gehören dazu eine Reifegradbestimmung und eine KI-Strategie, die unter Einbeziehung der Belegschaft entsteht.

KI-Reifegrad — Der Reifegrad beschreibt, wie weit ein Unternehmen bei Datenqualität, Prozessdokumentation, IT-Infrastruktur und Kompetenzen ist, gemessen als Ausgangspunkt vor dem ersten KI-Projekt.

Der Zusammenhang zwischen Strategie und Nutzung ist auch empirisch sichtbar. KfW Research stellt fest, dass die Wahrscheinlichkeit der KI-Nutzung steigt, wenn ein Unternehmen eine Digitalisierungsstrategie verfolgt. Forschende Unternehmen nutzen KI mit 53 Prozent nahezu dreimal so häufig wie Unternehmen ohne eigene Forschung und Entwicklung.

Für ein Unternehmen ohne Stabsstelle reicht ein Vorgehen in vier Schritten:

1. Liste die zehn Prozesse auf, die in deinem Unternehmen die meiste Arbeitszeit binden.
2. Notiere für jeden Prozess, wo die zugehörigen Daten liegen und in welchem Zustand sie sind.
3. Lege für die kommenden zwölf Monate fest, welche zwei Prozesse du anfassen willst.
4. Benenne eine Person, die für den ersten Piloten entscheidungsbefugt ist.

Diese Reihenfolge verhindert das Muster, das sich in vielen Unternehmen einstellt: einzelne Abteilungen kaufen eigene Werkzeuge, und es entsteht ein Nebeneinander von Datensammlungen, die niemand verknüpfen kann. Wenn du gerade ohnehin an deiner Ausrichtung arbeitest, ist ein Strategy Sprint der Rahmen, in dem diese Priorisierung in zwei Tagen entsteht.

Welche KI-Anwendungsfälle lohnen sich für KMU am schnellsten?

Die Anwendungsfälle in Verwaltung, Vertrieb und Dokumentenarbeit, weil dort strukturierte Daten bereits vorliegen. Das deckt sich mit dem tatsächlichen Einsatz. Der Erhebung des Statistischen Bundesamtes zufolge wird KI vorrangig für Marketing oder Vertrieb mit 33 Prozent genutzt, dann für Produktions- oder Dienstleistungsprozesse mit 25 Prozent sowie für Verwaltungsprozesse und für Buchführung, Controlling oder Finanzverwaltung mit je 24 Prozent.

Use Case — Ein Use Case ist ein einzelner, abgegrenzter Arbeitsablauf, in dem eine KI-Anwendung ein konkretes Ergebnis liefert, zum Beispiel die Vorqualifizierung eingehender Angebotsanfragen.

Die Branchenunterschiede sind erheblich. Laut Bundesnetzagentur liegt der Anteil im Wirtschaftszweig Information und Kommunikation am höchsten, in Deutschland bei 75 Prozent und in der EU bei 63 Prozent. Ein Maschinenbauer, der sich an diesem Wert misst, vergleicht sich mit der falschen Referenz.

Vier Einstiege funktionieren nach meiner Beratungserfahrung in fast jedem mittelständischen Unternehmen, weil sie an vorhandenen Daten ansetzen:

• Eingehende Anfragen und Angebote automatisch vorsortieren und den zuständigen Personen zuordnen.
• Wiederkehrende Dokumente wie Lieferscheine oder Rechnungen auslesen und in bestehende Systeme übertragen.
• Angebots- und Ausschreibungstexte auf Basis früherer Vorgänge vorformulieren.
• Absatz- und Materialbedarf aus mehrjährigen Verkaufsdaten prognostizieren.

Wie priorisierst du KI-Projekte nach Aufwand, Nutzen und Datenlage?

Mit drei Prüffragen pro Anwendungsfall, die du in dieser Reihenfolge stellst. Sie ersetzen die Diskussion über technische Möglichkeiten durch eine Entscheidung darüber, was bei dir als Nächstes an der Reihe ist.

Erstens der Nutzen: Wie viele Arbeitsstunden im Monat kostet dieser Prozess heute, und welcher Anteil davon ist Routine? Zweitens der Aufwand: Wie viele Systeme müssen angebunden werden, und wie viele Personen müssen ihre Arbeitsweise ändern? Drittens die Datenlage: Liegen die Daten strukturiert vor, oder müssten sie erst erhoben werden?

Die dritte Frage entscheidet häufiger als die ersten beiden. Das Fraunhofer IAO beschreibt genau dieses Muster: Häufig wird im Verlauf des Projekts festgestellt, dass Qualität und Quantität der verfügbaren Daten nicht ausreichen. Ein Anwendungsfall mit hohem Nutzen und schlechter Datenlage ist kein Startpunkt, sondern ein Datenprojekt mit einem KI-Versprechen am Ende.

Trage die Anwendungsfälle in eine einfache Matrix ein, auf der einen Achse den erwarteten Nutzen, auf der anderen den Umsetzungsaufwand, und streiche alles, was die dritte Frage nicht besteht. Was im Feld hoher Nutzen und niedriger Aufwand übrig bleibt, ist dein erster Pilot. Zwei Kandidaten reichen. Für KI gilt dabei nichts anderes als für jedes andere Vorhaben: Der Strategy Health Check zeigt dir, woran die Umsetzung in deiner Organisation üblicherweise hängt.

Wie startest du ein überschaubares KI-Pilotprojekt?

Mit einem einzigen messbaren Ziel, einem festen Zeitfenster und einem vorab formulierten Abbruchkriterium. Ein Pilot ohne Abbruchkriterium endet nicht, er versickert.

Pilotprojekt — Ein Pilotprojekt ist die zeitlich begrenzte Erprobung eines Anwendungsfalls im echten Betrieb mit echten Daten, mit dem Zweck, vor der breiten Einführung eine Entscheidung über Fortführung oder Abbruch zu treffen.

Formuliere das Ziel als Kennzahl mit Ausgangswert, Zielwert und Datum. Die durchschnittliche Bearbeitungszeit einer Angebotsanfrage sinkt bis zum 30. November von 40 auf 25 Minuten: das ist ein Pilotziel. Wir wollen Erfahrungen mit KI sammeln: das ist keines. Der zweite Satz lässt sich am Ende weder bestätigen noch widerlegen, und deshalb wird ein solcher Pilot nie abgeschlossen.

Zwei Regeln haben sich in meinen Projekten bewährt. Der Pilot läuft in einem Bereich, dessen Führungskraft ihn selbst will, und die Personen, die den Prozess heute ausführen, sind von Woche eins an beteiligt. Die Messung startet, bevor das Werkzeug eingeführt wird, denn ohne Ausgangswert gibt es später keine Aussage über die Wirkung.

Eine neue Methode braucht es dafür nicht. Wenn du bereits mit Objectives und Key Results arbeitest, ist ein KI-Pilot ein Key Result unter vielen.

Wie misst du den ROI von KI-Projekten im Mittelstand?

Auf der Ebene des Prozesses, nicht auf der Ebene des Werkzeugs. Der Unterschied entscheidet darüber, ob aus einem funktionierenden Piloten jemals ein Ergebnis in der Bilanz wird.

ROI — Der Return on Investment setzt den zusätzlichen Ertrag oder die eingesparten Kosten eines Projekts ins Verhältnis zu den dafür aufgewendeten Mitteln, gerechnet über einen definierten Zeitraum.

Die Zahlen aus der McKinsey-Erhebung „The state of AI in 2025“ zeigen, wo der Bruch liegt. Knapp zwei Drittel der Befragten geben an, mit der Skalierung von KI über das Unternehmen hinweg noch nicht begonnen zu haben. 64 Prozent berichten, dass KI ihre Innovationsfähigkeit stärkt, aber nur 39 Prozent sehen eine EBIT-Wirkung auf Unternehmensebene. Bei den Unternehmen mit dem größten Wertbeitrag ist die Neugestaltung von Arbeitsabläufen das gemeinsame Merkmal.

Ein zweiter Befund aus derselben Erhebung korrigiert den üblichen Einstieg im Mittelstand. 80 Prozent setzen Effizienz als Ziel ihrer KI-Initiativen, doch die Unternehmen mit dem größten Wertbeitrag verfolgen zusätzlich Wachstums- oder Innovationsziele. Wer KI ausschließlich als Sparprogramm einführt, wählt empirisch den schwächeren Pfad.

Belastbare ROI-Zahlen speziell für den deutschen Mittelstand gibt es nicht, und jede Prozentangabe, die dir jemand dafür nennt, stammt aus einer anderen Grundgesamtheit. Rechne deshalb selbst: eingesparte Stunden mal internem Stundensatz, gegen Lizenz-, Einführungs- und Betreuungskosten über zwölf Monate. Zähle die eingesparte Zeit nur dann als Ertrag, wenn sie tatsächlich anders verwendet wird.

Welche Rollen und Kompetenzen braucht die KI-Transformation?

Drei Rollen, von denen keine ein eigener Vollzeitposten sein muss. Du brauchst eine Person aus dem Fachbereich, die den Prozess im Detail kennt, eine Person aus der IT für Daten und Schnittstellen und eine Entscheidungsinstanz in der Geschäftsführung, die Prioritäten setzt und Budget freigibt.

Das Fraunhofer IAO weist darauf hin, dass KI-Expertise sowohl zentral als auch in den Fachabteilungen wachsen kann. Entscheidend ist eine übergeordnete Strategie, damit kein Wildwuchs ineffizienter und nicht verknüpfbarer Datensammlungen und Anwendungen entsteht. Die obere Führungsebene gehört früh eingebunden, nicht erst zur Abnahme.

Ein eigenes Data-Science-Team brauchst du dafür nicht. Für den ersten Piloten ist externes Spezialwissen die günstigere Variante, und interne Kompetenz entsteht entlang der Projekte, wenn die Beteiligten die Umsetzung mitverantworten.

Fazit: klein anfangen, strategisch entscheiden

Drei Punkte bleiben. Der Rückstand des Mittelstands bei KI ist real, seine Ursache ist aber Wissen und Rechtsunsicherheit und nicht das Budget. Die Auswahl der Anwendungsfälle entscheidet über das Ergebnis, und die entscheidende Prüffrage ist die nach der Datenlage. Und ein Pilot zahlt erst dann auf die Marge ein, wenn der Prozess dahinter umgebaut wird.

Konkret für die nächsten vier Wochen: Nimm dir eine Stunde und liste die zehn zeitintensivsten Prozesse deines Unternehmens auf. Prüfe für die drei größten, wo die Daten liegen. Wähle einen davon aus und formuliere ein Pilotziel mit Ausgangswert, Zielwert und Datum.

Wenn du diese Priorisierung nicht allein treffen willst, nimm Kontakt auf. Wir gehen deine Prozessliste in einem Gespräch durch und sortieren sie nach Aufwand, Nutzen und Datenlage.

Häufige Fragen

Wie findest du die richtigen Ansatzpunkte für KI im eigenen Unternehmen?

Gehe von den Prozessen aus, nicht von der Technologie. Notiere für jeden wiederkehrenden Ablauf, wie viel Zeit er im Monat kostet, wie hoch der Routineanteil ist und ob die zugehörigen Daten bereits strukturiert vorliegen. Prozesse mit hohem Zeitaufwand, hohem Routineanteil und vorhandenen Daten sind die Ansatzpunkte. Alles andere kommt später.

Welche KI-Technologien sind für den Mittelstand besonders relevant?

Relevant ist die Technologie, die zu einem vorhandenen Datenbestand passt. Für Text und Dokumente sind Sprachmodelle der übliche Einstieg, für strukturierte Zahlenreihen aus ERP oder Buchhaltung klassische Prognoseverfahren, für Bilddaten aus der Fertigung Bilderkennung. Die Auswahl folgt dem Anwendungsfall, nicht umgekehrt.

Wie lange sollte ein KI-Pilotprojekt im Mittelstand dauern?

Setze ein festes Zeitfenster von acht bis zwölf Wochen und definiere vorher, welches Ergebnis den Piloten in den Regelbetrieb überführt. Ein Zeitfenster ohne Abbruchkriterium verlängert sich in der Praxis unbegrenzt. Wird das Kriterium verfehlt, ist die Erkenntnis das Ergebnis und das Budget bleibt für den nächsten Anwendungsfall erhalten.

Braucht ein KMU eigene KI-Fachkräfte für den Einstieg?

Für den Einstieg nicht. Der erste Pilot braucht eine Person aus dem Fachbereich, die den Prozess kennt, jemanden aus der IT für Daten und Schnittstellen sowie eine Entscheidungsinstanz aus der Geschäftsführung. Spezialwissen lässt sich für die erste Umsetzung einkaufen. Interne Kompetenz baust du entlang der Projekte auf.