KI im Mittelstand: wo anfangen?
Viele Geschäftsführer im Mittelstand wissen, dass KI ihren Betrieb verändern kann. Offen ist meist die Frage, wo man anfängt. Dieser Beitrag beschreibt einen praktischen Weg in sechs Schritten, von der ersten Liste bis zur Messung des Nutzens. Er nennt auch die Fehler, an denen Einführungen typischerweise scheitern.
24.10.2026 · 7 Min · Von Alexander Hanke-Mellby

Schritt 1: wiederkehrende Aufgaben finden
Der beste Startpunkt ist eine Liste. Schreiben Sie auf, welche Aufgaben in Ihrem Betrieb jede Woche wiederkehren und viel Zeit binden. Wo mit Wissen und Sprache gearbeitet wird, ist der Hebel am größten.
- Texte: Angebote, Kundenschreiben, Berichte, Stellenausschreibungen.
- Dokumente: lange Unterlagen zusammenfassen, vergleichen und nach bestimmten Punkten durchsuchen.
- Recherche: Informationen sammeln und für eine Entscheidung aufbereiten.
- Kommunikation: wiederkehrende Anfragen beantworten, Protokolle schreiben, interne Informationen verteilen.
Fragen Sie dabei Ihre Mitarbeitenden. Sie wissen am besten, welche Arbeit sich wiederholt. Fast überall nutzt außerdem längst jemand KI auf eigene Faust, oft über einen privaten Zugang. Schreiben Sie auch das auf. Es ist die Grundlage für eine Richtlinie im Haus.
Schritt 2: mit einem Anwendungsfall starten
Wählen Sie aus Ihrer Liste einen einzigen Fall aus. Er sollte häufig vorkommen, klar abgegrenzt sein und ohne vertrauliche Daten auskommen. Gute Beispiele sind der erste Entwurf für Angebotstexte oder die Zusammenfassung langer Dokumente.
Ein einzelner Fall hat drei Vorteile. Das Team lernt das Werkzeug an einer echten Aufgabe kennen. Sie sehen schnell, ob sich der Aufwand lohnt. Und Fehler bleiben klein. Erst wenn der erste Fall im Alltag läuft, nehmen Sie den nächsten dazu.
Ordnen Sie die übrigen Ideen nach Nutzen und Aufwand. So entsteht eine Rangfolge für die nächsten Monate. Wie wir passende Werkzeuge auswählen und dort einbinden, wo ohnehin gearbeitet wird, zeigt die Seite KI-Anwendungen.
Schritt 3: Datenschutz klären, bevor es losgeht
Die wichtigste Frage bei KI ist, wohin die Daten fließen. Wer Kunden-, Patienten- oder Bewerberdaten in einen öffentlichen Chat-Dienst gibt, verliert die Kontrolle darüber. Klären Sie deshalb vorher, welche Daten in welches Werkzeug dürfen.
- Allgemeine Textarbeit ohne vertrauliche Inhalte: Hier sind fertige Dienste meist günstiger und besser.
- Personenbezogene Daten: Hier brauchen Sie mindestens einen europäischen Anbieter mit Auftragsverarbeitungsvertrag nach DSGVO.
- Berufsgeheimnis oder Betriebsrat im Spiel: Dann ist der übliche Weg ein Rechenzentrum mit Standort und Betreiber in Deutschland und einem deutschen Vertragspartner. In manchen Fällen laufen die Modelle auf eigener Hardware, und nichts verlässt Ihr Netz.
Für Kanzleien, Praxen und Personalabteilungen richten wir eine eigene KI-Umgebung ein. Sie läuft in Rechenzentren in Deutschland oder der EU oder auf Hardware in Ihrem Haus. Welche Variante passt, entscheiden Ihre rechtliche Lage und Ihr Budget. Mehr dazu unter Sichere KI.
Wichtig: Auch der Betrieb im eigenen Haus macht KI nicht automatisch DSGVO-konform. Er beseitigt die Frage der Übermittlung in Drittländer. Zweckbindung, Löschfristen und Betroffenenrechte bleiben Ihre Aufgabe.
Schritt 4: das Team schulen
Ein Werkzeug hilft nur, wenn das Team damit umgehen kann. Dazu kommt eine rechtliche Pflicht. Artikel 4 der KI-Verordnung verpflichtet Anbieter und Betreiber von KI-Systemen seit Februar 2025, Maßnahmen zu ergreifen, damit ihr Personal über ausreichende KI-Kompetenz verfügt. Das gilt auch, wenn Sie nur fertige Werkzeuge wie ChatGPT oder Copilot nutzen.
Ein bestimmtes Niveau oder eine Prüfung schreibt die Verordnung nicht vor. Verlangt sind angemessene Maßnahmen und ihre Dokumentation. Sie dürfen dabei nach Kontext und Vorkenntnissen unterscheiden. Wer täglich Kundendaten in ein Werkzeug gibt, braucht mehr als jemand, der gelegentlich einen Text umformulieren lässt. Verbindliche Auskunft im Einzelfall gibt ein Anwalt oder Ihr Verband.
Eine gute Schulung arbeitet mit echten Aufgaben aus Ihrem Betrieb. Sie klärt, welche Daten wohin dürfen, wer Ergebnisse prüft und wie man erkennt, wann eine Antwort erfunden ist. Am Ende stehen Teilnahmebestätigung, Unterlagen und ein Regelwerk auf einer Seite für Ihre Dokumentation. So arbeitet der Workshop-Tag der KI-Akademie Oberfranken mit bis zu zwölf Personen.
Schritt 5: Bestandsaufnahme vor der Investition
Bevor Sie Geld für Werkzeuge oder Hardware ausgeben, lohnt sich ein Blick auf das Ganze. Welche Systeme sind im Einsatz, und welche haben Schnittstellen? Wo liegen welche Daten, in welcher Qualität, und welche davon dürfen überhaupt verarbeitet werden? Wer zieht im Team mit, und wer hat Vorbehalte?
Diese Fragen beantwortet unser KI-Readiness-Check. Er prüft Systeme, Daten und Abläufe und endet mit einem schriftlichen Bericht. Der Bericht nennt eine Reihenfolge: was zuerst, was später, was gar nicht, jeweils mit Begründung. Vom Erstgespräch bis zum Bericht vergehen in der Regel zwei bis vier Wochen. Ihr Aufwand liegt bei einem halben bis ganzen Tag, verteilt auf mehrere Gespräche.
Der Bericht gehört Ihnen und ist so geschrieben, dass auch ein anderer Dienstleister damit arbeiten kann. Wenn KI sich bei Ihnen nicht lohnt, steht das so im Bericht.
Schritt 6: den Nutzen messen
Ob sich KI lohnt, zeigt sich erst im Alltag. Legen Sie deshalb vor dem Start fest, woran Sie den Erfolg messen.
- Zeit: Wie lange dauerte die Aufgabe vorher, und wie lange dauert sie jetzt, einschließlich der Prüfung des Ergebnisses?
- Qualität: Wie oft muss ein Ergebnis nachgebessert werden?
- Nutzung: Verwendet das Team das Werkzeug tatsächlich, oder arbeiten alle weiter wie bisher?
- Kosten: Was kosten Zugänge, Betrieb und Betreuung im Monat?
Schauen Sie nach einigen Wochen gemeinsam mit dem Team auf die Ergebnisse. Was hat sich durchgesetzt, wo hakt es, was ist neu dazugekommen? In unseren Schulungen dient dafür ein Aufbautag vier bis sechs Wochen nach dem Workshop.
Typische Fehler bei der KI-Einführung
- Mit dem Werkzeug beginnen: Ein Anbieter präsentiert eine Lösung, die gut klingt. Sie wird gekauft, bevor klar ist, welche Aufgabe sie lösen soll.
- Zu viel auf einmal: Viele Pilotprojekte gleichzeitig überfordern das Team, und keines wird richtig fertig.
- Datenschutz hinterher: Öffentliche Chat-Dienste sind offiziell verboten und werden inoffiziell täglich genutzt. Eine klare Regel und ein erlaubtes Werkzeug lösen das besser als ein Verbot.
- Keine Schulung: Wenn angeschaffte Werkzeuge niemand nutzt, liegt das fast nie am Werkzeug. Meist fehlen Einführung, Regeln und Zeit zum Ausprobieren.
- Keine Zuständigkeit: Niemand im Haus ist für das Thema verantwortlich. Die Frage nach Zuständigkeit und Budget ist meist schwieriger als die nach dem Werkzeug.
Häufige Fragen zum Einstieg in KI
Womit sollten wir anfangen?
Mit einer Liste wiederkehrender Aufgaben und einem einzigen Anwendungsfall. Wenn Sie vorher einen unabhängigen Blick auf Systeme, Daten und Abläufe wollen, ist der Readiness-Check der passende Einstieg.
Müssen wir unser Team schulen?
Wenn Sie KI einsetzen, im Kern ja. Artikel 4 der KI-Verordnung verlangt seit Februar 2025 Maßnahmen zur KI-Kompetenz, auch bei reiner Nutzung fertiger Werkzeuge. Ein eigenes Bußgeld ist nicht vorgesehen, eine Bemühens- und Dokumentationspflicht schon.
Bleiben unsere Daten in Deutschland?
Das hängt vom Werkzeug ab. Klären Sie das vor der Einführung. Wenn Ihre Branche es verlangt, kann eine KI-Umgebung vollständig in Deutschland, in der EU oder in Ihrem eigenen Haus laufen.
Brauchen wir eine eigene IT-Abteilung?
Nein. Ein Großteil unserer Kunden hat keine eigene IT. Wir arbeiten mit dem, was da ist, und sprechen bei Bedarf mit Ihrem IT-Dienstleister.
Ist die KI-Beratung förderfähig?
Ja, im Rahmen des Bundesprogramms zur Förderung von Unternehmensberatungen für kleine und mittlere Unternehmen. Wichtig ist die Reihenfolge: Den Antrag stellen Sie, bevor Sie uns beauftragen. Details stehen auf der Seite Förderung.
Der erste Schritt: ein Gespräch
Sie wissen noch nicht, wo KI in Ihrem Betrieb trägt? Im kostenlosen Erstgespräch von dreißig Minuten klären wir Ziele, Rahmen und Beteiligte und ob ein Readiness-Check bei Ihnen sinnvoll ist. Einen Überblick über alle Wege gibt die Seite KI für Unternehmen. Einen Termin buchen Sie direkt unter Erstgespräch.





