Die Leistungsfähigkeit der ganz neuen Modelle ist beeindruckend. Wie gut GPTs „4o mini high“ simple Briefings in funktionierend Code generiert ist absurd gut. Dass wir bei Open AI immer Zugriff auf die neuen Modelle erhalten macht das Tool im Alltag zum Marktführer. Sobald wir allerdings auch nur „eine heikle Date“ verarbeiten wollen, müssen wir über lokale oder verantwortungsvoll gehostete Lösungen nachdenken!
Folgend zwei effektive Wege, um Large Language Models (LLMs) mit eigenen Daten und Prompts zu trainieren:
- Custom GPT über OpenAI – ideal für schnelle, Cloud-basierte Spezialisierung.
- DeepSeek R1 lokal mit Ollama – perfekt für datenschutzfreundliche und voll anpassbare Modelle.
1. Custom GPT: Eigenes Assistant‑Modell mit OpenAI
Im Beispiel rechts ein Briefing für einen Chatbot, dessen gesamter Inhalt auf öffentlichen Daten basiert. Hier habe ich überhaupt keine Bedenken Open AIs Lösung zu verwenden, da das Briefing und die Einstellungen für den Chatbot wirklich leicht einzurichten sind.
- Ziel definieren: Bestimmen Sie das Einsatzgebiet (z. B. „Markenanalyse-GPT“). Schauen Sie, wie andere diese Art von System briefen.
- ChatGPT plus (Abo erforderlich) aufrufen: chatgpt.com/gpts/
- Prompts & Anweisungen konfigurieren: Im Editor klare Instruktionen eingeben – Stil, Ton, Verhalten
- Wissensdaten hochladen: Sie können Dokumente (PDF, CSV bis zu 512 MB) anfügen .
- Capabilities wählen: Websuche, Code Interpreter, API-Aktionen ein‑/ausschalten .
- Testen & Iterieren: Im Vorschau-Modus prüfen, mit Konversationstartern testen
- Teilen & Absichern: Veröffentlichung nur per Link oder innerhalb der Organisation – idealerweise mit eingebauten Safeguards, wie z. B. Verweigerung der Offenlegung von Prompt‑Inhalten .
Ansätze & Prompt-Inspiration
Zuletzt bin ich auf ein Github Projekt (x1xhlol/system-prompts-and-models-of-ai-tools) gestoßen, in dem einige der System-Prompts bekannter K. I. Systeme „geleakt“ wurden. Es ist ganz spannend zu sehen, wie simple die Anweisungen teilweise sind. Es hilft zu begreifen, wie man einen Computer mit Worten trainiert. Ebenso hilfreich ist reddit. Hier (https://www.reddit.com/r/ChatGPTPromptGenius/how_to_build_customgpts_2025_guide/) zum Beispiel hat jemand seine Strategie hinter einige Custom GPTs offengelegt. UNFUSE – fand ich gut zusammengefasst:
- I – Identity & Goal (Defines what the persona is, its role, and its objectives)
- N – Navigation Rules (Establishes how it engages with users, including commands and knowledge usage)
- F – Flow & Personality (Sets tone, language style, and key personality traits)
- U – User Guidance (Guides users toward their goal with a structured method)
- S – Signals & Adaptation (Adjusts responses based on user signals and emotional cues)
- E – End Instructions (Key instructions the GPT must always remember)
1.X – Europäische cloud oder die Deutsche Lösung
Ich würde eine Deutsche K. I. wählen, wäre ich eine Behörde. Ich finde es schon gruselig, dass wir in deutschen Polizeibehörden auf Palantir setzen müssen, weil es keine europäische Alternative gibt. Ich habe kein Problem chat.deepseek.com zu nutzen, wenn ich mit öffentlichen Daten hantiere. Da sage ich danke für den kostenlosen Compute.
Wenn öffentliche Stellen Künstliche Intelligenz nutzen, stehen Datenschutz und Nachvollziehbarkeit an erster Stelle. Aleph Alpha erfüllt diese Anforderungen: Das Unternehmen entwickelt seine Modelle in Deutschland, speichert Daten in deutschen Rechenzentren und arbeitet nach europäischen Datenschutzstandards. Zudem ermöglicht es Einsicht in die Entscheidungsprozesse der Modelle – ein wichtiger Aspekt für Behörden, die Transparenz und Rechenschaftspflicht sicherstellen müssen. Für Anwendungen im öffentlichen Sektor ist Aleph Alpha deshalb eine technisch und rechtlich nachvollziehbare Lösung.
2. DeepSeek R1 lokal trainieren mit Ollama
Wenn Kosten keine Rolle spielen sind Sie bei Aleph Alpha oder einen anderen deutschen Spezialisten am Besten aufgehoben. Aber das schönste am Internet sind die Open Source Projekte. Open AI ist mal so gestartet, mit ehrenwerten Zielen und dem Zwang zur Offenheit. Das hatte sich schnell erledigt als Microsoft das Scheckbuch rausgeholt hatte.
Aber es gibt unzählige gute Open Source Projekte, die oft sehr gut dokumentiert sind, so dass Sie mit wenigen Eingaben in die Konsole eigene K. I. Werkezuge lokal und offline betreiben können. Dazu sind einige technische Fähigkeiten notwendig, aber wer heute noch einen Drucker installieren kann, der schafft auch das! Und wenn man einmal im Terminal zu Hause ist, öffnet sich die Büchse der Pandorra zu unendlichen Möglichkeiten. Nehmen wir das Beispiel deepseek auf Ollama. Sie sind nur einen Download und einige BEfehle im Terminal entfernt. Probieren Sie es:
- Ollama herunterladen (ollama.com/download) und wie gewohnt instalieren
- Terminal öffnen: Terminal in das Suchfeld Ihres Macs oder Windows-Rechners
ollama run deepseek-r1:1.5bJetzt lädt ihr Computer alle notwendige Dinge herunter und Sie können das LLM lokal im Temrinal nutzen. Der nächste Schritt wäre dann Open Web UI oder ein anderes Tool, um eine Oberfläche für die Bedienung zu haben. Aber dann braucht man auch ein bisschen Erfahrung mit Docker, wenn man es sinnvoll in ein NEtzwerk integrieren möchte, um es lokal zur Verfügung zu stellen.
Aber man die volle Kontrolle über alle integrierten Daten und der BEtrieb ist ohne Lizenz kostenfrei möglich, die Reichenliestung muss man entsprechend der Anforderungen zur Verfügung stellen.
Fazit & Übersicht
| Szenario | Custom GPT | DeepSeek + Ollama lokal |
|---|---|---|
| Einrichtung | Schnell & ohne Code | Technischer Setup erforderlich |
| Datenkontrolle | Upload, aber Cloud‑basiert | Vollständig lokal, datenschutzkonform |
| Training / Anpassung | Prompt-/Dokument‑basierte Anpassung | Modell- & Prompt-Feintuning lokal möglich |
| Kosten | OpenAI-Zugriff erforderlich | Einmalige Hardware-Kosten |
| Updates & Iteration | Einfach über GUI | Manuelle Updates und Fine‑Tuning |
RAG: Kontext trifft Kontrolle
Wollen wir jetzt eigene Daten klug und zukufntssicher integrieren, wird es komplexer. Aber der Aufwand lohnt sich, denn die Aufbereitung der Daten ist immer überfällig! Und so haben Sie die Chance eine zentrale Datenverarbeitung zu führen, die dann verschiedenen Systemen zur Verfügung gestellt werden kann. RAG ist das Stichwort: Retrieval-Augmented Generation (RAG) ermöglicht es, LLMs mit externen Datenquellen zu kombinieren – ohne dass diese Daten fest ins Modell „eingebacken“ werden. Bei lokalen Setups wie DeepSeek mit Ollama bedeutet das: Sie verbinden das Modell mit einer semantischen Suchdatenbank (z. B. über LangChain, LlamaIndex oder Haystack), die relevante Informationen aus PDF, CSV oder Ihrer eigenen Wissensdatenbank in Echtzeit zum Prompt hinzufügt. So erhalten Sie hochrelevante, kontextspezifische Antworten – bei maximaler Datenhoheit. Besonders in Unternehmen mit sensiblen Informationen bietet RAG lokal eine attraktive Alternative zur Cloud-KI: intelligent, aktuell und 100 % datenschutzkonform.
Empfehlung: Verwenden Sie Custom GPT, wenn Sie schnell und unkompliziert in Cloud arbeiten wollen. Entscheiden Sie sich für DeepSeek + Ollama, wenn Datenschutz, Offline-Fähigkeit und Anpassbarkeit im Vordergrund stehen. Suchen Sie sich die richtigen Tutorials und Anleitungen. BAuen SIe sich einen Custom GPT, der Ihnen bei der Installation und Einrichtung hilft. Es lohnt sich!
weitere Quellen und Ansätze
- Starten Sie mit einer kleineren Version (z. B. 7B–14B) (https://www.datacamp.com/tutorial/deepseek-r1-ollama?utm_source=chatgpt.com)
- Nutzen Sie quantisierte GGUF-Modelle, um Ressourcen zu sparen (https://dev.to/ajeetraina/getting-started-with-deepseek-llm-using-ollama-locally-3n1h?utm_source=chatgpt.com)
- Docker & Open WebUI erleichtern Frontend-Integration (https://dev.to/ajeetraina/getting-started-with-deepseek-llm-using-ollama-locally-3n1h?utm_source=chatgpt.com)
- https://www.reddit.com/r/ChatGPTPromptGenius/comments/1j2v124/how_to_build_customgpts_2025_guide/?utm_source=chatgpt.com
