In Teil 1 unserer Serie „Einsatz von großen Sprachmodellen (LLMs)“ haben wir die mit den verschiedenen Einsatzoptionen verbundenen Risiken erörtert. Es ist wichtig, diese Risiken zu berücksichtigen, da sie die Gesamteffektivität und -zuverlässigkeit Ihrer Bereitstellung erheblich beeinflussen können.  

Wir gehen näher auf die Vor- und Nachteile der einzelnen Bereitstellungsarchitekturen ein und untersuchen diese Optionen im Hinblick auf Leistung, Kosten und Fähigkeiten. Eine gründliche Analyse klärt und informiert über die beste Bereitstellungsstrategie für Ihre Ziele und betrieblichen Anforderungen. 

Externe LLM-API von Drittanbietern  

Pro: Möglicherweise niedrigere Kosten

Es ist zwar nicht möglich, eine allgemeine Bewertung der relativen Kosteneinsparungen durch die Verwendung einer LLM-API eines Drittanbieters vorzunehmen, doch ist die Rechennutzung einer von mehreren treibenden Faktoren bei der Berechnung dieser Reduzierung. Externe APIs, wie z. B. GPT-4 von OpenAI, sind pro Token oft teurer als Open-Source-Modelle. Bei letzteren fallen jedoch Infrastrukturkosten für das Hosting des Open-Source-Modells an, die unabhängig davon gelten, ob es genutzt wird oder nicht. Dedizierte Implementierungen können im Betrieb oft teurer sein als die API-Option eines Drittanbieters. Ein Open-Source-Modell, das von den Kunden gemeinsam genutzt wird, wäre weniger kostspielig als die dedizierte Option, hängt aber von der Anzahl der Kunden ab, die das vom Dienstanbieter gehostete LLM gemeinsam nutzen.       

Pro: Potenziell höhere Leistung

Die Leistung eines Endbenutzerprodukts hängt von mehr als dem verwendeten LLM ab. Das LLM ist nur eine Komponente in einer größeren Architektur, so dass es verschiedene Überlegungen und einschränkende Faktoren geben kann. Es ist lohnenswert, aber sicherlich nicht schlüssig, Benchmarks wie Open-Source-Bestenlisten und Studien zu berücksichtigen. Zwar können verschiedene Modelle bei verschiedenen Aufgaben (z. B. Zusammenfassung oder Fragen und Antworten) unterschiedlich gut abschneiden, doch im Allgemeinen werden GPT-4 und wahrscheinlich auch seine künftigen Iterationen die Open-Source-Modelle übertreffen. Häufig wird jedoch eine Kombination aus Prompting, Tuning und anderen architektonischen Maßnahmen, die ein kleineres Modell unterstützen, die Leistung eines größeren Modells, das in einer weniger ausgefeilten Architektur eingesetzt wird, übertreffen. Um die Leistung zu bewerten, wäre es genauer, die Lösungen zu benchmarken, in denen Ihr Technologieanbieter diese LLMs von Ende zu Ende einsetzt oder integriert. Die Betrachtung von Leistungsbenchmarks für das LLM allein kann irreführend sein.

Nachteil: Begrenztes Tuning (Individualisierung)

Beim Tuning (und Feintuning) wird ein Teil des ursprünglichen Modells so verändert, dass es für eine bestimmte Aufgabe besser geeignet ist, was bei externen Modellen wie OpenAI GPT wesentlich eingeschränkter ist.  

Nachteil: Mögliche Richtlinien zur Datenaufbewahrung und -nutzung

Wie bereits erwähnt, haben externe LLM-API-Anbieter möglicherweise Richtlinien zur Datenaufbewahrung und -nutzung, die in ihrer Dienstleistungsvereinbarung mit Ihrem Lösungsanbieter beschrieben sind. Erkundigen Sie sich unbedingt frühzeitig danach.  

Nachteil: Keine Kontrolle über die Versionierung

Lösungsanbieter, die sich auf einen LLM-API-Dienst eines Drittanbieters verlassen, sind hinsichtlich aller Änderungen oder Aktualisierungen des zugrunde liegenden Modells dem Anbieter ausgeliefert. In der Regel werden diese Modelle von LLM-Anbietern kontinuierlich aktualisiert und verbessert. Obwohl dies positiv erscheint, kann es zu plötzlichen und unerwarteten Leistungsänderungen bei nachgelagerten Aufgaben führen, die die Ergebnisse einer früheren Modellversion genutzt haben. Diese Änderungen mögen für die meisten nicht spürbar oder besonders kritisch sein. In der Rechtsdienstleistungsbranche - wo Konsistenz und Ruhe für die Vertretbarkeit entscheidend sind, z. B. bei der Überprüfung von Dokumenten - führt dies jedoch häufig zu einer Änderung der Klassifizierung oder Bezeichnung eines Dokuments. Dies kann die Anfechtbarkeit und Qualität einer früheren Produktion ernsthaft in Frage stellen.   

Kundenspezifisches LLM vom Lösungsanbieter bereitgestellt

Pro: Volle Kontrolle über die Datenspeicherung

Der Lösungsanbieter hat die volle Kontrolle über das Modell und kann die Richtlinien für die Datenaufbewahrung und -nutzung völlig flexibel festlegen. Dies ermöglicht es den Kunden, den Standard festzulegen oder zumindest mit ihrem Dienstanbieter darüber zu verhandeln.  

Pro: Volle Kontrolle über die Versionierung

Wie bei der Datenaufbewahrung und -nutzung könnte ein Lösungsanbieter, der sein eigenes LLM hostet, Versions- und Aktualisierungskontrollen für Kunden implementieren, die ihnen die vollständige Kontrolle über die in ihren verschiedenen Angelegenheiten verwendeten Versionen ermöglichen, und zwar in einer Weise, die die Haltung des Kunden in Bezug auf die Arbeit, die er mit den Modellergebnissen geleistet hat, aufrechterhält. Bei der Überprüfung von Dokumenten könnte ein Dienstleister, der diese Kontrollen einsetzt, die Zusicherung geben, dass die Klassifizierungen oder Bewertungen von Dokumenten konsistent und unverändert bleiben, es sei denn, der Kunde ergreift bewusste Maßnahmen.  

Pro: Höhere Flexibilität beim Wenden

Diensteanbieter, die ihr eigenes LLM hosten, haben die volle Kontrolle über die LLM-Parameter. Dies gibt ihnen und ihren Kunden die Möglichkeit, den LLM auf ihre spezifischen Aufgaben oder Daten abzustimmen und anzupassen - vorausgesetzt, der Diensteanbieter verfügt über das technische Know-how, um diese Fähigkeit zur Verfügung zu stellen.  

Nachteil: Potenziell höhere Kosten

Aus vielen Gründen werden die von Lösungsanbietern eingesetzten Modelle wahrscheinlich auf Open-Source-Grundmodellen wie Llama-3 basieren. Diese Modelle sind pro Token billiger zu betreiben als ein OpenAI GPT-4. Wie bereits erwähnt, können die Gesamtbetriebskosten jedoch oft erheblich höher sein, wenn man die Infrastrukturkosten für das Hosting der dedizierten Umgebung und der GPU-Ressourcen berücksichtigt, unabhängig von der Nutzung.

Sowohl externe LLM-APIs von Drittanbietern als auch benutzerdefinierte LLMs von Lösungsanbietern haben einzigartige Vorteile und Herausforderungen. Externe APIs bieten niedrigere Anfangskosten und eine potenziell höhere Leistung, haben aber Einschränkungen bei der Anpassung, den Datenrichtlinien und der Versionskontrolle. Benutzerdefinierte LLMs bieten mehr Flexibilität und Kontrolle, sind aber tendenziell teurer im Betrieb.   

Das Verständnis dieser Kompromisse ist der Schlüssel zur Wahl der Bereitstellungsstrategie, die Ihren spezifischen Anforderungen und Zielen am besten gerecht wird.