Dans la première partie de notre série "Comment déployer les grands modèles linguistiques (LLM)", nous avons examiné les risques associés aux différentes options de déploiement. Il est important de prendre en compte ces risques, car ils peuvent avoir un impact significatif sur l'efficacité et la fiabilité globales de votre déploiement.

En approfondissant les avantages et les inconvénients de chaque architecture de déploiement, nous examinons ces options en termes de performances, de coûts et de capacités. Une analyse approfondie permet de clarifier et d'informer la meilleure stratégie de déploiement pour vos objectifs et vos exigences opérationnelles.

API LLM d'un tiers externe

Pro: Un coût potentiellement moins élevé

Bien qu'il soit impossible de faire une évaluation générale des économies relatives liées à l'utilisation d'une API LLM tierce, l'utilisation du calcul est l'un des facteurs déterminants dans le calcul de cette réduction. Les API externes, telles que GPT-4 d'OpenAI, sont souvent plus chères par jeton que les modèles open-source. Toutefois, ces derniers supportent des coûts d'infrastructure liés à l'hébergement du modèle open-source, qui s'appliquent qu'il soit utilisé ou non. Les déploiements dédiés peuvent souvent être plus coûteux à exploiter que l'option de l'API tierce. Un modèle à code source ouvert partagé par les clients serait moins coûteux que l'option dédiée, mais dépendrait du nombre de clients partageant le LLM hébergé par le fournisseur de services.

Pro: Des performances potentiellement plus élevées

La performance de tout produit destiné à l'utilisateur final ne dépend pas seulement du LLM utilisé. Le LLM n'est qu'un composant d'une architecture plus large, de sorte que diverses considérations et facteurs limitatifs peuvent exister. Il est intéressant, mais certainement pas concluant, de prendre en compte les points de référence tels que les classements et les études à source ouverte. Bien que différents modèles puissent avoir des performances différentes les uns par rapport aux autres pour diverses tâches (par exemple, résumé ou question-réponse), en général, GPT-4 et probablement ses futures itérations seront plus performants que les modèles à code source ouvert. Cependant, il arrive souvent qu'une combinaison de messages-guides, de réglages et d'autres conceptions architecturales soutenant un modèle plus petit dépasse les performances d'un modèle plus grand déployé dans une architecture moins sophistiquée. Pour évaluer la performance, il serait plus précis de comparer les solutions dans lesquelles votre fournisseur de technologie déploie ou intègre ces LLM de bout en bout. La prise en compte des critères de performance pour le LLM seul peut s'avérer trompeuse.

Inconvénient: réglage limité (personnalisation)

L'ajustement (et le réglage fin) implique la modification d'une partie du modèle original afin d'obtenir de meilleures performances pour une tâche spécifique, ce qui est beaucoup plus limité avec des modèles externes tels que OpenAI GPT.

Inconvénients: politiques potentielles de conservation et d'utilisation des données

Comme indiqué précédemment, les fournisseurs d'API LLM externes peuvent avoir des politiques de conservation et d'utilisation des données décrites dans leur contrat de services avec votre fournisseur de solutions. Veillez à vous renseigner à ce sujet dès le début.

Inconvénient: aucun contrôle sur les versions

Les fournisseurs de solutions qui s'appuient sur un service API LLM tiers sont à la merci du fournisseur en ce qui concerne les changements ou les mises à jour du modèle sous-jacent. Généralement, les fournisseurs de LLM tiers mettent à jour et améliorent continuellement ces modèles. Bien que cela semble positif, cela peut entraîner des changements soudains et inattendus dans les performances de toute tâche en aval qui a exploité les résultats d'une version antérieure du modèle. Ces changements peuvent ne pas être perceptibles ou particulièrement critiques pour la plupart des gens. Toutefois, dans le secteur des services juridiques, où la cohérence et le repos sont essentiels à la légitimité, notamment dans le cadre de l'examen des documents, il en résulte souvent une modification de la classification ou de la désignation d'un document. Cela peut remettre en question la légitimité et la qualité d'une production antérieure.

LLM personnalisé fourni par le fournisseur de solutions

Pro: Contrôle total de la conservation des données

Le fournisseur de la solution contrôle entièrement le modèle et dispose d'une flexibilité totale pour définir les politiques de conservation et d'utilisation des données. Cela permet aux clients de fixer la norme ou au moins de la négocier avec leur fournisseur de services.

Pro: Contrôle total des versions

Comme pour la conservation et l'utilisation des données, un fournisseur de solutions hébergeant son propre LLM pourrait mettre en œuvre des contrôles de version et de mise à jour pour les clients, ce qui leur permettrait de contrôler totalement les versions utilisées dans leurs différentes affaires et de maintenir la position du client concernant le travail qu'il a effectué avec les résultats du modèle. Pour l'examen des documents, un prestataire de services utilisant ces contrôles pourrait donner l'assurance que les classifications ou les scores des documents resteront cohérents et inchangés, à moins que le client ne prenne des mesures délibérées.

Pro: plus grande souplesse de rotation

Les prestataires de services hébergeant leur propre LLM ont un contrôle total sur les paramètres du LLM. Cela leur donne, ainsi qu'à leurs clients, la possibilité de régler et de personnaliser le LLM en fonction de leurs tâches ou données spécifiques, pour autant que le prestataire de services dispose de l'expertise technique nécessaire pour mettre cette capacité à disposition.

Inconvénient: coût potentiellement plus élevé

Pour de nombreuses raisons, les modèles déployés par les fournisseurs de solutions sont susceptibles d'être basés sur des modèles fondamentaux libres, tels que Llama-3. Ces modèles sont moins coûteux à utiliser par jeton qu'un modèle OpenAI GPT-4. Toutefois, comme indiqué ci-dessus, le coût total de possession peut souvent être sensiblement plus élevé si l'on tient compte des coûts d'infrastructure associés à l'hébergement de l'environnement dédié et des ressources GPU, quelle que soit l'utilisation.

Les API LLM externes de tiers et les LLM personnalisés proposés par les fournisseurs de solutions présentent tous deux des avantages et des défis uniques. Les API externes offrent des coûts initiaux plus faibles et des performances potentiellement plus élevées, mais présentent des limites en matière de personnalisation, de politiques de données et de contrôle des versions. Les LLM personnalisés offrent plus de flexibilité et de contrôle, mais leur fonctionnement est généralement plus coûteux.

Il est essentiel de comprendre ces compromis pour choisir la stratégie de déploiement qui répond le mieux à vos besoins et objectifs spécifiques.