Na Parte 1 de nossa série, “Como implantar modelos de linguagem grandes (LLMs)”, discutimos os riscos associados às diferentes opções de implantação. É importante considerar esses riscos, pois eles podem afetar significativamente a eficácia e a confiabilidade gerais da sua implementação.  

Aprofundando-nos nos prós e contras de cada arquitetura de implementação, examinamos essas opções em termos de desempenho, custo e recursos. Uma análise completa esclarece e informa a melhor estratégia de implementação para seus objetivos e requisitos operacionais.

API LLM externa de terceiros  

Pro: Custo potencialmente mais baixo

Embora seja impossível fazer uma avaliação geral da economia de custo relativa do uso de uma API LLM de terceiros, a utilização da computação é um dos vários fatores determinantes no cálculo dessa redução. As APIs externas, como a GPT-4 da OpenAI, geralmente são mais caras por token do que os modelos de código aberto. Ainda assim, o último incorre em custos de infraestrutura associados à hospedagem do modelo de código aberto, que se aplica independentemente de estar sendo usado ou não. As implantações dedicadas geralmente podem ser mais caras para operar do que a opção de API de terceiros. Um modelo de código aberto compartilhado por clientes seria menos caro do que a opção dedicada, mas dependeria do número de clientes que compartilham o LLM hospedado do provedor de serviços.     

Vantagens: Desempenho potencialmente superior

O desempenho de qualquer produto para o usuário final depende de mais do que o LLM usado. O LLM é apenas um componente em uma arquitetura maior, portanto, podem existir várias considerações e fatores limitantes. Vale a pena, mas certamente não é conclusivo, considerar benchmarks, como tabelas de classificação e estudos de código aberto. Embora modelos diferentes possam ter desempenhos diferentes em relação uns aos outros em várias tarefas (por exemplo, resumo ou perguntas e respostas), em geral, o GPT-4 e provavelmente suas iterações futuras superarão os modelos de código aberto. No entanto, muitas vezes, uma combinação de solicitação, ajuste e outro projeto arquitetônico que suporte um modelo menor superará o desempenho de um modelo maior implantado em uma arquitetura menos sofisticada. Para avaliar o desempenho, seria mais preciso comparar as soluções nas quais o seu provedor de tecnologia está implantando ou integrando esses LLMs de ponta a ponta. Considerar benchmarks de desempenho apenas para o LLM pode ser enganoso.

Contra: ajuste limitado (personalização)

O ajuste (e o ajuste fino) envolve a modificação de uma parte do modelo original para obter um melhor desempenho em uma tarefa específica, o que é muito mais limitado com modelos externos como o GPT da OpenAI.  

Contra: possíveis políticas de retenção e uso de dados

Conforme mencionado anteriormente, os provedores externos de API do LLM podem ter políticas de retenção e uso de dados descritas em seus contratos de serviços com o provedor de soluções. Não deixe de se informar sobre isso desde o início.  

Contras: sem controle sobre o controle de versão

Os provedores de soluções que dependem de um serviço de API de LLM de terceiros ficam à mercê do provedor em relação a quaisquer alterações ou atualizações do modelo subjacente. Normalmente, os provedores de LLM de terceiros estão continuamente atualizando e melhorando esses modelos. Embora isso pareça positivo, pode levar a mudanças repentinas e inesperadas no desempenho de qualquer tarefa downstream que tenha aproveitado os resultados de uma versão anterior do modelo. Essas mudanças podem não ser perceptíveis ou particularmente críticas para a maioria das pessoas. No entanto, no setor de serviços jurídicos - em que a consistência e o equilíbrio são essenciais para a defensibilidade, como na revisão de documentos - isso geralmente resulta em uma alteração na classificação ou designação de um documento. Isso pode colocar em séria dúvida a defensibilidade e a qualidade de uma produção anterior.   

LLM personalizado fornecido pelo provedor de soluções

Pro: Controle total sobre a retenção de dados

O provedor de soluções controla totalmente o modelo e exerce total flexibilidade para definir as políticas de retenção e uso de dados. Isso permite que os clientes definam o padrão ou, pelo menos, negociem o mesmo com seu provedor de serviços.  

Pro: Controle total sobre o controle de versão

Assim como ocorre com a retenção e o uso de dados, um provedor de soluções que hospeda seu próprio LLM pode implementar controles de versão e atualização para os clientes, permitindo que eles tenham controle total sobre as versões utilizadas em suas diversas questões e de forma a manter a postura do cliente em relação ao trabalho realizado com os resultados do modelo. Para a revisão de documentos, um provedor de serviços que aproveite esses controles pode oferecer garantias de que as classificações ou pontuações dos documentos permanecerão consistentes e inalteradas, a menos que o cliente tome medidas deliberadas.  

Vantagem: maior flexibilidade de giro

Os provedores de serviços que hospedam seu próprio LLM têm controle total sobre os parâmetros do LLM. Isso dá a eles e a seus clientes uma enorme possibilidade de ajustar e personalizar o LLM para suas tarefas ou dados específicos, desde que o provedor de serviços tenha o conhecimento técnico para disponibilizar esse recurso.  

Contras: custo potencialmente mais alto

Por vários motivos, os modelos implementados pelos provedores de soluções provavelmente serão baseados em modelos fundamentais de código aberto, como o Llama-3. A execução desses modelos é mais barata por token do que a de um GPT-4 da OpenAI. No entanto, como mencionado acima, o custo total de propriedade pode ser significativamente maior quando se leva em conta os custos de infraestrutura associados à hospedagem do ambiente dedicado e dos recursos de GPU, independentemente da utilização.
Tanto as APIs externas de LLMs de terceiros quanto os LLMs personalizados oferecidos pelos provedores de soluções têm benefícios e desafios exclusivos. As APIs externas oferecem custos iniciais mais baixos e desempenho potencialmente mais alto, mas têm limitações de personalização, políticas de dados e controle de versão. Os LLMs personalizados oferecem mais flexibilidade e controle, mas tendem a ser mais caros para operar.   

Compreender essas compensações é fundamental para escolher a estratégia de implementação que melhor atenda às suas necessidades e objetivos específicos.