À medida que o Drupal solidifica o seu papel como um sistema de gestão de conteúdo que prioriza a IA, as organizações enfrentam desafios crescentes na gestão de diversos modelos de linguagem grande (LLMs). Esta sessão apresenta o LiteLLM, uma gateway de IA de código aberto, como uma solução estratégica para o Drupal.

O LiteLLM resolve problemas críticos ao: Normalização de APIs LLM: Permite que o Drupal chame mais de 100+ LLMs usando o formato da OpenAI, simplificando a integração e abstraindo complexidades específicas de cada provedor. O módulo ai_provider_litellm integra diretamente o Drupal com o LiteLLM.

• Gestão de Custos e Observabilidade: O LiteLLM ajuda a identificar gastos e definir orçamentos por projeto, oferecendo governança essencial para a adoção de IA em larga escala entre departamentos.
• Confiabilidade: Fornece lógica de repetição e fallback em várias implantações (por exemplo, Azure/OpenAI), garantindo operação contínua.
• Evita a dependência de fornecedores: Oferece a flexibilidade de alternar facilmente entre diferentes LLMs, incluindo modelos locais e de código aberto, alinhando-se com os valores de código aberto do Drupal.
• Abordaremos também o OpenAI Provider o Anthropic Provider, ou o Drupal AI module, que suporta vários LLMs e estruturas de agentes. O LiteLLM complementa estes módulos, centralizando o acesso à API.

Comparado ao OpenRouter, ambos adotam o padrão OpenAI API para acesso ao modelo. No entanto, a natureza de código aberto do LiteLLM, juntamente com seu forte foco no nível empresarial, controlo de custos e recursos avançados de failover, torna-o particularmente robusto para implantações de IA controladas e em grande escala no Drupal.

Os participantes aprenderão a implementar o LiteLLM para soluções de IA mais inteligentes, mais resilientes e económicas no Drupal.