Mid Level QA Engineer (IA Generativa)

Buscamos uma pessoa QA Engineer (IA Generativa) para atuar na garantia de qualidade de soluções inovadoras baseadas em IA generativa (LLMs, agentes, RAG) desenvolvidas com Python. Você fará parte de um time multidisciplinar responsável por sistemas inteligentes para atendimento e integração com múltiplos canais digitais.

Responsabilidades:

• Definir, implementar e executar estratégias de testes para pipelines de agentes IA generativa, chains e integrações (Python/LangChain).
• Criar e manter datasets de prompts, casos de teste e expected outputs para validação automatizada de respostas de LLMs.
• Desenvolver e automatizar testes unitários, funcionais, de regressão e adversariais para agentes e aplicações baseadas em LLM.
• Utilizar ferramentas como LangSmith, TruLens, Promptfoo para observabilidade, rastreamento, análise e avaliação automática/humana de resultados.
• Colaborar com time de desenvolvimento para identificar e corrigir bugs, analisar falhas e melhorar continuamente a robustez dos agentes.
• Monitorar, reportar e analisar métricas de desempenho, precisão e segurança dos agentes em ambiente de produção.
• Documentar procedimentos, critérios de aceitação, testes e resultados.
• Participar de rituais ágeis, reviews e definição de estratégias de releases.

Requisitos:

• Experiência comprovada em Quality Assurance/Testing em projetos de software.
• Conhecimento avançado em Python e familiaridade com práticas de automação de testes (pytest, unittest, etc).
• Experiência com ferramentas de observabilidade e testes para LLM/IA generativa (LangSmith, TruLens, Promptfoo ou similares).
• Entendimento de processos de avaliação de LLMs: datasets, métricas, validação automática e humana.
• Noções de integração contínua e pipelines de CI/CD.

Diferenciais:

• Experiência com testes de aplicações LLM (OpenAI, Azure OpenAI, Anthropic, Google Gemini, etc).
• Vivência prática com arquitetura de agentes e chains (LangChain, LlamaIndex).
• Familiaridade com Kafka, eventos, arquiteturas distribuídas.
• Conhecimento sobre avaliação de segurança (prompt injection, jailbreaking).