Levar modelos de Machine Learning (ML) e Inteligência Artificial (IA) da fase experimental para o ambiente produtivo é um desafio enorme, especialmente em aplicações críticas como no setor financeiro. Este artigo científico explora como garantir que esses modelos sejam confiáveis, robustos e eficientes.
A promoção de modelos para ambientes de produção exige mais do que apenas bom desenvolvimento técnico. É fundamental ter qualidade, observabilidade e monitoramento contínuo. E é importante destacar que a qualidade vai além da acurácia. Ela inclui estabilidade, resiliência (robustez a outliers/ataques), baixo custo computacional/operacional e capacidade de retreino rápido. A qualidade dos dados de entrada também é parte fundamental nesta etapa.
Garantir a confiabilidade de modelos de ML em produção exige uma abordagem holística, integrando qualidade técnica, gestão de riscos de modelos (MRM), monitoramento contínuo e observabilidade, alinhada a práticas de MLOps e requisitos regulatórios.
A gestão de risco de modelo (MRM – Model Risk Management) busca mitigar consequências adversas de modelos incorretos ou mal utilizados. Envolve processos de governança, validação consistente, implementação confiável e uso apropriado do modelo. O monitoramento contínuo é indispensável para detectar degradação do modelo ao longo do tempo, causada por mudanças nos padrões dos dados, mudanças na distribuição dos dados de entrada, cenários imprevistos inicialmente ou problemas na esteira do modelo. Já a observabilidade do modelo vai além do monitoramento de métricas predefinidas. Na etapa de observabilidade é possível investigar o comportamento histórico do sistema usando telemetria para diagnosticar problemas complexos e falhas silenciosas.
O artigo intitulado “Machine Learning Model: Perspectives for quality, observability, risk and continuous monitoring“, foi publicado e apresentado no XXI Congresso Latino-Americano de Software Livre e Tecnologias Abertas, e está disponível para leitura completa neste link.
Para citações, utilize:
NOGARE, Diego; SILVEIRA, Ismar Frango; CABRAL, Pedro Pinheiro; HAUY, Rafael Jorge; NEVES, Veronica. Machine Learning Model: Perspectives for quality, observability, risk and continuous monitoring. In: CONGRESSO LATINO-AMERICANO DE SOFTWARE LIVRE E TECNOLOGIAS ABERTAS (LATINOWARE), 21. , 2024, Foz do Iguaçu/PR. Anais […]. Porto Alegre: Sociedade Brasileira de Computação, 2024 . p. 181-187. DOI: https://doi.org/10.5753/latinoware.2024.245679.