Avaliando a Confiabilidade de Serviços de Aprendizado de Máquina
Serviços, Aprendizado de Máquina, Injeção de Falhas
Com o aprimoramento e popularização dos algoritmos de aprendizado de máquina, empresas passaram a oferecer serviços de aprendizado de máquina para seus clientes (conhecidos como Machine Learning as a Service). Esses serviços são capazes de realizar tarefas para processamento de linguagem natural e imagens. Como benefícios destes serviços, os clientes não precisam de uma infraestrutura computacional robusta para treinar e realizar tarefas de aprendizado de máquina, basta utilizar os serviços providos por estas empresas. Embora estes serviços forneçam diversos benefícios, é importante saber o nível de resiliência destes serviços diante de ruídos introduzidos a partir de cenários reais. Por exemplo, erros de digitação são comuns em redes sociais e câmeras de segurança comumente sofrem com o clima ou distúrbios ambientais. Este trabalho tem como objetivo analisar o impacto de diversos tipos de ruído em serviços MLaaS voltados à análise textual. Para tanto, analisamos a resiliência de serviços de aprendizado de máquina oferecidos pela Google, Microsoft, e Amazon diante de uma variedade de ruídos textuais. Os resultados indicam que para cenários onde há pouco ruído, os serviços oferecidos pela Amazon e Microsoft performam melhor e por isso são indicados para essas situações. Por outro lado, os resultados sugerem que os ruídos que mais afetam a semântica e estrutura das sentenças são os que mais afetam o desempenho dos serviços escolhidos.