Otimização de hiperparâmetros do XGBoost utilizando meta-aprendizagem
Meta-aprendizagem, aprendizagem de máquina, custo, ciência de dados, XGBoost
Com a evolução computacional, houve um crescimento no que condiz ao número de algoritmos
de aprendizagem de máquina e em paralelo, foram se tornando cada vez mais complexos e
robustos. Com o crescimento desta complexidade, foi necessário cada vez mais focar na configuração
dos algoritmos, no que condiz aos seus hiperparâmetros, tendo como intuito aumentar a
precisão no resultado de cada um deles: o que não é uma tarefa trivial. Com isso, a escolha dos
hiperparâmetros mais adequados para um determinado conjunto de dados, pode ser uma tarefa
custosa tanto em questão de tempo, quanto em questão de dinheiro. Com isso, é necessário que
hajam maneiras mais rápidas e práticas para achar hiperparâmetros que vão configurar cada algoritmo
individualmente. Este trabalho visa utilizar da Meta-Aprendizagem como uma solução
viável para a recomendação de hiperparâmetros para o recente algoritmo de aprendizagem de
máquina XGBoost, a fim de que haja uma redução de custos computacionais, visando também
a redução de custo para as empresas. Os resultados experimentais atestaram o sucesso da aplicação
da heurística utilizando a meta-aprendizagem para a recomendação dos mesmos. Com
isso, incialmente foi feito uma caracterização dos conjuntos de dados utilizando três conjuntos
de Meta-Características, para que houvesse uma forma de comparação de similaridade entre os
mesmos e assim, aplicar a Meta-Aprendizagem para a recomendação dos hiperparâmetros entre
os conjuntos de dados utilizado nos experimentos. Os resultados obtidos foram promissores,
fazendo com que em alguns casos, 86.36% dos testes tivessem resultados positivos, ou seja, a
acurácia do XGBoost utilizando a Meta-Aprendizagem, tivesse um resultado melhor do que os
hiperparâmetros padrões utilizados pelo XGBoost em 86.36% dos casos.