Transfer Learning with Deep Learning for Text Classification Using Genetic Algorithms
Modelos de linguagem pré-treinados vêm ganhando notoriedade e resultados promissores. Inicialmente existiam duas grandes limitações nessa abordagem, a primeira é que o treinamento de modelos existentes demandava grande quantidade de recursos computacionais, o que podia inviabilizar sua utilização, e a segunda seriam os modelos multilíngues, que fatidicamente tinham baixo desempenho em linguagens de baixo recurso justamente pela sua alta generalidade. Esses dois pontos focais foram mitigados com a utilização de multi modelos com técnicas de ajuste fino em datasets para idiomas específicos. Contudo, ainda existem processos manuais na seleção de alguns hiperparâmetros e por isso propomos uma abordagem genética, a fim de alcançar a solução de forma mais automatizada e prática para pesquisadores e professionais da área. Para tal, foram avaliados dois conjuntos de dados para classificação, alcançando resultados equivalentes ou superiores aos encontrados em trabalhos anteriores que utilizam uma abordagem de seleção manual de parte dos hiper-parâmetros.
Transfer Learning; Deep Learning; Text Classification; Genetic Algorithms;