Contexto: A popularização da Deep Learning e da Deep Inference impulsionou o desenvolvimento de ferramentas para implementação de Redes Neurais Convolucionais (CNNs, do inglês Convolutional Neural Networks) como bibliotecas específicas para o desenvolvimento de CNNs, a popularização também estimulou o desenvolvimento de GPUs com recursos de aceleração de CNNs. Os desenvolvedores e cientistas que trabalham com CNNs precisam de estudos científicos experimentais que apontem qual a biblioteca mais adequada para determinada microarquitetura de GPU. Objetivos: Comparar o desempenho das bibliotecas CNTK, PyTorch, TensorFlow 1.15 e TensorFlow 2.2 em diferentes microarquiteturas de GPU (Kepler, Maxwell, Pascal e Turing) utilizando a CNN LeNet-5 e o dataset MNIST. Metodologia: Inicialmente, foi realizado um mapeamento sistemático como forma de identificar e sistematizar os principais benchmarks, em seguida foi realizado um experimento avaliando o impacto da API Keras no desempenho das bibliotecas utilizadas no estudo comparativo e por último foram realizados quatro experimentos comparando as bibliotecas, cada experimento foi realizado em um ambiente acelerado por uma GPU com uma microarquitetura diferente. Resultados: Para o mapeamento sistemáico, foi identificado que as arquiteturas clássicas de CNN como LeNet-5 e AlexNet são as mais utilizadas como benchmarks, também mostrou que os datasets mais utilizados em benchmarking são o ImageNet, MNIST e CIFAR-10. O experimento sobre o impacto da API Keras mostrou que a API impacta negativamente no desempenho de todas as bibliotecas testadas. No estudo comparativo de desempenho das bibliotecas, a biblioteca PyTorch apresentou o pior desempenho e as bibliotecas CNTK, TensorFlow 1.15 e TensorFlow 2.2 alternaram entre os três menores tempos de execução. Conclusão: Os resultados evidenciam que a biblioteca PyTorch apresenta um baixo nível de utilização da GPU e utiliza uma grande quantidade de memória se comparada as outras bibliotecas que apresentaram um desempenho superior.