Leveraging Posit Arithmetic in Deep Neural Networks

Abstract

The IEEE 754 Standard for Floating-Point Arithmetic has been for decades imple mented in the vast majority of modern computer systems to manipulate and com pute real numbers. Recently, John L. Gustafson introduced a new data type called positTM to represent real numbers on computers. This emerging format was designed with the aim of replacing IEEE 754 floating-point numbers by providing certain ad vantages over them, such as a larger dynamic range, higher accuracy, bitwise iden tical results across systems, or simpler hardware, among others. The interesting properties of the posit format seem to be really useful under the scenario of deep neural networks. In this Master’s thesis, the properties of posit arithmetic are studied with the aim of leveraging them for the training and inference of deep neural networks. For this purpose, a framework for neural networks based on the posit format is developed. The results show that posits can achieve similar accuracy results as floating-point numbers with half of the bit width without modifications in the training and infer ence flows of deep neural networks. The hardware cost of the posit arithmetic units needed for operating with neural networks (this is, additions and multiplications) is also studied in this work, obtaining great improvements in terms of area and power savings with respect state-of-the-art implementations.

El estándar IEEE 754 para aritmética de coma flotante se ha implementado durante décadas en la gran mayoría de los sistemas informáticos modernos para manipular y calcular números reales. Recientemente, John L. Gustafson introdujo un nuevo tipo de datos llamado positTM para representar números reales en computadores. Este formato emergente fue diseñado con el objetivo de reemplazar a los números de coma flotante IEEE 754 proporcionando ciertas ventajas sobre ellos, como un mayor rango dinámico, mayor precisión, resultados idénticos bit a bit en todos los sistemas o un hardware más simple, entre otras. Las interesantes propiedades del formato posit parecen ser realmente útiles en el escenario de redes neuronales profundas. En este trabajo de fin de máster se estudian las propiedades de la aritmética posit con el fin de aprovecharlas para el entrenamiento e inferencia de redes neuronales profundas. Para ello, se desarrolla un framework para redes neuronales basadas en el formato posit. Los resultados muestran que los posits pueden lograr resultados de precisión similares a los números en coma flotante con la mitad de la anchura de bits sin modificaciones en los flujos de entrenamiento e inferencia de las redes neuronales profundas. En este trabajo también se estudia el coste hardware de las unidades aritméticas posit necesarias para operar con redes neuronales (es decir, sumas y multiplicaciones), obteniendo grandes mejoras en términos de área y ahorro de energía con respecto a las implementaciones del estado del arte.