Modificación del comportamiento de la política de reemplazo en el último nivel de caché en base a diferentes tipos de eventos

Abstract

Para paliar la diferencia en la evolución tecnológica existente entre el procesador y la memoria de un sistema computacional se hace uso de la jerarquía de memoria. El objetivo de ésta no es otro sino aproximar la velocidad con la que la memoria es capaz de servir los datos a la velocidad a la que estos son demandados por el procesador. Un rendimiento eficiente de la cache es de vital importancia debido a que es la parte de la jerarquía que se encuentra dentro del chip. Cuando se sobrepasa éste y los datos tienen que ser demandados a memoria principal, la velocidad con la que estos son servidos decrece en varios órdenes de magnitud. Existen multitud de políticas para gestionar distintos aspectos de la cache, como el emplazamiento de los bloques, la gestión de las escrituras, etc. La política que determina qué bloques se deben mantener y cuales descartar cuando existe la necesidad de incorporar nuevos bloques demandados por niveles más cercanos al procesador en la jerarquía de memoria recibe el nombre de política de reemplazo. El presente trabajo de investigación pretende contribuir a mejorar la eficiencia del último nivel de cache (Last Level Cache – LLC) haciendo uso de una política de reemplazo LRU (Least Recently Used) modificada. Para ello, basándonos en nuestras observaciones en cuanto a la existencia de distintos tipos de inserción y promoción en las aplicaciones, proponemos modificar las componentes de la política LRU que gestionan dichos eventos, de forma que la decisión se tome en base al tipo de inserción o promoción que tenga lugar. Se proponen tres alternativas: La primera consistirá en realizar las modificaciones oportunas en la inserción/promoción, para mejorar la eficiencia de una cache de último nivel con la configuración típica de un procesador actual. Una segunda posibilidad consistirá en tratar de acercar el rendimiento de una cache reducida al conseguido por una cache de tamaño típico, proponiendo de nuevo una gestión específica de cada tipo de inserción/promoción. Por último, se proponen modificaciones a la política empleada en el nivel compartido de un chip multiprocessor una vez más con el objetivo de mejorar su rendimiento.

In order to mitigate the technological difference between the processor and the memory of a computer system, the memory hierarchy was introduced. Its main purpose is to approximate the speed at which the memory is capable of serving data to the rate at which data are demanded by the processor. Being cache levels usually integrated within the chip in nowadays computers makes performance of these levels a key aspect for a good performance of the whole system. When a miss occurs at the last cache level, data has to be searched from main memory, resulting on an important increase on the effective memory latency. There are many policies to manage various aspects of the cache, such as the location of the blocks, the updating of modified information, etc. The policy that determines which blocks should be kept/discarded from the cache when new blocks are requested by the processor is called the replacement policy. This research aims to improve the performance of the last level cache (LLC) when it uses a modified LRU (Least Recently Used) replacement policy. For this purpose, based on our observation of the existence of different insertion/promotion types in the applications, we propose to modify the LRU policy so that the decision is taken according to the type of insertion/promotion that takes place. In this work we have addressed three different alternatives: We first performed changes to the insertion/promotion policies in order to improve the performance of a LLC with the typical configuration of a current processor. Secondly, making again changes to the management of the insertion/promotion of the blocks, we aimed to approximate the performance of a small cache to the performance achieved by a typical cache. Finally, we proposed modifications to the insertion/promotion components of the replacement policy used on the Shared LLC of a chip multiprocessor, again with the goal of improving its performance.