Organizacja pamięci
rejestry (500 bytes)
pamięć cache (64 kB)
pamięć główna (512 Mb)
pamięć zewnętrzna (100GB)
Rejestry łączą się z cache, cache z pamięcią główną. Cache i rejestry są najbliżej procesora. Pamięć zewnętrzna nie ma bezpośredniego połączenia z procesorem, łączy się ona z pamięcią główną za pomocą I/O magistrali, a dopiero ta z procesorem – z pomocą magistrali pamięciowej.
Pojęcia:
cache hit (dostęp cache) – zachodzi, jeśli CPU znajduje potrzebne dane w pamięci cache.
cache miss (nietrafienie) – gdy dane nie są w cache i muszą zostać sprowadzone z pamięci głównej.
block (blok) – zbiór danych zawierający niezbędne słowo, sprowadzony z głównej pamięci i osadzony w cache.
temporal locality – informacja na temat tego, że słowo zostanie użyte w przyszłości, więc dobrze umieścić je w cache.
spatial locality – informacja na temat tego, że inne słowo w BLOKU może być użyteczne w przyszłości.
miss penalty (stopa nietrafień) – ilość dostępów, które kończą się nietrafieniem; może być różna dla pisania i czytania.
Umiejscowienie bloku w cache:
direct mapped – gdy każdy blok może zajmować tylko jedno, określone miejsce
sposób wyboru adresu: (block address)%(number of blocks in cache)
fully associative – gdy blok może zająć dowolne miejsce w cache
set associative – blok można umieścić w dowolnym miejscu w danym secie bloków, wydzielonym miejscu;
sposób wyboru setu: (block address)% (Number of sets in cache)
Odnajdywanie bloku w pamięci podręcznej:
Każdy blok ma swój adres; TAG adresu jest sprawdzany w celu odkrycia, czy blok zawiera przydatne informacje – adres bloku jest porównany z adresem wydanym przez CPU. TAG sprawdza wszystkie bloki w secie; INDEX jest używany do wyboru bloku; BLOCK OFFSET to adres znajdujący się wewnątrz bloku. Fully associative caches nie mają indeksu.
W celu sprawdzenia, czy informacja znajduje się w bloku, dodaje się poszukiwany bit do TAGU w celu sprawdzenia, czy ten blok zawiera odpowiedni adres. Jeśli bit nie zostaje ustawiony, w bloku na pewno nie ma odpowiednika dla adresu.
Metody zastępowania nietrafień:
random
lru
fifo
Zapis do pamięci
W cache zapisy wynoszą 10/20%. Z czytaniem nie ma problemu – blok może być przeczytany w tym samym czasie, kiedy zostaje odczytany Tag. Przy pisaniu, nie można modyfikować pamięci do czasu upewnienia się, że mamy dostęp do adresu. Poza tym procesor często określa rozmiar zapisu. Trzeba też rozwiązać problem spójności pamięci podręcznej.
Write through – informacja jest zapisana do bloku w cache oraz w bloku pamięci niższego poziomu;
Write back – informacja jest zapisana tylko w bloku w cache. Zmodyfikowany blok jest zapisany w głównej pamięci tylko przy wymianie bloków.
Multiprocesory i wejście/wyjście chcą wykonywać write back w celu zredukowania trafficu na pamięci oraz write through w celu utrzymania cache zgodnego z niższymi poziomami pamięci.
Procesor w trakcie oczekiwania na wykonanie write through, ma on opóźnienie zapisu (write stalls), które mogą być rozwiązywane z pomocą buforów zapisu (write buffors).
Skoro dane nie są potrzebne do zapisu, są dwie opcje na nietrafienie zapisu:
Write allocate – blok jest przydzielony na nietrafienie zapisu, śledzony przez trafienie zapisu „action above” whatever the fuck that means
No-write allocate – nietypowa alternatywa w której nietrafienia nie oddziałują na pamięć podręczną.
Trzy rodzaje nietrafień:
obowiązkowe – wstawienie pierwszych danych do pamięci podręcznej
pojemnościowe – kiedy pamięć nie może pomieścić wszystkich bloków w trakcie wykonania programu, i część z nich musi być wymieniona
niezgodności – gdy zachodzi strategia set associative lub direct mapped, konflikt może zachodzić z powodu przepełnienia setów.
Organizacja pamięci głównej w celu polepszenia wydajności:
Performance measures of main memory emphasize both latency and bandwidth (the number of bytes read or written per unit of time).
Assume the performance of the basic memory organization is:
– 4 clock cycles to send the address
– 56 clock cycles for the access time per word
– 4 clock cycles to send a word of data
Given a cache block of 4 words, and the word is 8 bytes, the miss penalty is 4*(4+56+4) = 256 clock cycles with a memory bandwidth of 1/8 byte.
Wider Main Memory: First- level caches are often organized with physical width of 1 word because CPU accesses are that size. When doubling the width of the cache and the memory will therefore double the memory bandwidth. With memory of two words, the miss penalty in our example would drop from 256 clock cycles to 128 (we need half the memory accesses and the bandwidth is ¼ byte per clock cycle).