Szary Dom przy ulicy Jerozolimskiej 3 został zbudowany w 1925 r. Pełnił funkcję budynku administracyjnego cmentarza Gminy Wyznaniowej Żydowskiej w Krakowie i siedziby Bractwa Przedpogrzebowego Chewra Kadisza. W czasie funkcjonowania KL Plaszow mieściły się w nim biura zarządu obozu, a w piwnicach areszt. Po wojnie w budynku urządzono mieszkania komunalne i prywatne.

Dzięki porozumieniu władz miasta Krakowa z Gminą Wyznaniową Żydowską w Krakowie Szary Dom został włączony w obręb Muzeum KL Plaszow. Po niezbędnym remoncie i dostosowaniu go do potrzeb muzealnych na parterze i w piwnicach powstanie wystawa stała, a na piętrze znajdą się pomieszczenia edukacyjne, ogólnodostępna mediateka i miejsce kontemplacji. Scenariusz wystawy w Szarym Domu zakłada, że będzie to miejsce, w którym głos oddany zostanie przede wszystkim świadkom. Przez ich wypowiedzi na temat doświadczeń bycia w obozie odwiedzający zapoznają się z emocjonalną, osobistą stroną historii obozu płaszowskiego.

W piwnicy budynku od sierpnia 1943 r. znajdował się areszt z celami, ciemnicą i tzw. stójkami – niewielkimi pomieszczeniami do odbywania kary na stojąco. W areszcie przetrzymywano więźniów obozu za przewinienia regulaminowe oraz więźniów niemieckiej policji bezpieczeństwa skazanych na karę śmierci i oczekujących na egzekucję. Wystawa w tej części budynku przypomni ich losy.

Szary Dom stał w centrum obozu. Z okien budynku widoczne były koszary załogi, ale także komendantura, kamieniołom, baraki mieszkalne więźniów, plac apelowy i część przemysłowa obozu. W budynku znajdowało się biuro komendanta obozu. Z uwagi na funkcję, jaką w czasie wojny pełnił Szary Dom, wystawa w tym budynku będzie łączyć opowieści więźniów z prezentacją losów sprawców – funkcjonariuszy administracji obozowej.

Od stycznia do października 1945 r. na terenie obozu stacjonowały jednostki Armii Czerwonej. W dwóch pomieszczeniach w piwnicach Szarego Domu zachowały się inskrypcje i napisy pozostawione przez żołnierzy sowieckich więzionych tam najpewniej za wykroczenia przeciw regulaminowi. Ta przestrzeń będzie poświęcona prezentacji losów terenu dawnego obozu zaraz po II wojnie światowej, procesów sprawców oraz pierwszym próbom upamiętnienia ofiar.