Szary Dom przy ulicy Jerozolimskiej 3 został zbudowany w 1925 r. Pełnił funkcję budynku administracyjnego cmentarza Gminy Wyznaniowej Żydowskiej w Krakowie i siedziby Bractwa Przedpogrzebowego Chewra Kadisza. W czasie funkcjonowania KL Plaszow mieściły się w nim biura zarządu obozu, a w piwnicach areszt. Po wojnie w budynku urządzono mieszkania komunalne i prywatne. Dzięki porozumieniu władz miasta Krakowa z Gminą Wyznaniową Żydowską w Krakowie Szary Dom został włączony w obręb Muzeum KL Plaszow.