1944. március 19-én, miután a német csapatok megszállták Magyarországot, az SS szemlét tartott a Rabbiképző épületében, és másnap, március 20-án el is foglalta azt. A szeminárium diákjait utasították, hogy a tantermek padjait az udvarra vigyék, az internátus 90 vaságyát pedig a tantermekbe zsúfolták össze. Az épület a magyar holokauszt egyik tragikus színhelyévé vált: mint kisegítő toloncház funkcionált, ahonnan az út internálótáborokba vezetett, és gyakran Auschwitzban végződött. Az épületben a segédmunkát, a takarítást az ott elfogott diákokkal végeztették; velük maradt az Intézet akkori oktatója, az ELTE későbbi egyetemi professzora, Hahn István is.
A Könyvtár is helyrehozhatatlan károkat szenvedett: válogatott könyveit, többezer kötetét Adolf Eichmann Prágába szállíttatta, ahonnan csak egy részük került vissza a háború után. Az épület bombatalálatot is kapott, és a könyvtár megmaradt állományának egy része is akkor pusztult el. A képen egy olyan könyv látható a Könyvtár gyűjteményéből, amelyet az intézményi legendák szerint a megszállás alatt szúrtak át többször szuronnyal.
