Von Karl I., Landgraf von Hessen-Kassel, zu Beginn des 18. Jahrhunderts erbaut, diente die Orangerie zunächst als Sommerresidenz und als Überwinterungshaus für Kübelgewächse wie Zitruspflanzen und Palmen. Im Zweiten Weltkrieg stark zerbombt, lag das Gebäude in Trümmern, bis 1976 mit Restaurierungsarbeiten begonnen wurde. Die komplett wiederhergestellte Orangerie wurde 1992 als Astronmisch-Physikalisches Kabinett mit Planetarium wiedereröffnet.
Im linken Gebäudeflügel präsentiert die documenta 14 zwei neue Videoarbeiten von Romuald Karmakar: Byzantion und Die Entstehung des Westens (beide 2017) spielen auf Ereignisse von großer historischer Tragweite an – das Ende des Byzantinischen Reiches und die Eroberung von Konstantinopel –, die zu Beginn des 16. Jahrhunderts zur Erforschung und Eroberung der Neuen Welt führten. Antonio Vega Macotelas Mill of Blood (2017), eine voll funktionstüchtige Rekonstruktion einer Münzprägemaschine, die von den spanischen Kolonialisten in Peru und anderen südamerikanischen Ländern eingesetzt und von indigenen und afrikanischen Sklaven betrieben wurde, bietet eine eindringliche Lesart der Orangerie als Inbegriff der europäischen Aufklärung und ihrer Unzufriedenheiten.