Historie stavby začala v 1687 koupí rozsáhlé části země v Rossau u Vídně. Palác původně nazvaný Althanský, byl postaven v letech 1689-93 architektem Johannem Bernhardem Fischerem z Erlachu v Rossau u přítoku Dunaje. Stavebníkem byl Johann Christoph hrabě Althan, který roku 1690 nabyl tzv. „Alsergrund“ u Vídně. Palác-letohrádek měl oválnou ústřední budovu a čtyři křídla ve tvaru svatoondřejského kříže, stejně jako zámek Veltrusy. Další podobností či spíše inspirací pro veltruskou stavbu jsou právě radiální křídla (v českém případě zprvu jen dvouosá, po roce 1754 totožná s "Althanskými"), která porušují centralitu kompozice, avšak umožňují rozmanitý pohled na stavbu z hlavní a příčné osy. V roce 1704 pobýval Václav Antonín Chotek ve Vídni a s největší pravděpodobností letohrádek v Rossau navštívil a čerpal zde inspiraci. Gundacker hrabě Althan zdědil majetek po svém otci v roce 1706 a prodal ho v roce 1713 městu Vídni. Určitou dobu, až na pár krátkých pronájmů, byl palác prázdný, než zde Magistrát založil veřejné „Donaubad“. V roce 1754 prodalo město palác obchodníku Johannu Georgovi Schullerovi (umístil zde továrnu na bavlnu), jehož syn a dědic Jan Křtitel Pouthon (1745-1816) palác v roce 1777 přestavěl, stejně jako barokní zahradu v anglický park. V roce 1869 byl celý objekt zbourán pro vídeňské nádraží Franz-Josefs-Bahnhof.