Śmierć Michała Stanisława Tarnowskiego i późniejszy o kilka miesięcy potop szwedzki spowodowały wstrzymanie rozbudowy rezydencji. Podjęto ją dopiero w końcu XVIII wieku, kiedy odbudowano skrzydło wschodnie zamku, rozebrano wieżę i budynki bramne, mury obronne i bastiony, urządzając na ich miejscu park krajobrazowy.

Zamek mający dotąd charakter obronny, stał się typowym dla wieku oświecenia pałacem między dziedzińcem a ogrodem. Już wtedy zamek dzikowski był ośrodkiem kultury, gdyż działała tu stała kapela zamkowa, złożona z 17 muzyków, a w nowym skrzydle mieściła się biblioteka. Podczas wojny 1809 roku zamek został zniszczony; na odbudowę musiał czekać blisko ćwierć wieku. Dopiero w roku 1834 Jan Feliks Tarnowski i jego żona Waleria, kolekcjonerzy i miłośnicy sztuki, rozpoczęli przebudowę rezydencji w stylu gotyckim.

Odtąd miał to być zamek - muzeum, gdyż jego komnaty wypełniła słynna kolekcja, którą tworzyły zbiory sztuki, biblioteka i archiwa rodowe. Zbiory sztuki to przede wszystkim obrazy mistrzów włoskich i niderlandzkich z XVI - XVIII wieku.

Wśród nich Tarnowscy posiadali m.in. dzieła Carracich, Veronesa, Tycjana, Bacciarellego, Trevisaniego, Reniego, van Dycka, Sustermansa, Rembrandta. Zgromadzili również pokaźny zbiór grafiki szkół europejskich, który dopełniały rzeźby ( m.in. Berniniego, Canovy) a także portrety rodzinne, poczynając od konterfektów staropolskich po wizerunki Leliwitów malowane przez czołowych malarzy polskich XIX wieku, m.in. Kaplińskiego, Matejkę, Pochwalskiego, Kossaków, czy Malczewskiego. Biblioteka dzikowska liczyła ok. 30 tysięcy woluminów, szczycąc się szczególnie kompletem polskich edycji Biblii, pierwodrukami dzieł ojców literatury polskiej, a także m.in. fragmentem księgozbioru należącego do króla Stefana Batorego.

Istniejący przy bibliotece zbiór rękopisów obejmował pokaźną liczbę autografów znanych ludzi nauki, pióra i polityki. Najcenniejszy był niewątpliwie rękopis „Pana Tadeusza”

A. Mickiewicza nabyty przez profesora Stanisława Tarnowskiego od syna wieszcza - Władysława w 1871 roku i przechowywany, w specjalnie wykonanej dla owej relikwii narodowej, szkatule z hebanu i kości słoniowej.

Archiwum rodowe Tarnowskich składało się z kilkunastu tysięcy dokumentów od XIV do XX wieku dotyczących spraw majątkowych, przywilejów, nadań, zapisów testamentowych związanych z Tarnowskimi lub rodami z nimi spokrewnionymi. Część dokumentów to papiery z zamku Tarnowskich w Tarnowie, w tym również po hetmanie J. Tarnowskim. Archiwum Tarnowscy gromadzili sukcesywnie od XIV wieku, początek biblioteki to koniec XVIII wieku, zaś zbiory sztuki twórcy kolekcji zaczęli gromadzić w latach 1803 - 1805.

Cała kolekcja zgromadzona w Dzikowie po roku 1834 była tu przechowywana do roku 1944. Ideą Tarnowskich było utworzenie publicznego muzeum na bazie zbiorów dzikowskich.

Wolę utworzenia muzeum zawiera też testament hr. Artura Tarnowskiego, ostatniego pana na Dzikowie.