Na początku XVI w. Podzamcze kupiła rodzina Sokołowskich herbu Pomian i wybudowała dwa dwory obronne – Biały oraz Czerwony. Biały Dwór był w kolejnych latach w posiadaniu polskich rodów Kretkowskich i Dziewanowskich, a następnie niemieckiej rodziny Boris. Został opuszczony i zdewastowany po zakończeniu II wojny światowej. W 1994 r. przeszedł ponownie w prywatne ręce i obecni właściciele przystąpili do odbudowy oraz rekonstrukcji kompletnie zrujnowanych zabudowań. Dzisiaj jest hotelem pełnym dawnego uroku.

Biały Dwór położony jest na skraju płaskowyżu górującego nad doliną Wisły. Strategiczny charakter miejsca, w sąsiedztwie dróg handlowych, zwłaszcza Szlaku Bursztynowego, został doceniony bardzo wcześnie – w okolicy znajdują się liczne pozostałości osadnictwa pruskiego oraz krzyżackiego.

Pierwsze informacje pisane pochodzą z okresu podboju pruskiej Pomezanii przez zakon krzyżacki. Wiadomo, że w 1236 r. okoliczne ziemie otrzymał, za zasługi dla zakonu, Dytryk von Dypenow (Dietrich von Tyfenowe), szlachcic z Saksonii. To on założył m.in. wieś Tiefenau (Tyfenow), dzisiejsze Tychnowy. Do końca XV w., z małymi przerwami, większość okolicznych dóbr była w rękach osób związanych z tym rodem. Po rozpadzie państwa krzyżackiego (1466) i utworzeniu Prus Królewskich przeszły one w ręce polskie.

Wiadomo, że właścicielem folwarku Bystrzec (Weisshof), dzisiejsze Podzamcze, był Jan Ulkowski, kasztelan elbląski. Jego córka Anna wyszła za Jerzego Sokołowskiego, wnosząc w posagu m.in. Bystrzec. I to właśnie on rozpoczął wznoszenie dworu w obecnym miejscu. Był to wówczas zapewne budynek tylko jednopiętrowy, ale w całości podpiwniczony, stojący na naturalnym wzniesieniu.

Prawdopodobnie przed najazdem szwedzkim (1626-1629), dwór został znacznie rozbudowany i wzmocniony, m.in. w narożniku południowo wschodnim dostawiono basztę ze strzelnicami. Ufortyfikowano także samo wzniesienie, otaczając je murem od północy i zachodu, a od południa przekopano fosę. Część tych umocnień była widoczna jeszcze pod koniec XIX w.

Biały Dwór przeszedł w ręce rodu Kretkowskich. Wówczas to m.in. dobudowano drugą basztę w narożniku północnowschodnim. Nie miała ona już funkcji obronnych, a wystawiono ją raczej ze względów estetycznych, dla zachowania symetrii w rozplanowaniu elewacji frontowej. Stąd znacznie cieńsze mury i brak strzelnic. Mieścił się w niej alkierz (dzisiaj jest podobnie – sypialnia apartamentu nr 2).

W 1763 r. dobra bystrzyckie kupił Jerzy Dziewanowski, ówczesny wicewojewoda chełmiński.
W 1772 r., po pierwszym rozbiorze Polski, ziemie te zostały włączone do Królestwa Pruskiego.
Pięć lat później (1777) Dziewanowscy sprzedali majątek pruskiemu Urzędowi Wojny i Skarbu
w Kwidzynie, który założył tu swoją siedzibę. Czy był ona zlokalizowana w samym dworze, nie wiadomo.

Około 1800 r. jako dzierżawca Białego Dworu pojawił się Johann Borris. W 1850 r. Urząd Wojny i Skarbu oddał dobra bystrzyckie w wieczyste użytkowanie dotychczasowym dzierżawcom, czyli właśnie rodzinie Borris. Jej przedstawiciele występują jako właściciele jeszcze w 1918 r. (Rudolph Heinrich Borris).

W 1918 r właściciel fabryki wapna w Toruniu, sprzedał potajemnie swoją fabrykę i zakupił od Borrisa Biały Dwór i 500 ha ziemi. Był to Robert von Kessel. Był właścicielem do 23 stycznia 1945 roku. 29 stycznia Biały Dwór był zdobyty przez Armię Radziecką i jej przedstawiciele rezydowali w nim do 1946 roku. Następnie właścicielami byli: Buszkiewicz ( 1946 – 1948 ) Lenkiewicz ( 1948 – 1949 ) Wróblewski ( 1949 – 1958 ). Największej dewastacji Biały Dwór uległ za Pana Wróblewskiego.

Po całkowitym zniszczeniu zabudowań gospodarczych, właściciel wprowadził trzodę chlewną i bydło do pomieszczeń Białego Dworu. Pan Wróblewski mieszkał razem ze swoimi zwierzętami do chwili zawalenia się dachu. W 1959 roku Biały Dwór i teren, który był do niego przydzielony przeszedł pod Zarząd Kwidzyńskiego Przedsiębiorstwa Gospodarki Rolnej. W 1960 rolu budynek Białego Dworu został objęty opieką konserwatorską.
W 1977 r Dyrektor Kwidzyńskiego Przedsiębiorstwa Gospodarki Rolnej Kazimierz Kraszewski wystąpił do władz o pozwolenie odbudowy Białego Dworu. Odbudowa trwała ok. 14 lat.
W 1994 roku Biały Dwór przeszedł w posiadanie obecnych właścicieli.