Fraugdegaard nævnes første gang i 1397. Den nuværende hovedbygning blev opført i 1588 af Oluf Daa, og er for gavlenes og bagsidens vedkommende næsten uændret. Gavlene gik dog oprindeligt op til tagryggen.

Bygningen er opført som et dobbelthus i bindingsværk.  Fraugdegård er blot 1 af to huse i Danmark med denne konstruktion.

Bindingsværket er højst sandsynligt genbrug, da det er dobbeltnummereret og med naglehuller på steder, der ingen funktion har. Det kan muligvis stamme fra Sct. Hans klosters “hus” i Fraugde.

 I 1769 blev den hvide facade i klassicistisk stil sat uden på bindingsværket. Efter sigende skulle al bindingsværket have været lavet om til den klassicistiske stil. Projektet blev dog bremset umiddelbart efter at facaden var sat på. Huset blev efterfølgende fredet og derfor har huset den dag i dag tre sider med det gamle, originale bindingsværk og den hvide facade. 

Hovedbygningen er omgivet af voldgrave, men den sydøstlige del er blevet kastet til.

Foran hovedbygningen ligger ladegårdsvoldstedet, som også er omgivet af voldgrave. Avlsbygningerne lå oprindeligt placeret her, men blev efter en brand i 1889 flyttet til deres nuværende placering.

Af kendte ejere kan biskop Thomas Kingo nævnes, som ejede gården fra 1697 til 1703.

Fraugdegaard er siden 1879 ejet af familien Bille Brahe. I dag af Charlotte Bille-Hasselstrøm.