Pilkupüüdva villa, mis sai nimeks Villa Friedheim, lasi promenaadile ehitada Peterburi kaubamaja omaniku Krehmeri tütar Annette von Siemens 1885. aastal. Varem asus samal kohal doktor Carl Rinnele kuulunud puumaja, mis põles maha.
Et Siemensid, Krehmerid ja Gernetid olid sugulased, oli Gernetite perekond majaga seotud juba enne, kui Adolf von Gernet selle 1910. aastal ära ostis. Gernetite perekonna valdusse kuulus kinnistu kuni selle võõrandamiseni 1940. aastal.
Aegade jooksul on Villa Friedheimis elanud või peatunud inimesed, kes on jätnud oma jälje ajalukku. Ühed, keda ikka ja jälle esile tõstetakse, on Rudolf von Gernet ja tema abikaasa Katharina. Rudolf von Gernet on kirjutanud end Haapsalu ja kogu Eesti purjetamisajalukku. Aastail 1871-1878 oli ta Haapsalus asutatud Eesti esimese merejahtklubi kommodoor.
Katharina von Gernet oli pianist ja tulevase helilooja Rudolf Tobiase klaveriõpetaja ajal, mil Tobias õppis Haapsalu kreiskoolis (aastatel 1885-1888). Kalle Loona on kirjutanud tunamullu Johannese Sõnumites, et Tobias sai kasutada pererahva rikkalikku noodi- ja raamatukogu ning võis osa võtta selle maja elegantses ja oivalise akustikaga saalis regulaarselt toimuvatest kammermuusika õhtutest, mida külastas kogu siinse kultuurielu eliit. Mõnikord mängis ta neil õpetaga neljal käel või üksi, kujunedes sel moel linna avalikkuse lemmikuks. Katharina von Gernet vaimustus õpilase võimekusest sedavõrd, et töötas temaga tasuta ja lubas toetada noormehe muusikaõpinguid.
Ajaloolase Kalev Jaago sõnul võib Katharina von Gernet olla ka Eesti vanima teadaoleva koomiksi autor. Nimelt avastati 2015. aastal rahvusarhiivist 18 joonistust, mis pärinevad perekond Krehmeri (Katharina neiupõlvenimi oli Krehmer) arhiivist. Pildilugude autoriks peetakse Katharinat või tema venda Constantini. Pildilugudes on mainitud ka Villa Friedheimi ja Rudolf von Gernetit.
Milline Gernetite kodu Villa Friedheimis välja nägi, võib näha Haapsalu raekojas avatud näitusel „Kaks kodu”, kus 19. sajandi lõpu kodu on kujundatud just Villa Fridheimi sisevaadete järgi.
Esimese maailmasõja ja Vabadussõja ajal kasutas hoonet I Eesti polk, Eesti Vabariigi ajal üüriti seal suvitajatele tube. Toona on maja üürinud näiteks sõjaminister (1919–1920) ja poliitik August Hanko, kelle juures suvitasid diplomaat Oskar Kallas ning tema kirjanikust abikaasa Aino Kallas.
1939. aastal, kui baltisakslased Eestist lahkusid, jätsid Gernetid Villa Fridheimi ümberasujate varade realiseerimisega tegelenud Saksa usaldusvalitsusele.
1950. aastatel paigutati majja neuroloogiahaigla, hiljem tegutses seal haigla lasteosakond.
Loe ka Friedheimi villa uueks sündimise lugu.
