
Tvrz byla obklopena příkopem s
vodou a její značné rozměry vedly k tomu, že byla někdy označována i jako hrad. Do dnešní
doby se z ní dochovala mohutná věž, do které se vstupovalo ve výši prvního patra dodnes
existujícím hrotitým portálem a odtud do úzké chodby, z níž vedly vchody do obytných
místností. Podobně bylo původně rozděleno i přízemí. Dnešní dolní vchod byl proražen až
později. Reprezentační obytné místnosti tvrze byly v dalších dvou patrech a na severní straně
obrácené do nádvoří měly velká obdélná okna, kdežto na jižní straně byla pouze úzká okénka
a v druhém patře dva prevéty. Čtvrté patro tvořil jediný velký sál. Ve výši tohoto patra byl
patrně dřevěný ochoz, do něhož vedly dveře na všech stranách tvrze (na severní a jižní po
dvou, na zbývajících po jedněch). V této podobě se také tvrz dochovala.
Potomci Viléma z Čachrova drželi tvrz a statek ještě roku 1446. Později byl čachrovský statek připojen k velhartickému panství Děpolta z Rýzmberka a tvrz, která přestala sloužit jako trvalé sídlo majitele, byla opuštěna a zpustla. Po roce 1541, při rozpadu velhartického panství pánů z Rožmitálu, se stal Čachrov opět samostatným statkem, který připadl Janu Rendlovi z Úšavy. Roce 1555 se o tvrzi píše jako o staré a v roce 1568 dokonce jako o pusté. Obnovil ji až Jan Bohuchval z Hrádku, který čachrovský statek koupil roku 1566 od dcer Jana Rendla z Úšavy. V druhé polovině 18. století byla budova staré tvrze změněna v sýpku, která však vnější původní podobu tvrze nezměnila. Roku 1976 je obnovena původní valbová střechu, pokrytou dosud šindelem.
Zámek se poprvé připomíná roku 1612, kdy čachrovský statek koupila Viktorinova manželka Kateřina ze Šlovic.
Od roku 1715 drželi statek Fruveinové z Podolí, kteří přestavěli renesanční zámek na pohodlné
barokní sídlo, uváděné poprvé po roce 1740. Od roku 1779 byli majiteli statku Horové z
Ocelovic, roku 1792 Václav Kordík, jehož potomci ho drželi až do roku 1894. Tito majitelé
přestavěli roku 1878 barokní zámek v tehdy oblíbeném pseudogotickém slohu. Přestavba zcela
setřela barokní ráz zámku. Tehdy byl také zrušen původní vodní příkop. Roku 1894 koupil
statek Čachrov Bedřich Brabec, ve 30. letech 20. století byl jeho majitelem Karel Faltys. Za
něho zámek roku 1933 vyhořel a nebyl již obnoven. Zámek zcela zmizel stržením zdiva roku
1973.