Hrad Rabí se v písemných pramenech objevuje poprvé v r. 1380 jako majetek Půty ze Skály z rodu pánů z Rýzmberka. Názory na dobu jeho založení i chronologický postup výstavby se různí. Pravděpodobně byl založen počátkem 14. stol. pány z Velhartic a ve druhé polovině 14. stol. ho získali páni z Rýzmberka. Jako staveniště bylo vybráno výrazné vápencové návrší nad řekou Otavou.
Hradní jádro tvořil rozměrný donjon (tj. obytná věž resp. věžovitý palác) o rozměrech 18,2 x 12,15 m a tloušťkou zdiva 2,3 m, dendrochronologicky datovaný do poloviny 14. stol., který byl obklopen poměrně těsným oválem hradební zdi silné asi 2 m a vysoké až 12 m. Na severní straně vystupovala z této hradby lichoběžníková věž, ze které byl později zbudován přístup po můstku do druhého patra donjonu. Patu donjonu obíhá úzký parkán ohraničený tenkou a nízkou zdí s cimbuřím a výrazným skarpem, jejíž stáří a smysl není zřejmý. Na severovýchodní straně přiléhalo k jádru poměrně velké předhradí s hospodářskými budovami a studnou. Na přelomu 14. a 15. století za Břeňka ze Skály a Švihova byl hrad rozšířen severním směrem o další předhradí se dvěma hranolovými věžemi v nárožích, spojenými hradební zdí, před kterou byl vysekán příkop.
Tento model představuje pravděpodobnou podobu hradu v období první války husitské, tj. husitské revoluce:
Hrad byl postaven velice důkladně a jeho mohutný donjon, vysoké hradby a věže mu zjevně přinesly na počátku husitských válek pověst tvrdé pevnosti. Ta ale vzala zasvé již v letech 1420-21, kdy se zde udály věci opravdu hodně dramatické, ze kterých vidíme, že nejen kvalitní stavební provedení fortifikace je důležité pro její úspěšnou obranu.
Katolická pevnost, jejíž majitel Jan Rabský z Rýzmberka tvrdě vystupoval proti husitům, se stala útočištěm několika mnichů a kněží (nejspíše z Nezamyslického kláštera) a rovněž sem bylo uloženo velké množství cenností, světských i církevních pokladů. Koncem dubna 1420 po vypálení kláštera v Milevsku, dobytí Prachatic a spálení kláštera v Nepomuku přitáhlo k hradu vojsko Jana Žižky. Motivace hradní posádky pro obranu hradu zjevně nebyla velká a tak se nejspíše vzdala bez boje a je možné, že se i částečně přidala k husitům.
Takovéto chování obránců bylo velice časté, a tak je dnes těžké zhodnotit skutečné vojenské kvality té které fortifikace.
Vavřinec z Březové ve své Husitské kronice popisuje Žižkovo dobývání Rábí roku 1420 takto:
"... vypálili klášter v Nepomuku a dobyli přepevného hradu Rabí, v kterém bylo pro bezpečnost od duchovních i světských ze sousedství uloženo mnoho majetku takřka neodhadnutelného na klenotech ze zlata, stříbra a drahých kamenů, na drahocenných rouchách a zbraních. A to všechno – toliko s výjimkou ukořistěných peněz, zbraní a koní – vynesli z hradu, nakladli na jednu hromadu a spálili a rovněž tam před hradem upálili sedm mnichů a kněží, které ve svrchu jmenovaném hradě zastihli. Zajali i mladé syny pána toho hradu Jana řečeného Krk a ty si vzal pod svou péči hejtman Žižka, který byl nadmíru odvážný a statečný. Jeho řízením se hotovilo všechno vojsko a za ním šli všichni sedláci, třebas beze zbroje, jenom s cepy, palicemi, samostříly a sudlicemi a velmi ochotně ho poslouchali. Potom ten hrad zpustošili a spálili. A hlavní příčinou všech těch zlých skutků byli, jak se obáváme, táborští kněží, kteří chodili v čele s tělem Kristovým a ve svých kázáních naváděli lid k takovým činům."Starý letopisec píše v rukopise Křižovnickém:
"Téhož léta předtiem málo zlezli Rabí hrad, a pobravše zbožie i zapálili hrad a kněží spálili; i brali se preč, neosadivše hradu, neb na něm nesměli ostati."… a z vratislavského rukopisu:
"Předtím prvé dobyli toho hradu velmi lehce, i nesměli na něm ostati; než vypálivše jej, i šli s něho, spálivše do desieti kněží. Tak sú je víře naučili, čertovy divy pášiec!"Hrad Rabí byl tedy koncem dubna 1420 obsazen a vydrancován husity. Ti zde ale nezůstali a objekt znehodnotili tím, že ho zapálili. Jan Rabský nechal vypálený hrad opravit a vložil do něj posádku, tzn. i zásoby vojenského materiálu, potravin a zbraní. Když k němu přitáhlo Žižkovo vojsko podruhé v roce 1421, byl hrad do určité míry obranyschopný a odmítl husitům otevřít bránu. Stalo se tak pravděpodobně na začátku června, ale přesný termín druhého obléhání není znám a údaje se pohybují od února do července 1421 (??).
Tady jenom můžeme spekulovat, jak hodně byl hrad poškozen požárem v dubnu 1420 a zda byl během krátké doby opraven do stavu, který umožňoval plnohodnotnou obranu a nebo se jednalo o nerozvážnost obránců, kteří snad na příkaz majitele hodlali hrad bránit navzdory jeho poškození. Kdo ví? Každopádně zde Jan Žižka přišel o své druhé oko, snad přičiněním jistého Příbíka Kočovského či Kocovského a šipky z jeho samostřílu a nebo koulí z houfnice, která trefila hrušeň a odštípla z ní osudnou třísku (jak píše Václav Hájek z Libočan):
"První pátek v postě Žižka svým Táborům kázal se u hradu Rabí položiti a hned nazejtří ráno, když slunce vycházeti počalo, pilně k němu šturmovati rozkázal. A sám Žižka svým bojovníkům chtěl se stoje za stromem hruškovým podívati, vtom někdo náhodou s zámku z houfnice střelil a v tu hrušku uhodil tak, až se na všechny strany třísky rozskočily, a jedna tříska Jana Žižku v druhé zdravé oko uhodila, kterýž od toho ourazu druhé oko ztratil, však proto obou očí zbaven jsa, ve přílišné ukrutnosti páchati nepřestal. A snad tak Pán Bůh míti ráčil, aby slepému lidu slepým vůdcem byl."… a starý letopisec:
"V ty časy Žižka byl oblehl hrad Rabie a tu ztratil druhé oko zástřelem, neb mu je s hradu někdo vystřelil u šturmu, i byl slep na obě oči. Předtiem byli dobyli toho hradu velmi lehce, i nesměli na něm zostati, než vypálivše jej, ušli s něho, spálivše do deseti kněží."Romantický obraz od Věnceslava Černého zachycuje Žižku před Rabím a onu osudnou hrušku:
Hrad byl následně dobyt nebo vydán (těžko říci) a husité zde zajali Menharta z Hradce a způsobili velké škody na okolních panstvích. Jan Rabský nechal hrad opravit a ten byl zřejmě opět obranyschopný ještě v průběhu husitské revoluce.
V roce 1450 panství zdědil Vilém mladší Švihovský z Rýzmberka na Rabí. Zemřel v roce 1479 nebo 1480 a statek po něm převzal Půta Švihovský z Rýzmberka.
), nicméně rozměry průstřelnic i kapsy po masivních trámech pro zapření zbraně nabízí představu těžších hradebnic, než byly obvyklé tuplháky. 
