Jeho jméno pochází z německého slova Baiereck, což je možno vyložit jako hrad postavený na bavorských hranicích. Německá lidová pověst vysvětluje jeho jméno tak, že ho postavil jakýsi bavorský rytíř, jehož jméno lid neznal, a proto hrad nazval "Bayer in der Eck", to je "Bavor v Koutě".
Roku 1360 se dle něho psal Něpr z Pajreku, řečený z Janovic. V držení tohoto rodu byl hrad do roku 1512. V polovině 15. století se stává držitelem hradu krajský hejtman Racek z Janovic, stoupenec krále Jiřího z Poděbrad. Roku 1467 vtrhlo bavorské křižácké vojsko do Čech a 22. září v bitvě nedaleko Bystřice nad Úhlavou bylo poraženo královským vojskem, vedeným snad Rackem z Janovic. V roce 1472, již po Rackově smrti, vtrhli Bavoři opět do Čech, Pajrek dobyli a vypálili.
Roku 1504 se hrad uvádí jako pustý. Hrad opravil až Jindřich Kostomlatský z Vřeskovic,
který Pajrecký statek koupil v roce 1512. Loupeživý rytíř byl později jako zemský škůdce
zajat a roku 1520 na Pražském hradě sťat. Při častých výměnách majitelů hrad rychle pustl a
od poloviny 16. století opuštěn trvale. Zachovalo se pouze několik trosek obytného stavení,
věže a příkop.
Celý hrad nese obranný charakter. Čtvercová věž měla obrannou i obytnou funkci, na východě
se k ní přidružovala samostatná věž. Na zdech je možno spatřit otvory po trámoví a v prvním
poschodí uzoučký vchod pro jednotlivce. K němu vedlo dřevěné schodiště z nástupní skály.
Hlavní věž spojoval padací můstek s menší věží, jež sloužila pro vstup na ochoz a zásobování
vodou. Ta se získávala z nádrže pod skálou.
Opevnění využívalo skalnatého terénu, v němž jsou vytesány obranné příkopy. Na východní a severní straně, kde chyběly přirozené srázy, následovala ještě hradba s baštou. Odtud vedl i příchod do hradu úzkou šíjí, chráněný dvěma hlubokými skalními příkopy.