Podigli su ga vitezovi templari, koji su iz ove tvrđave upravljali svojom golemom redovničkom državom, koja se prostirala sve do obala rijeke Drave. Grad „čerlenih fratrov“ imao je pružiti zaštitu i utočište hodočasnicima u Svetu zemlju, pa je prema staroj legendi ovdje odsjeo i engleski kralj Richard Lavljeg Srca, na povratku iz Treće križarske vojne.
Templari su u naše krajeve stigli početkom 12. stoljeća, a moguće je da su već 1165. godine obavljali svoju redovničku službu u Beli.
Stoga bi i legenda o Richardu Lavljeg Srca, koji je utočište pronašao kod vitezova templara u Beli, mogla imati povijesno utemeljenje. Vračajući se iz Svete zemlje, nakon što je u jesen 1191. godine sklopio mir sa Saladinom, legendarni je kralj i ratnik doživio brodolom kod otočića Lokruma, pa je povratak u Englesku nastavio kopnom.
Povijesni izvori govore kako je slavni kralj u svoju domovinu putovao inkognito, prerušen u skromnog trgovca, u pratnji samo četvorice najodanijih suboraca.Sasvim je vjerojatno da je na putu prema Beču, gdje ga je oko Božića 1192. godine, zarobio austrijski vojvoda Leopold, prolazio upravo ovim krajevima. Moguće je stoga i da je predah od napornog i opasnog puta pronašao upravo kod templara u Beli.
Nakon što se francuski kralj Filip IV. Lijepi 1307. godine krvavo obračunao s templarskim redovnicima, papa Klement V. je 1312. godine ukinuo templarski red pod optužbom za herezu i bogohulna djela, pa su templarski posjedi u našim krajevima prešli u vlasništvo ivanovaca.
Tako se u povelji iz 1275. godine grad Bela prvi puta navodi kao „sjedište ivanovaca koje je imalo svog poglavara“. Stara templarska utvrda napuštena je 1653. godine, pa je u narodu dobila ime Pusta Bela, no, iako je drevna gradina već stoljećima tek ruševina, njeni ostaci i danas čuvaju uspomenu na slavnog kralja i ratnika Richarda Lavljeg Srca.