Istnieje kilka legend o powstaniu Jeleniej Góry. Jedna z nich wiąże początki miasta ze wzgórzem oraz z postacią księcia Bolesława Krzywoustego. Według niej książe, polując w tutejszych lasach, ujrzał na szczycie wzgórza pięknego jelenia. Urzeczony urodą zwierzęcia oraz pięknem okolicy postanowił założyć tu gród obronny, będący zalążkiem późniejszej osady.

Podobnie legendarne są początki oraz historia istniejącego w tym miejscu zamku. Pierwsze wzmianki na jego temat pojawiają się w XIII wieku. Prawdopodobnie był on kilkakrotnie przebudowywany przez piastowskich władców, a następnie przechodził w ręce kolejnych śląskich rodów szlacheckich. Źródła historyczne wspominają, że w XV wieku skutecznie oparł się oblężeniu przez Husytów, ale już w 1433 roku został rozebrany. 

Na przełomie XVIII i XIX wieku wzgórze, zwane wówczas „Hausberg” (Domowa Góra) i ruiny zamku stały się popularnym celem wycieczek mieszkańców miasta i przybywających do niego turystów. Na szczycie powstała gospoda, a w 1911 roku uroczyście otwarto wieżę widokową, zwaną „cesarską” („Kaiserturm”) na cześć Cesarza Wilhelma I. Wzgórze cieszyło się niesłabnącą popularnością do czasów II wojny światowej. Po wojnie wieża przechodziła różne koleje losu. Obecnie, dzięki przeprowadzonemu remontowi, ponownie stała się atrakcyjnym celem wycieczek.Stąd wiedzie ścieżka dydaktyczna "Perła Zachodu" w Borowym Jarze

Wieża czynna codziennie od godz 08:00-20:00