Papėdėje buvo LDK kunigaikščio Vytauto Didžiojo rezidencija, dabar – atstatyti Valdovų rūmai. Iš pagarbos Vilniaus įkūrėjui LDK kunigaikščiui Gediminui pilis pavadinta jo vardu.
Manoma, kad pilį statė pats Gediminas dar viešpataujant tėvui Vyteniui (kunigaikštis Vytenis mirė 1315 m.). Būdamas suaugęs, Gediminas rūpinosi krašto reikalais, ne tik gynė, bet ir galėjo valdyti visą rytinę Lietuvą su Vilniumi ir ją nuo kryžiuočių saugoti, o svarbesnėse strateginėse vietose – ir statyti pilis, nes Gediminas po tėvo mirties. tapo didžiuoju Lietuvos kunigaikščiu. Gediminas medžiodamas apsilankęs garsioje didžiųjų kunigaikščių palaikų deginimo vietoje, vadinamoje Šventaragio slėniu, pastebėjo kalną, ant kurio stovi paprasta pilis, pastatyta Perkūno šventyklai ginti, ir kuri gali būti tinkamiausia vieta viso krašto tvirtovei pastatyti.
Yra ir realistiškesnė Vilniaus padavimo versija: esą šiame kalne Gediminas sumedžiojo (paaukojo) taurą, kurio oda ir auksu apkaustyti ragai dar ilgai buvo saugomi valstybės ižde. Vėliau vieną ragų, ruošdamasis karūnuotis, didysis kunigaikštis Vytautas 1429 m. Lucko suvažiavime padovanojo Romos imperatoriui Zigmantui.
1419 m. kilus gaisrui medinė pilis sudegė. Atstatymui naudotos jau tvirtesnės medžiagos – neskaldyti akmenys ir plytos. Jiems surišti naudotas kalkių skiedinys. Naujoji pilis buvo gotikinio stiliaus, mūrinė, su trimis bokštais, reprezentaciniais rūmais ir ūkiniais pastatais. Vakarinis, iki pat mūsų laikų išlikęs bokštas buvęs keturių aukštų. Pilį supo gynybinės sienos su šaudymo angomis. XVII a. Aukštutinė pilis buvo apleista, joje įrengtas bajorų kalėjimas. Per XVII–XVIII a. karus su Rusija pilis smarkiai apgriauta ir daugiau neatstatyta.
Atsiliepimai