Первый раз Тракай упоминается в немецких летописях в 1337 г.,эта дата и считается официальной датой создания города. Когда князь Гедиминас окончательно утвердился в Вильнюсе, Тракай перешёл к его сыну - князю Кестутису. Здесь в 1350 г. родился один из величайших владык - Витаутас Великий.
Во времена князя Кестутиса интенсивно строятся замки Нового Тракай: один на полудужие озёр Гальве и Лукос, другой - на острове озера Гальве. Вокруг замков начали селиться ремеслиники и трудовой люд. Подходы к Тракай охраняют городища Старого Тракай, Стревы, Бражуолес. Когда князь Витаутас стал политическим и административным владыкой Великого Литовского княжества, Тракай стал политическим и административным центром. Было закончено строительство замков, построен костёл. Тракай знаменит тем, что его создавали и украшали люди разных национальностей. В Тракай живут караимы, татары, литовцы, русские, поляки.
В начале XI в. князь Витаутас предоставил Тракай так называемые магдебургские права (самоуправление).