Az egyik legkorábbi civilizációk egyike a Gallifrey bolygón alakult ki. Ez a korai humanoid társadalom egy morfikus mező segítségével sokkal gyorsabban fejlődött. A morfikus mező elmélete szerint létezik egy láthatatlan struktúra, ami átszövi a világot és ezáltal egységbe kapcsolja az élő és az élettelent, az emberi és állati elmét. Tehát a morfogenetikus mező a metafizikai energia-formák összekapcsolódósából keletkező információs közeg: az adott faj gondolatainak és érzelmeinek összessége. Ez az időtől és tértől független képződmény bizonyos magatartásmintákat ad, és lehetővé teszi többek között a telepátiát. Ennek köszönhetően Gallifrey, az Idő Lordok civilizációjnak bölcsője, egyben minden tudás és filozófia központjává is lett.
Gallifrey egykor azonban csak egy átlagos bolygó volt, ami egy kettőscsillagú teljesen átlagos naprendszerben keringett a Kasterborous csillagképben. Társadalmuk matriarchális berendezésű volt kezdetben, melynek élén a Pythia címet viselői női vezetők álltak, akik meg tudták mondani a jövendőt. Uralmuk alapját a misztikum és a babonák adták. A bolygó lakosai ekkor a Menti Celesti elnevezéssel bíró istencsoportot tisztelték, akik az Ősi Istenek közül valók voltak; ők pedig az Idő, Halál és Fájdalom. 
A Pythiák vezetésével Gallifrey galaktikus hatalommá nőtte ki magát, és belebonyolódott a sontariak és a rutaiak közötti évezredes háborúba. Az utolsó Pythia uralkodásának végső évei a Káosz Idejeként (Time of Chaos) írta be magát a történelembe. A technológia pártját fogók, Rassilon vezetésével hatalomra tettek szert. Amikor a Pyhia elveszítette jövőbelátó képességét, terméketlenséggel átkozta meg Gallifreyt és véget vetett életének. A Pythia rend túlélői a Karn bolygóra menekültek, ahol megalapították Rendjüket.
Omega
A Pythiák bukását követően Omega és Rassilon vált a nép vezetőjévé. Omega a teljes faj életét kockára tette, amikor létrehozott egy szerkezetet, amivel képessé vált a csillagok belső szerkezetének módosítására. A csillag manipulátort nemes egyszerűséggel csak a „Kéz” névvel illették. Omega végül egy közeli csillagot arra kényszerített, hogy novává tömörödve omoljon magába, ezáltal pedig alkosson fekete lyukat. Ezáltal Omega egy olyan ajándékot adott népének, ami ép ésszel fel sem fogható – az erőforrás társadalmukat és technikájukat is forradalmasította, és az egész galaxis jövőjére nézve is hatással volt. Azonban Omega eltűnt a kísérlete során, sokáig úgy vélték, hogy a fekete lyuk áldozatává vált. Azt ezt követő korszakban hősi tiszteletet építettek ki köré, neve legendává vált. Csak jóval később a Harmadik Doktor jött rá az igazságra: Omega túlélte a kísérletét, de egy zsebuniverzum fogságába esett, amit antianyag épít fel. Sokáig próbált átjutni saját világába, hogy bosszút álljon azokon, akik szerinte cserben hagyták őt, de próbálkozásait nem koronázta siker, végül antianyag univerzuma elpusztult.
A Harmónia Szeme a Doktor TARDIS-án
Omega eltűnését követően kutatótársa, Rassilon a sikeres kísérlet eredményeképpen már képes volt a szükséges energia biztosítására, hogy megalkossa az időutazást. Fogságba ejtette a szingularitást a gallifrey-i Capitólium Panoptikuma alá és így jött létre az első
Harmónia Szeme (Eye of Harmony), ami a most megalakult Idő Lordok legfontosabb erőforrásává vált. Lehetővé vált, hogy az időörvényen keresztül képesek legyenek az időutazásra és nemcsak saját létezésüket módosítsák, hanem más fajokét is. Az időutazáshoz TARDIS nevet viselő hajókat építettek, ami az angol Time and Relative Dimension in Space kifejezés rövidítése. Ezzel párhuzamosan az Idő Lordok megalkották a Mátrixot is, ezt a hatalmas hálózatot, vagy mesterséges valóságot, melyet trilliónyi elektrokémiai cellákban raktároztak. Lényegében az összes élő Idő Lordnak az emlékeit és lenyomatait tartalmazza, valamint az elhunytak emlékeit is. Mivel hosszú időn keresztül hatással volt rájuk az időörvény az Idő Lordok fizikai és szellemi képességei megváltoztak: képesek nagyobb – egyébként halálosnak ígérkező – sérülésekből regenerálódni, és ezáltal új fizikai megjelenést kölcsönöznek maguknak, kiépült a telepátiás képességük, ellenállóvá váltak a vákuummal és bizonyos mérgekkel szemben egyaránt.
Rassilon ez idő alatt lefektette az Idő Urak társadalmának alapjait, ami a mai napig érvényben maradt.
A gallifrey-i főváros, és a híres üvegkupolája
Amikor Omega létrehozta az első fekete lyukat a Nagy Vámpírok faja átözönlött a nyíláson egy másik dimenzióból. A Sötét Idők (Dark Times) folyamán a vámpírok elözönlötték a teljes univerzumot. Vadságuk és ellenállásuk miatt nagyon nehéznek bizonyult legyőzni őket, még az Idő Lordok számára is. A hagyományos fegyverek mit sem értek, és ezen a ponton az Idő Lordok még nem rendelkeztek azokkal a fegyverekkel, melyeket később fejlesztettek ki. Amivel végül megnyerték a háborút az az Íjhajó (Bowship) volt, ugyanis a vámpírok egyetlen gyenge pontjának a szívükön ért döfés bizonyult. Mindazonáltal a teljes faj kiirtása hosszú folyamat volt. Végül egy – A Vámpír Király – kivételével az összeset felkutatták és elpusztították.
Minyanok
A véres háború hasznos leckének bizonyult számukra, ugyanis ezt követően az Idő Lordok letértek az erőszakos útról, noha továbbra is beleártották magukat a galaxis ügyeibe. Ekkoriban léptek kapcsolatba a minyan fajjal. Az Idő Lordok fejlett technológiát ajánlottak fel az „újszülött” népnek, arra bíztatva őket, hogy fejlődjenek. Azonban jóindulatuk visszafelé sült el: a minyanok egy szörnyű nukleáris háború során kiírtották magukat. Megrémülve a történtektől, az Idő Lordok elhatározták, hogy soha nem avatkoznak be személyesen az univerzum eseményeibe, csupán otthonukról kísérik a történéseket figyelemmel. Mindehhez hozzájárult, hogy Rassilonnak látomása volt egy Idő Lordok uralta Birodalomról, ahol erejüket használva elnyomják a gyengébb fajokat. Ezen okokból kifolyólag alkotta meg a Be-Nem-Avatkozás Irányelvét. Ezzel együtt létrehozták az Égi Intervenciós Ügynökséget (Celestial Intervention Agancy) is, melynek ügynökei számára lehetővé tették, hogy szélsőséges esetekben beavatkozzanak az eseményekben, legfőképp akkor, ha az az Idő Urak világát fenyegeti.
Rassilon uralma ekkor már halványulni kezdett. Távozásának körülményei mindmáig tisztázatlanok. Egyes beszámolók szerint végelgyengülésben idős kora miatt halt meg, mások úgy vélik, hogy fiatal feltörekvő Idő Lordok mozdították el hivatalából. A harmadik elbeszélés tűnik a legvalószínűbbnek, ugyanis számos részlettel rendelkezik: az Idő Lordok fellázadtak ellene, és bezárták őt a Sötét Toronyba. Borusa elnök úr, a Doktor korábbi mentora, úgy hitte, hogy Rassilon felfedezte a valódi halhatatlanság titkát, ami jóval túlmutat a regenerálódáson. Bármi is legyen az igazság, halálát követően Rassilon holttestét a Sötét Toronyban helyezték el, amit ezt követően Rassilon Sírboltjának neveznek (Tomb of Rassilon).
Sontari harcos
Az Idő Lordok tehát visszatértek csarnokaikba és kultúrájuk lassan stagnálni kezdett, fejlődés helyett a templomok felé fordultak, cselekedni pedig hosszú hezitálást követően cselekedtek, ha egyáltalán cselekedtek. Ez idő alatt más fajok fejletté váltak, így nem meglepő, hogy a sontariak támadást indítottak ellenük. E klónfajt kifejezetten harcra tenyésztették, remek stratégák és brutális katonák. Az ostrom elején, a vardaiak humanoid-engergia népet küldték előre, akik az áruló Idő Lordok segítségével áttörték a védelmi vonalakat: csökkentették a quantum-mezők erejét, és kiiktatták a transzdukciós akadályokat, hogy az előrenyomuló sontarok megindíthassák az ostromot. Legfőbb céljuk a Harmónia Szemének megsemmisítése volt egy bombával, ami a bolygó magjáig rázta volna meg a világot. A Negyedik Doktor azonban egy de-mat fegyverrel nemcsak hogy elpusztította az ellenséges parancsnokot, de teljesen kitörölte az idővonalát a történelemből. Így az invázió megtört.
Az ekkori elnök, Borusa, egy hosszú és virágzó időszakon vezette át Gallifrey-t ezt követően, de idővel hatalomvágya megnőtt. Aktiválta a Sötét Tornyot, hogy megtudja Rassilon titkát a hallhatatlanságról. Ezzel pedig életre keltette a réges-rég betiltott harci játékokat is, melynek keretén belül az Idő Lordok egykor fejletlen fajokat harcoltattak egymás ellen szórakozás gyanánt. Hogy biztosítsa magának a bejutást, Borusa megidézte a Doktor korábbi négy alakját, az Ötödik mellé. Segítségükkel elérte a Sírboltot, de ekkor belesétált Rassilon végső csapdájába, amit az örök élet után kutatók számára állított fel: élő szoborként, mozdulatlanságra ítélve nyerte el a hőn vágyott örök életet.
Az Első, az Ötödik, a Negyedik, a Harmadik és a Második Doktor