Harran wird bereits auf den im syrischen Mari gefundenen Keilschrifttafeln vom Anfang des Jahres 2000 v. Chr. erwähnt. In hethitischen Inschriften aus der Mitte des 20. Jahrhunderts v. Chr. ist zu lesen, dass bei der Verhandlung zwischen Hethitern und Mitanniern der Mondgott Sin von Harran und der Sonnengott Zeuge waren. Will man dem alten Testament Glauben schenken, wohnte Abraham in Harran und sein Vater starb hier. Zusammen mit seinem Vater Terach war er aus Ur in Chaldäa (dem Süden des heutigen Irak) nach Harran gewandert.

Viel ist von der einstmals stolzen Stadt nicht mehr zu sehen. Was wir sehen, sind die Reste einer großen Omayadenmoschee, wie sie noch heute in Aleppo und Damaskus zu finden sind und der ersten islamischen Universität. Das auf dem Fotos sichtbare Tor soll beide Komplexe verbunden haben. Der Steinbruch von Harran und die Han al-Ba'rur Karawanserei sind ebenfalls noch erwähnenswert.

Der Ort, am Nordrand der fruchtbaren mesopotamischen Ebene gelegen, war schon im 3. Jahrtausend v. Chr. besiedelt. Harran fungierte spätestens seit der altbabylonischen Zeit als Reise- und Handelsstation zwischen Karkemisch am Euphrat und Ninive am Tigris.
Gegen Ende des 14. Jahrhunderts v. Chr. wurde Harran von den Hethitern unter Šuppiluliuma I. zerstört. Danach kam die Region unter die Kontrolle der Assyrer. Salmanassar III. erneuerte um 850 den Tempel des Mondgottes Sin, und die Stadt wurde zu einem wichtigen Zentrum des Assyrischen Reiches. Unter Aššur-uballiṭ II. war Harran die letzte Residenzstadt der Assyrer, bevor sie 610 v. Chr. von den verbündeten Medern und Babyloniern unter Nabopolassar besetzt wurde.
Die Mutter des letzten babylonischen Königs Nabonid (555–539 v. Chr.) war eine Priesterin des Mondkultes in Harran. Nabonid selbst ließ das Mondheiligtum Ehulhul 542 v. Chr. als Zikkurat neu errichten und versuchte offenbar zudem, Sin zum neuen Hauptgott seines Reiches zu machen.
Dies führte zum Konflikt mit den Priestern Babylons und trug so zum Ende seiner Herrschaft bei.

Die Römer nannten den Ort Carrhae. Besondere Berühmtheit erlangte er im Jahr 53 v. Chr., als der römische Triumvir Crassus in der Schlacht bei Carrhae zusammen mit über 25.000 römischen Soldaten den Tod im Kampf mit den Parthern fand. Plutarch berichtet eingehend über diese Schlacht, die eine der schwersten Niederlagen der römischen Geschichte darstellte.

Unter Kaiser Septimius Severus wurde der Ort am Ende des 2. Jahrhunderts n. Chr. Teil des Imperium Romanum.
Sein Sohn, Kaiser Caracalla, wurde 217 auf dem Weg zum Heiligtum ermordet.
Im Jahre 260 n. Chr. fand in der Nähe von Carrhae eine gewaltige Schlacht zwischen dem Perserkönig Schapur I. und dem römischen Kaiser Valerian statt, bei der Letzterer geschlagen und gefangen genommen wurde. Der palmyrenische König Odaenathus eroberte die Stadt im Jahre 264 von den Persern.
Als das Reich von Palmyra wenige Jahre später von Kaiser Aurelian zerschlagen wurde, fiel Carrhae wieder an das Römische Reich.

Anders als das benachbarte Edessa, das sehr früh zu einem Zentrum des Christentums wurde, blieb Carrhae in der Spätantike sehr lange Zeit ein Hort der alten Religion. Tatsächlich verehrten dort die römischen Kaiser noch bis ins 4. Jahrhundert die Mondgöttin Selene, als letzter Julian.

Nach der Eroberung von Edessa durch die Byzantiner legten die Fatimiden unter Kalif Az-Zahir 1032 in Harran eine Festung an, unter deren Mauern das altbabylonische Mondheiligtum Ehulhul verschwand.

Im Laufe des Ersten Kreuzzuges eroberten die Kreuzfahrer Harran, erlitten 1104 jedoch in der Schlacht von Harran ihre erste entscheidende Niederlage gegen die Seldschuken. 1187 besserte Sultan Saladin die Moschee in Harran aus. 1260 zerstörten die Mongolen die Moschee und wohl auch den letzten Tempel der Sabier in Harran, das niedergebrannt wurde und seine alte Bedeutung nie wieder erreichte. Erhalten blieben die Ende des 12. Jahrhunderts verstärkten Mauern der Zitadelle.