Ani ist seit dem 5. Jahrhundert als armenische Festung nachweisbar. Im 10. Jahrhundert entwickelte es sich zu einer bedeutenden Stadt. König Aschot III. Bagratuni (951-977) machte Ani im Jahre 961 zur Hauptstadt seines armenischen Königreiches.
Als die Stadt 1045 den Byzantinern übergeben wurde, war die an der nördlichen Seidenstraße gelegene Stadt weithin als „Stadt der 1001 Kirchen“ bekannt und zählte mehr als 100.000 Einwohner.
Bei der größten Kirche handelte es sich um die zwischen 989 und 1001 durch den Architekten Trdat für den nach Ani übergesiedelten armenischen Patriarchen erbaute Kathedrale von Ani.

1064 wurde Ani von den türkischen Seldschuken erobert, wodurch es unter islamische Herrschaft geriet. Ende des 12. Jahrhunderts fiel die Stadt an das christliche Königreich Georgien. Die Georgier setzten in Ani die armenischen Zakariden als Vasallen ein, unter denen die Stadt eine letzte kurze Blütezeit erlebte. Eine Belagerung durch die Mongolen konnte 1226 zurückgeschlagen werden.
1239 fiel Ani jedoch in mongolische Hände und große Teile der Bevölkerung wurden getötet. Im Jahre 1319 wurde das Schicksal der Stadt von einem Erdbeben besiegelt, woraufhin die Bevölkerungszahl ab dem 14. Jahrhundert langsam aber stetig sank. Nach 1534 war Ani Teil des Osmanischen Reiches und lag zwischen 1878 und 1917 auf dem Gebiet des Russischen Reiches.
1892/93 und 1904–1917 fanden unter der Leitung des russischen Orientalisten Nikolai Jakowlewitsch Marr die ersten ausführlichen archäologischen Grabungen in Ani statt. Im April 1918 wurden rund 6000 bewegliche archäologische Objekte von Ani nach Jerewan gebracht, um sie vor der vorrückenden osmanischen Armee in Sicherheit zu bringen.
Mit der Kapitulation des Osmanischen Reichs im Oktober 1918 fiel Ani unter die Kontrolle des neugegründeten Staats Armenien. Nach dem Türkisch-Armenischen Krieg von 1920 gelangte Ani an die Türkei.

Ani ist heute eine Geisterstadt und vor allem für die noch erhaltenen Zeugnisse armenischer Architektur bekannt. Die einzigen „Bewohner“ sind türkische Grenzsoldaten, vereinzelte Touristen und Anwohner des benachbarten türkischen Dorfes Ocakli.
Bedroht von „Restaurierungsarbeiten“, Kulturvandalismus, Erdbeben und in jüngerer Vergangenheit auch durch Bodenerschütterungen (ausgelöst durch Sprengungen in einem Steinbruch auf armenischem Gebiet), steht die Zukunft dieses Kulturdenkmals in Frage.

Mehr oder weniger erhalten sind Teile der doppelt ausgelegten Stadtmauer, die Kathedrale (vollendet im Jahre 1001 oder 1010), einige Kirchen und Kapellen, die Zitadelle und ein Palast, der Ende des 20. Jahrhunderts einem „Wiederaufbau“ zum Opfer fiel.

Die Erlöserkirche (heute ein hohles Halbrund)

In der Vergangenheit war der Zugang zur Stadt teilweise nur mit Genehmigung möglich, da das Areal lange Zeit militärisches Sperrgebiet war. Es galt wegen der Lage direkt an der Grenze zu Armenien teilweise Fotografierverbot, und einige Teile des Areales waren für Zivilpersonen nicht zugänglich. Im Zuge der touristischen Erschließung wurden die größten Teile der Stadt frei zugänglich gemacht. Lediglich die Zitadelle (türk. Iç Kale) und der unmittelbare Grenzstreifen sind noch immer militärisches Sperrgebiet und dürfen nicht betreten werden. Dem architektonischen „Stil von Ani“ des 11. Jahrhunderts werden mehrere ehemalige Klöster um Ani und in der armenischen Provinz Schirak stilistisch zugerechnet, darunter Chtsgonk, Marmaschen und Horomos. Ab 2012 stand Ani auf der Tentativliste zur Aufnahme als UNESCO-Welterbe.

2016 wurde die Stadt zum Weltkulturerbe erklärt.