Oppidum celte et place gallo-romaine de commerce, bastide royale fondée en 1271 par Philippe III fils du roi Saint Louis. Guerre des Albigeois 1212 à la suite de laquelle le vainqueur des
Albigeois, Amaury de Montfort, donne à l'évêqued’Agen la maison de l'Abescat. Guerre de Cent Ans, guerres de religions, la ville changea souvent de mains.
Les protestants rasent l'église catholique en 1580 puis celle-ci est remplacée par l'Abescat. Le couvent des récollets est bâti au XVIIe siècle sur les ruines de l'ancien château de Tournon, afin
de faire revivre la religion catholique après le départ des protestants.
Au cours de la période de la Convention nationale (1792-1795), la commune porta le nom révolutionnaire de Tournon-la-Montagne.
Le 3 juillet 1944, 1 500 hommes de la Panzergrenadier division das Gespenst venant de Cahors et se dirigeant vers Villeneuve-sur-Lot, fait feu sur les quelques maquisards, non armés, présent,
place du Foirail. Les opérations de représailles contre les résistants et la population civile durèrent 6 heures, durant lesquelles 9 personnes furent, torturées tuées par les Allemands et de
nombreuses maisons furent pillées, mises à sac et quelques unes incendiées. Cet évènement est connu sous le nom de sac de Tournon-d'Agenais.
De son riche passé subsistent plusieurs témoignages architecturaux comme :
- le beffroi et son horloge lunaire
- la Maison du XIIIème
- l'église Saint André de Carabaysses (ou église de Lamothe)
- la salle de l'Abescat
- son tour de ville
Tournon d'Agenais est située sur une colline qui domine les vallées du Boudouyssou et de du Camp Beau, ainsi que les routes (route nationale 661 et route nationale 656). C'est une commune de
l'Agenais en Quercy blanc, limitrophe avec le département de Tarn-et-Garonne. Elle appartient à la circonscription de Villeneuve/Lot et depuis 2011, elle est membre de Fumel communauté.