Атлетико Мадрид е основан на 26 април 1903 г. под името Athletic Club de Madrid от трима баски студенти, живеещи в Мадрид. През 1928 г. отборът е поканен да се присъедини към Примера Дивисион. След 2 сезона обаче Атлетико изпада в Сегунда Дивисион.
Започването на Гражданската война в Испания отменя за определен период футболната дейност на клубовете. През 1939 г., когато първенството е възстановено, Атлетико е изгубил 8 играчи във войната.
Тимът получава място в Примера Дивисион през сезон 1939/40 като заместник на Овиедо, чийто стадион е разрушен във войната. През този сезон отборът печели първата си титла в шампионата на Испания. Шест години по-късно побеждават Реал Мадрид с 5, което до ден днешен е най-голямата им победа над градския съперник.
Под ръководството на Еленио Ерера Атлетико печели титлата в Примера Дивисион през 1950 и 1951 г. Най-добрите години за Атлетико съвпадат с тези на градския съперник Реал Мадрид. Между 1961 и 1980 г. Реал Мадрид доминират в Испания, като печелят шампионата 14 пъти. През това време единствената заплаха идваща от страна на Атлетико е спечелването на титлата през 1966, 1970,1973 и 1977 г.
През 1973 г. Атлетико подписва с аржентинския треньор Хуан Карлос Лоренцо. Под негово ръководство отборът печели Примера Дивисион и достига до финал за КЕШ през сезон 1973/74, който губи от Байерн Мюнхен.
Скоро след тази загуба като треньор на клуба пристига Луис Арагонес, с който Атлетико печели Купата на Краля през 1976 г. и Примера Дивисионпрез 1977 г. Под ръководството на Арагонес отборът печели Купата на Краля и Суперкупата на Испания през 1985 г.
През 1987 г. президент на клуба става Хесус Хил. Новият президент си спечелва репутацията на безкомпромисен ръководител – той наема и уволнява много треньори, за да постигне целите на отбора, който не е печелил титлата в Испания повече от 10 години.
През сезон 1995/96, под ръководството на Радомир Антич - заветната цел най-после е постигната, като отборът печели дубъл – титлата в Примера Дивисион и Купата на Краля.
Преди смъртта на Хесус Хил през 2004 г., за президент е избран Енрике Сересо. Той привлича в отбора играчи като португалците Коштиня и Маниш и аржентинецът Серхио Агуеро. Въпреки многото пари за трансфери обаче, отборът не успява да спечели голям трофей.
През сезон 2009/10 Атлетико стига до първа купа от 15 години насам, завоювайки лелеян евротрофей. "Рохибланкос" са първият отбор, който вдига купата от Лига Европа, надвивайки след продължения английския Фулъм.
Успехи
Примера Дивисион : (10) 1939/40, 1940/41, 1949/50, 1950/51, 1965/66, 1969/70, 1972/73, 1976/77, 1995/96, 2013/14
Вицешампион : (8) 1943/44, 1957/58, 1960/61, 1962/63, 1964/65, 1973/74, 1984/85, 1990/91
Носител на Купата на Краля : (10) 1959/60, 1960/61, 1964/65, 1971/72, 1975/76, 1984/85, 1990/91, 1991/92, 1995/96, 2012/13
Финалист за Купата на Краля: (9) 1920/21, 1925/26, 1955/56, 1963/64, 1974/75, 1986-/87, 1998/99, 1999/00, 2009/2010
Носител на Суперкупата на Испания: (2) 1985, 2014
Финалист за Шампионската лига : (3) 1973/74, 2013/14, 2015/16
Носител на Междуконтиненталната купа : (1) 1974
Носител на КНК: (1) 1961/62
Финалист за КНК : (2) 1962/63, 1985/86
Носител на Лига Европа : (2) 2009/2010, 2011/2012
Носител на Суперкупата на Европа : (2) 2010, 2012
Състав за сезон 2016-17:
1 В Мигел Анхел Моя
2 З Диего Годин
3 З Филипе Луиш
5 Х Тиаго Мендеш
6 Х Коке
7 Н Антоан Гризман
8 П Саул Нигес
9 Н Фернандо Торес (под наем от Милан)
10 Х Яник Ферейра Караско
11 Н Анхел Кореа
12 Х Аугусто Фернандес
13 В Ян Облак
14 Х Габи (капитан)
15 З Стефан Савич
16 З Шиме Върсалко
17 Х Алесио Черчи
19 З Лукас Ернандес
20 З Хуанфран
21 Н Кевин Гамейро
22 Х Томас Парти
23 Х Николас Гайтан
24 З Хосе Хименес
25 В Андре Морейра