El Aarhus GF debe su nombre a unos orígenes que poco tienen que ver con el fútbol: la Aarhus Gymnastikforening, o "Asociación Gimnástica de Aarhus", se fundó el 26 de septiembre de 1880 y sus principales disciplinas eran la gimnasia y la esgrima. La sección de fútbol se creó en 1902, y su primer partido, disputado en noviembre de ese año contra el Aarhus Idrætsklub Olympia, terminó con derrota por 5-2. Los aficionados llaman al club "De Hvide" (Los Blancos) y "Byens Hold" (El Equipo de la Ciudad). En 1908 ganó el campeonato de Jutlandia y en 1927 se incorporó a la recién creada competición liguera de ámbito nacional.
Tras una sola temporada en la segunda categoría (1952/53), el AGF regresó a la élite y en las doce temporadas siguientes conquistó cuatro campeonatos daneses (1955, 1956, 1957, 1960) y cinco Copas de Dinamarca. Esa etapa trajo también las primeras experiencias europeas. En la edición inaugural de la Copa de Europa (1955/56), el AGF cayó en la primera ronda ante el Stade de Reims por 4-2 en el global, con tres goles del francés Léon Glovacki. En 1960/61, como campeón del país, alcanzó los cuartos de final, donde fue eliminado por el eventual campeón, el Benfica. En aquel equipo jugaban Henning Enoksen, Henry From y Hans Christian Nielsen, medallistas de plata en los Juegos Olímpicos de 1960, así como John Amdisen, que entre 1955 y 1965 ganó con el club cuatro títulos y cinco copas.
La segunda etapa de éxitos llegó en los años ochenta. Tras volver a la máxima categoría en 1976, el club permaneció en ella treinta temporadas consecutivas. En 1982 se quedó muy cerca: un empate 2-2 ante el B.93 en la última jornada entregó el título al Odense Boldklub, y en 1984 el AGF perdió el campeonato frente al Vejle Boldklub por un solo punto. En 1986 llegó por fin el quinto título, gracias a jugadores como Flemming Povlsen, Jan Bartram y John Stampe, este último con 444 partidos con el club entre 1977 y 1991. Después llegaron las copas de 1987, 1988 y 1992. En 1988/89 el AGF alcanzó los cuartos de final de la Recopa de Europa, donde cayó por 1-0 en el global ante el futuro campeón, el FC Barcelona.
La temporada más recordada sin título fue la 1995/96. El equipo, con Stig Tøfting y Håvard Flo, lideró la liga durante largos periodos, pero en la jornada 30, con 3-3 ante el Brøndby IF, el portero rival Mogens Krogh marcó de cabeza el empate, recordado como el momento decisivo de aquella carrera. El Brøndby se llevó el título y el AGF fue segundo, aunque venció al mismo rival por 2-0 en la final de la Copa de Dinamarca. La rivalidad con el Brøndby se considera hoy la más importante del club, mientras que el duelo con el Aalborg BK, conocido como la "Batalla de Jutlandia", enfrenta a dos de los clubes más antiguos de la región.
El hogar histórico del AGF fue el estadio de Aarhus, inaugurado el 5 de junio de 1920 en presencia del rey Cristián X y diseñado por Axel Høeg-Hansen. Su récord de asistencia, 23.990 espectadores, se fijó el 23 de octubre de 1962 en una derrota local por 0-4 ante el Esbjerg fB. El recinto fue reformado entre 1999 y 2001, y su demolición comenzó a principios de 2024. Desde febrero de 2025 el AGF juega en el estadio provisional de Vejlby, en el norte de la ciudad. El nuevo estadio, diseñado por Zaha Hadid Architects con el nombre provisional de "Skovens Arena" ("Arena del Bosque"), tendrá capacidad para unos 24.000 espectadores, y su apertura está prevista para 2027.
Tras el año 2000 el club atravesó serios problemas económicos y deportivos. Descendió de la máxima categoría en 2006, 2010 y 2014, y cada vez regresó tras una sola temporada. Desde 2014 el club está dirigido por Jacob Nielsen, y los bronces de 2019/20 y 2022/23 anunciaron una mejoría. En 2025/26, la primera temporada bajo la dirección de Jakob Poulsen, antiguo jugador del club, el AGF terminó primero con 67 puntos (19 victorias, 10 empates y 3 derrotas). El título se selló con una victoria por 0-2 en el campo del Brøndby el 10 de mayo de 2026. Fue el sexto campeonato de su historia y el primero en cuarenta años, y le dio acceso a las rondas previas de la Liga de Campeones.