El nombre Sheffield Wednesday es único en el fútbol inglés. El club se formó en 1867 como rama futbolística del The Wednesday Cricket Club, fundado en 1820. El nombre alude al día de la semana en que se jugaban los partidos. Hasta 1929 el equipo se llamó The Wednesday, y solo entonces adoptó su nombre actual. Sus colores son el azul y el blanco, y el apodo «The Owls», «los búhos», está ligado al barrio de Owlerton, donde se levanta el estadio.
El club disputó su primer partido oficial el 1 de febrero de 1868 en la Cromwell Cup. Acabó ganando el torneo al vencer en la final al Garrick tras la prórroga, con un único gol marcado con la luz agonizante en Bramall Lane. Desde 1899 juega todos sus partidos como local en Hillsborough, en Owlerton, un estadio con capacidad para cerca de 40.000 espectadores. El nombre del estadio queda también ligado para siempre a la tragedia de 1989, cuando murieron 96 aficionados del Liverpool durante una semifinal de la FA Cup.
La primera edad de oro llegó a caballo entre los siglos XIX y XX. En 1896 el The Wednesday ganó la FA Cup al vencer al Wolverhampton Wanderers por 2-1 en la final de Crystal Palace, convirtiéndose en el primer club de Yorkshire en lograrlo. El capitán de aquel equipo era Jack Earp. En la primera década del siglo XX fue campeón de Inglaterra en 1902-03 y 1903-04, y en 1907 volvió a ganar la FA Cup, al derrotar al Everton por 2-1. En 1902-03 terminó solo un punto por delante del Aston Villa y del Sunderland.
Una segunda serie de títulos comenzó con 1928-29 y 1929-30, y se coronó con una tercera FA Cup en 1935. En total, el Sheffield Wednesday cuenta con cuatro ligas (1902-03, 1903-04, 1928-29, 1929-30), tres FA Cup (1896, 1907, 1935), una Copa de la Liga (1991) y una Charity Shield. En 1966 el club alcanzó su quinta final de la FA Cup, pero perdió 3-2 ante el Everton, tras ir ganando 2-0.
En Europa llegó más lejos en 1961-62, en la Copa de Ferias. En la primera ronda eliminó al Olympique de Lyon por 7-6 en el global, tras perder 4-2 fuera y ganar 5-2 en casa. Después venció a la AS Roma por 4-1 en el global, y cayó en cuartos de final ante el FC Barcelona por 3-4: tras ganar 3-2 en Hillsborough, perdió 0-2 en el Camp Nou. El club ha participado cuatro veces en competiciones europeas, entre ellas la Copa de la UEFA 1992-93. En la primera ronda eliminó al Spora Luxemburgo por 10-2 en el global, y quedó fuera en la segunda.
La noche más famosa de la historia reciente fue la final de la Copa de la Liga en Wembley el 21 de abril de 1991. El Sheffield Wednesday, de segunda división y dirigido por Ron Atkinson, venció al Manchester United por 1-0. En el minuto 37, John Sheridan disparó desde lejos y el portero Les Sealey solo pudo ayudar al balón a entrar tras el poste. En la portería del Wednesday estaba el hincha de toda la vida Chris Turner, que detuvo un remate de cabeza de Brian McClair. Fue el primer título importante en 56 años, y esa misma temporada el equipo ascendió, al terminar tercero con 82 puntos. En aquel equipo jugaban también el capitán Nigel Pearson, Roland Nilsson y David Hirst.
Tras el ascenso, el club fue en 1992 miembro fundador de la Premier League, después de acabar tercero en la First Division la temporada anterior. En 1993 llegó a las finales de la FA Cup y de la Copa de la Liga, y perdió ambas ante el Arsenal. En la semifinal de la FA Cup venció por 2-1 tras la prórroga, en Wembley, a su rival local, el Sheffield United. Desde hace años el club oscila entre la Championship y la League One, pero sigue siendo uno de los más laureados de Inglaterra, y el recuerdo de cuatro ligas y de la copa de 1991 define aún la identidad de los Owls de Hillsborough.