Klubben bildades 1879 av en 18-årig arbetare vid namn Albert Jenkins. Han samlade ihop ett gäng män som började spela lokala vänskapsmatcher. De blev professionella 1885 och kom sen med i ligasystemet till säsongen 1901-02, men efter bara två säsonger åkte de ur. De kom dock tillbaka redan säsongen 1904-05, men bara för en enda säsong. Under första världskriget blev klubben nedlagd under några år. De förlorade även sin hemmaplan, som fick tjänstgöra som krigsbas. 1920 reformerades klubben och fick sen plats i ligan igen till säsongen 1923-24. Sen har det varit relativt stabilt fram till 1997-98 då det blev relegering igen. De har dock lyckats ta sig tillbaka igen från och med säsongen 2003-04.

Från början hade de marinblå tröjor med ett stort gult kryss på magen och vita byxor, men från 1885 har man alltid haft rött och vitt, i olika varianter, som sina färger. Det har handlat om helröda eller helvita tröjor, röd- och vitrandigt, eller sen 2001: röda tröjor med vita tvärränder. 
.