Klubben bildades 1902 och blev professionella 1905. Det fanns vid den här tiden ett antal lokala fotbollslag och det var ett par spelare ur det mest framgångsrika laget, det kyrkliga CEYMS, som tog initiativet att bilda Norwich City FC. I början kallades man för "The Citizens" och spelade i  tröjor med vita och blå halvor och vita byxor, men nu hör det till saken att i Norwich hade man vid förra sekelskiftet som hobby att föda upp kanariefåglar, så även en av lagets managers. Han brukade kalla spelarna för sina kanariefåglar. 1907 bytte de officiellt smeknamn till "The Canaries" och ändrade även matchdräkt till det matchande gulgröna.  De flyttade 1908 från Newmarket Road till Rosary Road till en hemmaplan som allmänt kallades för "The Nest". Men ökade framgångar gav större publik, vilket 1935 ledde till att de flyttade till Carrow Road. 1920 valdes de in i den nystartade division III.