Dette var engang territoriummet til Mohegan Indianerne. Det blev først bosat som Dodgetown i 1760, og registreret i 1777 som Lee. Det blev opkaldt efter General Charles Lee.
Tidlige industrier inkluderede landbrug og skovhugst og kalk produktion. Drevet af vandkraft fra Housatonic River, produserede møllerne textiler og snor. Men papir fremstilling blev hovedforretningen, da den første papirmøllen, kaldt Willow møllen,blev bygget i 1806 i det Sydlige Lee af Samuel Church. Columbia Møllen blev etableret i 1827, og var den første til at forsyne New York Times, 100% med avispapir . I 1857 var der 25 papirmøller i Lee. Smith Papirselskab opdagede, hvordan man fremstillede papir udelukkende af træmasse i 1867, og gennem 1870 var de den største producent af papir i landet. I dag, har Lee 1 lille papir fremstillingsanlæg, som ejes af Onyks specialty paper, Inc. De fremstiller specialitetspapir. Schweitzer-Mauduit annoncerede i 2007, at den tidligere Smith Paper company mølle ville lukke i 2008.Hvilket gør næsten 170 mennesker arbejdsledige.
Byen var også berømt for kvaliteten af dens marmor, med det første stenbrud etableret i 1852. Næsten 14.000 m3 marmor blev i 1867 sendt via Housatonic Jernbanen. Bygninger bygget af Lee marmor inkluderer en fløj af Capitol i Washington og Str.s Patricks Domkirke i New York City.
Lees 19. århundredes velstand efterlod den med meget fin for periode arkitektur, samt byhallen og biblioteket. Den tidligere mølleby er nu en populær turistdestination, på grund af dens Victorianske charme og antal af Bed And breakfast pladser.