Samlerne bygger på en sand og fantastisk historie om de to brødre, Homer og Langley Collyer. I 1909 flytter de ind i en herskabsejendom i det dengang fashionable Harlem i New York sammen med deres forældre.

Homer er uddannet jurist og arbejder som advokat, mens Langley, der er ingeniør af uddannelse, vælger en karriere som koncertpianist. Tilsyneladende er alt normalt, men på et tidspunkt går noget helt galt for de to…. Faderen flytter ud, moderen dør, telefon-, vand- og gasforsyningen bliver afbrudt, og huset forfalder. I 1940 viser Homer sig uden for huset for sidste gang. Han har forladt sit advokatjob og mistet synet. Langley forlader kun huset for at gå på natlige togter, hvor han henter mad, vand, aviser og andre fornødenheder på sin trækvogn. De to brødre vender verden ryggen.

Efter deres død forsøgte politiet med brækjern og økser at komme ind ad hoveddøren, men mødte kun en væg af sammenpressede aviser og gammelt møg. Da boet blev gjort op, kørte man 180 tons møg væk fra det forfaldne hjem.