I Svartvik låg det för länge sedan en rad arbetarbaracker längs gamla kustlandsvägen. De hade byggts under sågverksepoken på 1800-talet, från 1830-talet och framåt. Längst ut åt norr låg de så kallade Matforsbyggnaderna, två stora tvåvåningsbyggnader ett stycke norr om kyrkan. När den nya kustlandsvägen byggdes 1946 revs större delen av de gamla arbetarbostäderna vid Svartvik. Men Matforsbyggnaderna och några få ytterligare byggnader såsom Gillska stugan högre upp fick stå kvar.
Svartvik var utskeppningshamn åt Matfors vattensåg. Svartvik och Matfors ägdes båda av handelshuset James Dickson & Co. Men på 1870-talet överflyttade de sågningen från Matfors till Svartvik, där först en ångsåg med fyra ramar byggdes 1873-74 och därefter ytterligare en såg om tolv ramar 1877-78, varefter vattensågen i Matfors lades ned. Flertalet av de anställda lämnade Matfors, en del av dem tog Dicksons med sig till Svartvik. De tog också med sig två av de stora timrade arbetarbarackerna därifrån. Dessa monterades ned och flottades på Ljungan som andra sågade trävaror, varefter de återuppfördes i Svartvik. Detta skedde troligen år 1878. I Svartvik fick de namnet Matforsbyggnaderna. Sedan sålde Dicksons anläggningarna i Matfors.
När husen återuppfördes i Svartvik höjdes taken så att det gick att få in några lägenheter på vinden också. Husen reveterades sedan och färgades gråvita.
Matforsbyggnaderna var troligen byggda på 1850- eller 1860-talet, då Matforssågen åter byggdes ut. Med tiden kom husen att bli omoderna och kändes obekväma, de fick aldrig vatten och avlopp och uppvärmningen skedde med vedspis i köket. År 1950 revs den ena av byggnaderna, då man ansåg att den inte längre hade någon funktion. I december 1960 revs även den återstående. En epok i Svartviks historia var slut.