Vallavalitsuste üheks ülesandeks oli ka kohustus hoolitseda kogukonna vaeste ja viletsate eest. Kohati kuni 19. sajandi lõpuni kasutasid vallavalitsused enamasti selleks võtet, kus vaesed saadeti eri taludesse nn külakorda käima, pannes nii nende majutamise, toitmise ja kasimise kohustuse otseselt valla elanikele.
19. sajandi lõpus ja 20. sajandi algul mõisteti, et mõttekam on koondada abivajajad ühte kohta, kus nende eest hoolitsemine on kergem. Esialgu kohandati vaestemajadeks peamiselt tühjaks jäänud endisi kooli- ja vallamaju või mõnel teisel otstarbel ehitatud hooneid, kuid hiljem hakati aina rohkem püstitama spetsiaalseid vaestemaju.
Eesti Vabariigi ajal püstitati mitmed vaestemajad juba arhitektide, peamiselt A. R. T. Põllumajandusliidu Ehitustalituses välja töötatud projektide järgi.
Vaestemajad olid tavaliselt jagatud meeste- ja naiste pooleks, kus paiknesid mitu ühiskorterit, ühisköök ning järelevaataja eluruumid.