Historie našeho domova sahá až do roku 1867. Tehdy se začalo se stavbou kláštera pro sestry Kongregace Milosrdných sester sv. Karla Boromejského, které se věnovaly výuce dívek ze Sloupnice a širokého okolí. Na stavbu byl použit materiál jak z nedalekého lomu, tak i ze vzdáleného Kyšperka. Ale především se na dostatku materiálu podepsali sami místní obyvatelé. Vozili na stavbu kámen, písek, stavební dříví a to většinou bez nároku na odměnu.

Vyučování začalo v roce 1869 a trvalo až do roku 1942. Do té doby byl klášter, sestry i chovanky téměř samostatné díky velkému hospodářství, které ke klášteru patřilo. Původně dvoupodlažní budova byla v roce 1925 rozšířena o třetí poschodí.

Uzavřením školy děti o vzdělání nepřišly. Ve vsi už stála veřejná škola, jejíž učitelé žáky přijali s otevřenou náručí. Hlavním důvodem k uzavření školy byla domluva s nemocnicí v Litomyšli, která uvítala možnost přesunout děti nemocné záškrtem a spálou do nových prostor. Z učitelek se tak rázem staly ošetřovatelky. 

Škola se do budovy již nikdy nevrátila. Po dětech ošetřovatelky začaly pečovat o seniory a z domu se stal Charitní domov pro přestárlé. V 50. až 70. letech procházela budova stavebními úpravami a bylo zrušeno hospodářství. 

Od roku 1985, kdy museli řádové sestry opustit klášter, v domově pracují pouze civilní zaměstnanci. V roce 2015 byla budova i pozemky kláštera navráceny Kongregaci Milosrdných sester sv. Karla Boromejského a kongregace obci Sloupnice od té doby budovu i pozemky pronajímá za podmínky, že zde bude i nadále provozován domov pro seniory.