Město Dobruška vzniklo ve středověku z tržní osady Leštná. První písemnou zprávu o Dobrušce najdeme v tzv. Mutinově narovnání dobrušského pána z roku 1320, kde je již uvedena jako město s patřičnými privilegii. Období rozkvětu zažívalo město jako hospodářské středisko opočenského panství drženého rodem Trčků z Lípy. Domy na náměstí byly renesančně přestavěny a v jeho středu vyrostla roku 1565 reprezen­tativní radnice. Charakter města byl však výrazně postižen dvěma rozsáhlými požáry, a to v roce 1806 a 1866.

Rodina Kupkova se do Dobrušky přistěhovala v roce 1872 z Opočna již s třináctiměsíčním Františkem. Rodina nejprve žila v malém domku čp. 254 (již nestojí) ve Školní ulici. Po narození posledního syna maminka r. 1881 zemřela a krátce na to i dítě. Rodina se r. 1882 přestěhovala do Svatodušské ulice, kde Václav Kupka zakoupil stavení čp. 323. Záhy se znovu oženil a v roce 1883 přepsal z poloviny vlastnictví domu na novou manželku matku Alžbětu Kupkovou.

Dům čp. 323 je součástí tzv. Horského předměstí Dobrušky, které spolu s dalšími vzniklo rozrůstáním města za hradební zeď v 17. a 18. století. První písemná zmínka o objektu pochází z roku 1685, kdy jej podle knihy postupů domů od Jiřího Dojivy koupil Jiří st. David. Většinu původní zástavby zničil požár města v květnu roku 1806. Jádro domu je však původní, na což poukazují silné kamenné obvodové zdi na severní a východní straně.

První dochované zobrazení půdorysu stavby ukazuje tzv. císařský povinný otisk stabilního katastru 1840, kde je patrné, že dům je obdélný, zděný a stojí samostatně. Podobu domu čp. 323 v roce 1895 zachytil Kupkův současník, dobrušský naivní malíř a písmák Alois Beer zhruba z míst, kde stojí márnice u kostela.

Dům obdélného půdorysu orientovaný ve směru západ–východ se sedlovou střechou a štítem do Svatodušské ulice (dnes ulice Fr. Kupky) byl již v této době podsklepen. Sklep je částečně vydlabán do rostlé skály a nachází se v něm také původní studna, která zásobovala obyvatele domu pitnou vodou.

O vnitřní dispozici Kupkovy domácnosti nemáme příliš přesných informací. Relikty odhalené při rekonstrukci v roce 2021 ukazují, že jednak střední příčka, jíž procházejí trámy stropu v obou místnostech, zde již pravděpodobně v závěru 19. století byla, a dále to, že v druhé z místností se nacházela ještě další kolmá dřevěná příčka, která zřejmě oddělovala ložnici rodičů. Pod omítkou ve zdi byla v této části zjištěna nika sloužící k odložení osvětlení (svíčky či petrolejové lampy). Na původních dřevěných prknech záklopového stropu bylo objeveno několik různých vrstev výmalby. Květinový šablonový motiv, který mohl strop zdobit i v době, kdy zde bydleli Kupkovi, byl na nové desky stropu profesionálně replikován.

V roce 1891, po smrti Václava Kupky st., přešlo vlastnictví domu z polovice na syna Václava Kupku a rodina Kupkova nakonec dům roku 1892 prodala paní Františce Michálkové. Na její žádost byl mezi domy čp. 323 a čp. 324 v roce 1906 vložen objekt řeznického krámu. Následný vlastník, pan Antonín Macek, začal tvář domu po roce 1911 zcela proměňovat. Roku 1912 byl mezi nově vzniklým řeznickým krámem a stávající stavbou vybudován zděný plot a v roce 1920 bylo z druhé strany domu přistavěno skladiště a průjezdná vrata. V roce 1924 byla ještě zřízena podkrovní komora.

Pro provoz řeznické živnosti a potřeby rodiny Mackovy dosavadní plocha nedostačovala a již v roce 1925 bylo požádáno o zřízení chladírny a zvětšení domu o celé patro. Při přístavbě došlo také k zalomení štítové části tak, aby se stavební čára srovnala se sousedním domem bez zároží. Dům se tím dostal v podstatě do dnešní podoby. Po 2. světové válce doznal drobných změn na fasádě a ve skladbě oken. V roce 1963 byl dům (řeznictví) zkonfiskován a předán do vlastnictví Československého státu – Domovní správa v Dobrušce, po pěti letech byl nakonec jako rodinný dům vrácen do vlastnictví rodiny Mackovy, která ho v roce 2019 prodala rodině Brázdilově z Běstvin.