Museet har til huse på Domkirkepladsen 5, i hjertet af Aarhus. 

Kvindemuseet i Danmark startede som en græsrodsbevægelse, en museumsforening, som havde det dobbelte formål at opbygge et kvindemuseum og skabe arbejdspladser for kvinder. Museumsforeningen blev stiftet ved en generalforsamling den 31. oktober 1982. I festugen 1984 viste museet sin første større udstilling: Giv plads for liv, om tjenestepigeliv, moderskab og ungpigedrømme. Herefter har museet vist 4-6 nye udstillinger årligt og opbygget en bred og alsidig samling og dokumentation af kvinders historie.

Med virkning fra 1991 blev museet statsanerkendt som landsdækkende specialmuseum under museumsloven med udforskning, samling og formidling af kvindekultur som særligt ansvarsområde.

Kvindemuseet var indtil 1.1.2012 foreningsejet og -drevet.
Ved to på hinanden følgende generalforsamlinger i 2011 blev det besluttet, at denne ejerform skulle ophøre og museet organiseres som en selvejende institution.
Kvindemuseumsforeningen blev opløst og Kvindemuseets Venner opstod.

Museet har gennem årene haft brede lokale, nationale og internationale berøringsflader og partnerskaber.

Bygningerne, som museet har haft til huse i siden 1983, blev bygget som rådhus i 1857, længe før kvinderne fik stemmeret. Efterfølgende var her politistation fra 1941 til 1984, hvorefter museet flyttede ind og viste sin første udstilling for publikum i efteråret 1984. I 1992-94 renoverede Aarhus Kommune bygningerne fra kælder til kvist for i alt 10 mio.

Mathilde Fibigers Have blev efterfølgende anlagt som en offentlig plads beliggende ved museets bygning. Her arrangeres fra tid til anden events.