En 1515 comezou a construción deste pazo, que aínda ten aspecto de fortaleza, dispoñendo as súas estancias arredor dun patio de armas principal, ao que se accede por unha entrada coroada por un gran escudo desta casa.
Os señores de Taboada exerceron como cabaleiros e gobernantes na zona de Taboada, albergando un poder crecente que foi recoñecido en 1683, cando lle foi concedido o Condado a Xosé Taboada Ribadeneira, que se atopa soterrado na igrexa de Bembibre. A súa filla María Teresa, soterrada no santuario da Barca (Muxía), casou co Conde de Maceda, facendo crecer o seu poder e patrimonio, pero distanciándose cada vez máis deste solar. Os condes de Taboada emparentarían despois cos Gil Taboada de Lalín e alcanzaron posicións de enorme poder no século XVIII, chegando ao Arcebispado de Santiago (de aí o escudo dos Taboada presente na fachada do Obradoiro) ou mesmo ao Vicerreinado do Perú.
Máis recentemente emparentarían cos Condes de Fenosa. A derradeira Condesa faleceu en 2011, legando o seu patrimonio á Fundación Condado de Taboada, que xestiona actualmente este lugar, que tamén alberga o arquivo familiar de incalculable valor histórico.