1900-е гг.
В 1900 собственницей стала графиня Александра Андреевна Олсуфьева — родная дочь хозяина, к которой владения перешли по наследству. С 1911 года она являлась статс-дамой российской императрицы Александры Федоровны.
История дома этого периода связана с именем будущего полководца Георгия Константиновича Жукова. Именно здесь квартировал и держал скорняжную мастерскую его родной дядя — Михаил Артемьевич Пилихин, у которого он состоял в подмастерьях.
До революции 1917 года в доме размещались различные питейные заведения, а также синематограф «Миньон».
При Советской власти, в конце 1930-х годов, в Москве проходила реконструкция Тверской улицы, в связи с чем была разрушена бывшая половина дома, некогда принадлежавшая Кириллу Гудовичу, а вот вторую — Андрея Ивановича Гудовича — на рельсах переместили вглубь Брюсова переулка.