Можно. Но так как зима все-таки не совсем сезон для радикальных утеплительных работ, то придется до наступления тепла ограничиться полумерами. Можно закрыть кирпичную стену снаружи ветрозащитной мембраной, она не даст холодному воздуху просачиваться через щели в кладке (щели есть всегда, даже не сомневайтесь). Хорошо проверьте оконные рамы - часто бывает, что есть пустые пространства не заполненные монтажной пеной. Если обнаружили таковые, берите пену с показателем "до - 10 - 15" и заделывайте изнутри. Заметно теплее станет кстати не из-за стен. а именно из-за окон.
Потом, когда позволит погода/температура можно будет ветрозащитную мембрану со стен на время снять и заняться капитальным утеплением.