История Рыбинска берёт своё начало с Рыбной слободы — её первое документальное упоминание встречается в духовной грамоте великого князя Ивана III 1504 года. Жители слободы занимались рыболовством и поставляли улов к великокняжескому и царскому столам. Об этом наглядно свидетельствуют археологические находки — грузила и рыболовные крючки, которые сегодня можно увидеть в музейной экспозиции.
В XVII веке Рыбная слобода перешла во владение династии Романовых, что позволило обогатить коллекцию портретом Михаила Фёдоровича Романова (XVIII век), подлинной парсуной с прижизненным изображением царя Алексея Михайловича.
XVII век стал временем расцвета торговли и ремёсел в слободе. Каждую субботу на центральной площади проходили торги, а летом дважды в год устраивались оживлённые ярмарки. Среди местных мастеров были сапожники, портные, свечники, мясники и даже иконописцы.
Особого внимания заслуживает копия иконы «Богородица Киккская», созданной в Рыбной слободе в 1693 году Леонтием Яковлевичем Тюменевым. Ценность произведения заключается не только в высоком мастерстве исполнения и редкости сюжета, но и в сохранившейся пространной подписи автора.
Единственным каменным сооружением слободы XVII века была Спасо‑Преображенская церковь. В экспозиции музея представлены старопечатные книги, аналогичные тем, что хранились в храме, а также фелонь XVII века.
Важный эпизод в истории слободы связан с путешествием императрицы Екатерины II по Волге весной 1767 года. Восторженные жители преподнесли государыне традиционные дары: хлеб, соль, рыбу, а также деревянное золочёное кресло. По воле императрицы этот предмет был оставлен в слободе как память о знаменательной встрече — сегодня кресло можно увидеть в музейной коллекции.