Очень часто посетители ассоциируют музейные экспонаты прежде всего именно с предметами археологии и, как правило, ожидают, что древние артефакты, свидетельствующие о жизни наших далеких предков, обязательно будут представлены на музейных экспозициях. Археологическая коллекция музея истории города Ярославля не является многочисленной, но в ней, несомненно, можно найти немало уникальных предметов.

Основу коллекции составили материалы, поступившие в 2000-е гг. из Ярославского государственного университета им. П. Г. Демидова. Главным образом это находки из раскопок Ярославля и Ярославской области, осуществленных под руководством ярославских археологов В. В. Праздникова и И. Л. Станкевич в 1970-е-1990-е гг. В их числе фрагменты керамических сосудов, каменные орудия труда эпохи неолита, изделия из металла, дерева, кости, стекла периода средневековья, среди которых наибольший интерес представляют бусины и браслеты, пряжки для одежды, иглы, проколки, шилья, копоушки, пряслица, ключи, ножи, детали замков, строительных инструментов. К сожалению, ряд артефактов нуждается в реставрации и потому не представлен на постоянных экспозициях.

Важными источниками по истории древнего Ярославля являются находки из раскопок 1993-1994 гг., произведенных у Митрополичьих палат и церкви Николы Рубленый город.

В 2018 г. в фонд археологии поступила коллекция археологических материалов, обнаруженных в ходе археологических разведок, которые проводились в 2015 г. в пос. Норское (Дзержинский р-н г. Ярославля). Находки датируются 17-18 вв., в основном это фрагменты красноглиняных и чернолощеных сосудов, а также два предмета из кости в хорошем состоянии. Данные материалы могут считаться уникальными в том смысле, что к настоящему моменту не проводилось других археологических исследований на данной территории.