1657 г. - по указанию царяАлексея Михайловича 20 старых служащих солдат основали на берегу местной речки Землянка военное поселение. Спустя пять лет вокруг поселения была выстроена крепость, обнесенная валом и глубоким рвом. На случай осады в крепости были глубокий колодец с постоянным запасом пресной воды и подземный ход к речке длиной 60 метров.
В 1663 году Землянск приобрел статус города. В начале XVII века в городе и его слободах насчитывалось шесть деревянных церквей, со временем перестроенных в каменные. По преданию, одну из чудотворных икон – Тихвинской Божией матери – написал и освятил сам Преосвященный Тихон Задонский, епископ Воронежский и Елецкий, в 1776 году.
Во время разгрома храмов большевиками местным жителям чудом удалось спасти икону от поругания и уничтожения, но размеры её значительно уменьшились и оправлена она теперь в другую, простую раму.
С 5 июля 1942 года по 27 августа 1943 года года Землянск находился в немецком тылу. Более двух тысяч жителей Землянска ушли на фронт, с полей сражений не вернулись 344 человека. За время оккупации в Землянском районе погибли 1772 мирных жителя, в том числе дети.