1964-1966 гг. - машинист тепловоза на заводе оборонной промышленности, г. Воронеж.
С 1966 по 1972 год — мастер, старший мастер завода тяжелых экскаваторов им. Коминтерна, г. Воронеж.
С 1972 по 1977 год — старший мастер тепловозоремонтного завода им. Дзержинского, г. Воронеж.
С 1977 по 1980 год — мастер участка, инженер-технолог, инженер-конструктор, начальник отдела снабжения, старший мастер механического завода № 6 города Воронеж.
В 1980 году — старший инженер-диспетчер в воронежском производственном объединении кузнечно-прессового оборудования им. Калинина.
С 1980 по 1987 год — заместитель начальника цеха, начальник отдела материально-технического снабжения производственного объединения по выпуску тяжелых экскаваторов им. Коминтерна.
1987-1988 гг. - заместитель генерального директора производственного объединения по выпуску тяжелых механических прессов "Воронежтяжмехпресс".
1988-1991 гг. - генеральный директор производственного объединения по выпуску тяжелых механических прессов "Воронежтяжмехпресс".
Август 1991 – апрель 1992 гг. - председатель исполкома Воронежского городского Совета народных депутатов.
11 апреля 1992 года был назначен главой администрации Воронежской области, занимал эту должность до сентября 1996 года. Полностью поддерживал действия президента России Бориса Ельцина, в том числе во время сентября-октября 1993 г. После роспуска Верховного Совета России издал постановление о роспуске Воронежского областного Совета.
А. Хренов об отставке Ковалёва: "Вкратце суть предложенной электорату версии ухода Ковалёва такова. Ковалёвым были недовольны в администрации Президента РФ из-за его независимой позиции в отстаивании интересов области и ее населения. Фактически были недовольны даже не столько популизмом воронежского губернатора, сколько его нежеланием выполнять политические директивы Центра и заявлениями, дискредитирующими экономическую политику Кремля. Последней каплей стали результаты голосования избирателей региона против Ельцина на президентских выборах 1996 года. Слухи о богатствах, якобы, полученных Ковалёвым и его сыном, атмосфера травли и клеветы "при молчаливом согласии населения" (!) не оставили, якобы, ему другого пути, как покинуть область".
"Воронежское обозрение", 05.11.2003 об отставке Ковалёва: "Подкосили Александра Яковлевича президентские выборы-96. Борис Ельцин победил. Однако результаты по Воронежской области оказались весьма неутешительными. В первом туре Борис Ельцин получил у нас 28% голосов, Геннадий Зюганов - 46%, Александр Лебедь- 17%. Во втором туре Ельцин "нарастил" 9%, Зюганов же - 11,6%. На Ковалёва стали давить отовсюду. Ну, естественно, местные коммунисты, воодушевлённые воронежской победой Зюганова. Областной совет, возглавляемый Иваном Шабановым, явно не отличался лояльностью к губернатору. На площадь организованно выводились толпы недовольных, состоящие в основном из главной опоры "красных" - стариков. Дело дошло до попыток штурма здания областной администрации и битья стекол".
12 декабря 1993 года был избран в Совет Федерации.
С января по сентябрь 1996 года входил в состав Совета Федерации РФ по должности
18 сентября 1996 года был назначен полномочным представителем Президента РФ в Республике Северная Осетия-Алания и в Республике Ингушетия.
С 1999 по 2000 год — торговый представитель РФ на Украине.
24 декабря 2000 года был избран мэром Воронежа, набрав 43 % голосов избирателей, участвовавших в голосовании и опередив прежнего мэра Александра Цапина.
3 ноября 2003 года - ушёл в отставку.
Умер 7 апреля 2024 г
Был женат. Дети: сын.
Народный депутат РСФСР в 1990-1993 гг.
Избирался депутатом Воронежского городского Совета.