Основан в 1923 году под названием КОР («Клуб имени Октябрьской революции»), в 1931 переименован в «Казанку», а название «Локомотив» получил в 1936 году. Первым трофеем, завоёванным командой, стал первый Кубок СССР в 1936 году. Во второй половине 1950-х годов у «Локомотива» был самый сильный состав за весь советский период его истории, команда стала во второй раз обладателем Кубка СССР в 1957 году, а в 1959 году были завоёваны серебряные медали первенства Советского Союза. Нападающий «Локомотива» Валентин Бубукин в составе сборной СССР стал победителем первого розыгрышаКубка Европы в качестве одного из ключевых игроков основного состава. С началом 1960-х годов результаты клуба снизились, в основном за счёт смены поколений и переходов ключевых игроков в более сильные команды.
С приходом на пост главного тренера Юрия Сёмина в 1986 году результаты «Локомотива» стали заметно улучшаться — после 7 лет подряд, проведённых в Первой лиге, в 1988 году клуб вернулся в высшую лигу СССР, а в 1990 году дошёл до финала Кубка СССР, где уступил намного более сильному в те времена сопернику — киевскому «Динамо».
С развалом союзных первенств и переходом на рыночные отношения в хозяйстве, «Локомотив» прочно укрепился в элите отечественного футбола. Немаловажную роль в этом сыграла стабильность в руководстве — с 1992 по 2006 годы президентом клуба был Валерий Николаевич Филатов, а тренировал клуб вплоть до вызова в сборную в 2005 году тренерский тандем Юрий Сёмин (главный тренер) — Владимир Эштреков. Первое чемпионство пришло к команде в 2002 году, когда в «золотом матче» «Локомотив» переиграл ЦСКА. В том же году открылся ультрасовременный стадион «Локомотив». В 2004 году железнодорожники повторили свой успех двухлетней давности.
В 1998 и 1999 годах команда дважды подряд доходила до 1/2 финала Кубка обладателей Кубков. Причём в последнем случае «Локомотив» уступил римскому «Лацио» лишь за счёт пропущенного мяча в домашней встрече. В 2001—2003 годах «Локомотив» участвовал в основном раунде Лиги чемпионов и дважды преодолевал групповой этап.
В 2005 году после почти 19 лет (с перерывом в 1991) тренерской работы с поста главного тренера команды ушёл Юрий Сёмин. Его место занял Владимир Эштреков, который добился с командой третьего места в чемпионате России и выхода в плей-офф Кубка УЕФА.
С декабря 2005 года по 5 октября2006 года команду тренировал сербский специалист Славолюб Муслин. Конец сезона 2006 года клуб провёл под руководством Олега Долматова. «Локомотив» не сумел выполнить поставленную перед ним задачу на тот сезон — занять 1-е или 2-е место, финишировав лишь третьим.