«Недавно организованная футбольная команда Сельмашстроя имела товарищеские футбольные матчи в городе Красный Сулин. В июне 1932 года «Сельмаш» принял участие в спартакиаде предприятий Сельхозмашиностроения. В 1934 году на заводе стали появляться детские и юношеские команды, которые принимали участия в первенстве города своих возрастов. В 1938 году «Сельмаш» принял участие в первенстве ЦС добровольного спортивного общества носящего имя клуба, и заняли в этом турнире призовое третье место. В 1940 году футболисты смогли пробиться в полуфинал Кубка города. В 1949 году ростовские футболисты дебютировали в Кубке РСФСР среди команд КФК, где после трёх побед уступили «Динамо» Ставрополь и выбыли из борьбы. До 1950 года команда участия в серьёзных турнирах не принимала. В 1950 году приняла старт в чемпионате РСФСР. Первый официальный матч состоялся 28 мая в чемпионате РСФСР, где сельмашевцы выступали в южной зоне Азово-Донской группы. Благодаря успешной игре в этом турнире, в 1953 году переместилась в класс «Б» чемпионата СССР. В 1965 году перебралась во вторую группу уже класса «А». Начиная с 1975 года, ростсельмашевцы выступали во второй лиге союзного первенства.
Это продолжалось до сезона 1985 года, когда команда смогла пробиться в первую лигу чемпионата СССР. В первом своём сезоне ФК «Ростсельмаш» занял 7 место, забив при этом 86 мячей. Последующие три года команда стабильно финишировала в десятке. По ходу сезона 1990 года главным тренером стал Энвер Юлгушов. В сезоне 1991 года ростовские футболисты не проиграли на своём поле ни одной встречи и, заняв 4 место, вышли в высшую лигу России. Начиная с 1992 года «Ростсельмаш» стал выступать в чемпионате России. В 1993 году клуб вылетел в первую лигу. После года пребывания там клуб вновь поднялся в элитный дивизион. В сезоне 1995 года после неудачного старта команду возглавил Сергей Андреев, который работал до 2000 года, и именно при нём ФК «Ростсельмаш» смог занять 6 место в чемпионате России, что до 2016 года являлось наивысшим достижением. В следующем году клуб впервые в своей истории получил право играть в Кубке Интертото. В полуфинале Кубка в соперники ростовской команде выпал туринский «Ювентус», приезд итальянцев в Ростов вызвал большой зрительский ажиотаж, но при заполненном до отказа стадионе команда проиграла 0:4. В 2000 году в рамках аналогичного турнира команда проиграла французскому «Осеру».
В июле 2002 года президентом клуба стал бизнесмен Иван Саввиди. В клубе произошли большие кадровые перемены, обновился состав команды. С начала сезона 2003 года «Ростсельмаш» был переименован в «Ростов». В 2003 году клуб дошёл до финала Кубка России, где уступил московскому «Спартаку». Сезоны с 2004 по 2006 клуб провёл невнятно, из года в год занимая позицию за пределами первой десятки. В 2007 году клуб выступил крайне неудачно, бо́льшую часть сезона провёл на последнем, 16-м, месте Премьер-лиги, одержав лишь две победы в чемпионате (причём вторую — в не имевшем турнирного значения матче последнего тура) и ещё за 4 тура до конца чемпионата утратил даже теоретические шансы сохранить место в лиге. После окончания сезона клуб покинула большая часть игроков, команду, фактически, пришлось создавать заново. Тем не менее, в 2008 году «Ростов» успешно выступил в первом дивизионе и вернул себе место в премьер-лиге, попутно установив абсолютный рекорд по количеству матчей без поражений. По итогам сезона 2009 клуб остался в премьер-лиге, заняв 14 место, но показав при этом ряд удачных матчей с лидерами чемпионата.
В 2010 год команда вошла заметно обновлённой. В межсезонье пришли сразу 14 футболистов. Сезон 2010 команда провела неоднозначно. До 20 тура находилась в первой пятёрке, но затем последовала серия без побед из 10 матчей, что привело к 9 месту. В третьей части сезона Сергея Балахнина сменил Анатолий Байдачный, перед которым была поставлена задача сохранить прописку в премьер-лиге. В 2011 году ростовский клуб смог дойти до полуфинала Кубка России, уступив там «Алании» в серии пенальти. Команда закончила сезон на 13-м месте и в стыковых матчах прошла «Шинник». По окончании сезона главным тренером стал Миодраг Божович. «Ростов», выигрывая у лидеров чемпионата, терял очки в матчах с середняками. Заняв 13 место, «Ростов» без проблем прошёл в стыковых матчах за право сыграть в Премьер-лиге «СКА-Энергию», выиграв оба матча. По окончании сезона клуб был не допущен к участию в еврокубках. Множественные недовольства и апелляция в арбитражный суд Лозанны позволило команде сохранить право выступления в Лиге Европы.
18 декабря 2014 года официальный сайт «Ростова» объявил о назначении Курбана Бердыева главным тренером команды. Под его руководством команда сохранила место в Премьер-лиге, по сумме двух матчей (1:0; 4:1) обыграв «Тосно» в стыковых матчах РФПЛ — ФНЛ. В летнее межсезонье 2015 года в команду пришли Сезар Навас, Кристиан Нобоа и Сердар Азмун, знакомые Бердыеву по совместной работе в «Рубине». Всю вторую половину 2015 года в клубе были проблемы с выплатой зарплаты и премиальных футболистам, однако это не помешало клубу по итогам сезона 2015/16 занять 2-е место в чемпионате и квалифицироваться в Лигу чемпионов («Ростов» занял высшее место в своей истории, лишь на два очка отстав от ставшего чемпионом ЦСКА). 1 июня 2017 года Бердыев ушёл с поста главного тренера клуба. В 2021 году Карпин возглавил сборную России и покинул пост главного тренера «Ростова». Команда показывала плохие результаты, и в конце сентября после поражения от «Чайки» (0:1), означавшего вылет из Кубка России, Сёмин покинул пост. Новым главным тренером был назначен ассистент Карпина и Сёмина Виталий Кафанов, помогать ему стал старший тренер молодёжной команды Заур Тедеев, который до этого четыре тура исполнял обязанности главного тренера «Ростова».