В XVII в. на современной площади трех вокзалов расстилалось обширное Каланчевское поле. На западе оно доходило до середины современной Большой Спасской улицы, где в XVII в. стоял деревянный царский дворец. Этот дворец имел вышку, по-татарски «каланчу», отчего назывался Каланчевским дворцом, а по нему и простиравшееся к востоку, др Красного пруда, поле тоже получило название Каланчевское.

На месте нынешнего Ярославского вокзала с конца XVII в. находился Новый полевой артиллерийский двор – завод и склад пушек и снарядов, со многими деревяными строениями.

Артиллерийский двор располагался на земле ямщиков Переяславской ямской слободы и занимал около 20 га. Мимо него пролегала дорога на Красное село и дальше на восток.

В 1812 г. Новый артиллерийский двор сгорел от взрыва находившихся там снарядов (взрыв потряс дома всей восточной части Москвы).

А в 1862 г. между Красным прудом и Николаевский вокзалом (сейчас Ленинградский) был построен маленький вокзал Ярославской железной дороги, поезда которого до 1870 г. ходили лишь до Сергиева Посада. Это была дорога длиной в 65 верст. Появление железной дороги от Москвы на север страны приходится на годы оживленного транспортного строительства в России, развернувшегося во второй половине XIX века. Идея прокладки стальной магистрали в сторону Ярославля во многом принадлежала профессору математики МГУ Федору Васильевичу Чижову, будущему крупному теоретику промышленно-торгового развития России. К строительству "первой русской" (т.е. без участия иностранного капитала) частной железной дороги от Москвы до Сергиева Посада он привлек группу московских купцов, искавших выгодного помещения капитала. Активным его помощником в этом деле стал состоятельный и деятельный купец Иван Федорович Мамонтов, отец будущего известного мецената Саввы Мамонтова.

В пользу целесообразности дороги газеты тех дней писали, что многие ездят в Лавру по два и три раза в год, и число паломников будет расти; что у дороги «разведутся огороды и скотные дворы, потому что доставка огородных овощей и масла будет стоить безделицу по сравнению с гужевой».

Место для вокзала было определено сразу и окончательно: поставили его, согласно регламенту для казенных зданий, по ранжиру, на одной линии со зданием Николаевского вокзала. Для строительства «здания Ярославской железной дороги» по рекомендации одного из учредителей, Ф.В. Чижова, был приглашен из Петербурга архитектор Роман Иванович Кузьмин.

Как было записано в Уставе дороги, движение поездов должно быть открыто через три года после начала работ - срок истекал летом 1862 года. К этому же времени заканчивалась кирпичная кладка залов «приезда и отъезда главного пассажирского здания», вчерне окончены паровозное депо и вагонный сарай, и все это «частью покрыто крышами». Вся постройка обошлась в 220 тыс. руб. Проект вокзала с учетом масштабов дороги был заказан небольшой. Правда, была у него одна особенность: левая часть здания отводилась управлению дороги. Выросшее в 1860-1862 гг. белое двухэтажное здание отличалось строгостью и изяществом линий, дробный ритм окон, обрамленных мелко профилированными тягами, подчеркивал его деловое предназначение. Венчал здание флагшток, где трепетал на ветру флаг ведомства путей сообщения. Фирма Борзиг уже доставила 8 заказанных ей паровозов серии «Бп».

При открытии Ярославской дороги было всего шесть станций: Москва, Мытищи, Пушкинская, Талица (с 1904 г. - Софрино), Хотьково и Сергиев Посад. К 1900 г. на станции Сергиево построили еще и летний вокзал площадью в 100 кв. сажен для пассажиров, прибывающих в летнее время в Лавру.

Практически без изменений вокзал этот простоял до 1900 года, когда пассажирское здание было увеличено пристройкой и надстройкой части второго этажа для расширения как пассажирских помещений, так и помещений Управления дороги. Но этого было явно недостаточно. В связи с усилившейся интенсивностью движения поездов, удлинением Московско-Ярославской железной дороги до Архангельска и присоединением к ней Шуйско-Ивановской, Ярославско-Костромской, Ярославско-Рыбинской и Александровско-Ивановской дорог, вопрос о строительстве нового вокзала встал особенно остро.

В 90-х гг. XIX столетия в России начинается второй этап бурного железнодорожного строительства, непосредственно связанный с наступлением промышленного подъема. Небольшая Троицкая дорога значительно выросла и стала именоваться Московско-Ярославско-Архангельской. Естественно, выросли перевозки не только грузов, но и пассажиров. К весне 1900 г. дорога эта перешла в казну, в ведение Министерства финансов, вариант этот был не лучшим, и с 1 января 1902 г. дорога стала подчиняться тому, кому и надлежало - Министерству путей сообщения. Теперь уже не частное общество, а государство принимало меры к строительству нового, более вместительного и современного вокзала. Проведенная в 1900 г. «пристройка и надстройка части второго этажа» положение не изменила: в активе у вокзала было лишь 230 кв. сажен служебной площади.

Проект нового Ярославского вокзала в Москве поручили Ф.О. Шехтелю. Выразительность и продуманная функциональность его впечатляла: не случайно проект этот был довольно быстро одобрен во всех инстанциях, в том числе и Николем II. Но из-за осенних затяжных дождей и «за поздним временем» капитальную перестройку отложили до весны 1902 г.

Применив новые строительные материалы: железобетон, металлоконструкции, облицовочные плитки, Шехтель сумел создать уникальное здание со значительно меньшими затратами, чем потребовал бы традиционно штукатурный метод. Вся работа обошлась в 300 тыс. рублей при ощутимо ускоренном сроке постройки.

В 1906-1907 гг. вокзал был заменен новым, выполненным в неорусском стиле. Он был втрое больше прежнего. Воспользовавшись характерным для древнерусского зодчества принципом соединения в одно целое разнообразных по формам и масштабу построек, архитектор выделил объём главного пассажирского зала, соединённого с вестибюлем и аванзалом и обеспечивающего прямой проход к перронам. В наружном оформлении вестибюля использованы пластически акцентированные формы гигантской входной арки, килевидного козырька над ней, обрамляющих её полукруглых пилонов со стилизованными крепостными башенками, высокой «теремной кровли» с подзором и венчающим гребнем, делающими облик здания неповторимо причудливым. Вертикальному силуэту вестибюля вторит высокая левая башня с шатровым завершением. Верхнюю часть стен украшают керамические декоративные панно со стилизованными растительными орнаментами приглушённых тонов, соответствующих общему неяркому цветовому решению фасадов, которое должно было рождать ассоциативные связи с образом русского Севера. Перрон построен в 1910-х гг. по проекту Л.Н. Кекушева. При реконструкции в 1965—1966 гг. со стороны перрона пристроено помещение со сплошной стеклянной стеной.

В 1995 г. закончилась вторая реконструкция, целью которой являлось расширение площади для пассажиров, улучшение обслуживания в связи с возросшими пассажиропотоками. В результате перепланировки внутренних помещений высвободилась площадь, позволяющая увеличить в два раза число обслуживаемых пассажиров, более удобно расположены 35 билетных касс, для чего кассовый зал вынесен на первый этаж, а освободившаяся площадь (1,5 тыс. м2) переоборудована под зал ожидания; отремонтированы галерея, колонный зал; заново отделан потолок, смонтированы автоматические средства пожаротушения, электронная информационная система. Ярославский вокзал — крупнейший вокзал столицы, с которого ежесуточно отправляется около 300 пар поездов, а также выполняется значительный объём пригородных перевозок пассажиров.