В 1941 году семья Геращенко эвакуировалась в Казань, потом в Куйбышев. В 1943 году вернулась в Ленинград. В 1961 году Геращенко стал бухгалтером Внешторгбанка СССР, затем был назначен инспектором, потом экспертом и начальником отдела Внешторгбанка. Газета «Известия» обращала внимание, что пребывание Геращенко в Ливане совпало с резким обострением ситуации на Ближнем Востоке и с наибольшим проникновением советской политики в арабский мир. Издание напоминало, что в начале 1970-х годов Ливан являлся крупнейшим центром деятельности советской разведки, где осуществлялась вербовка всей ближневосточной агентуры. Кроме того, в этой стране тогда действовало либеральное финансовое законодательство, благодаря которому МНБ мог осуществлять операции по финансированию «кого угодно». В 1972 году Геращенко занял должность заместителя начальника, а в 1973 году — начальника Управления валютно-кассовых операций Внешторгбанка СССР. В 1976 году Геращенко стал председателем правления Советского банка в ФРГ. В 1977 году был назначен управляющим отделением Московского народного банка в Республике Сингапур. В 1982 году Геращенко был назначен начальником управления, а затем и заместителем председателя правления Банка внешнеэкономической деятельности СССР.

С 1983 по 1985 год занимал пост заместителя председателя правления Банка для внешней торговли СССР. В 1985 году стал первым заместителем председателя правления Внешторгбанка СССР. С 1989 года начал общаться с Егором Гайдаром (когда тот работал в журнале «Коммунист», потом в «Правде»). В 1990 году Геращенко познакомился с Владимиром Путиным, в те годы — советником Анатолия Собчака, избранного председателем Ленсовета. Многие специалисты, работавшие в те годы под руководством Геращенко, впоследствии охотно сотрудничали с ним и стали называться его «командой». На счету этой команды в 1989-1991 годах было создание первого в России частного банка, первая открытая эмиссия банковских акций (КБ «МЕНАТЕП»), первая валютная биржа, первые сделки на Межбанковской валютной бирже, открытие информации о выпуске денег в обращение. Эти же люди открыли первый в стране «наличный» обменный пункт, провели первый внешний аудит ЦБ и первую приватизацию советского банка за границей (Совзагранбанк в Люксембурге). В конце 1991 года исполняющий обязанности премьер-министра Гайдар предложил Геращенко стать председателем Центрального банка России (Банка России) — кредитной организации, которая после роспуска СССР стала основным эмиссионным институтом России.

Борис Федоров, бывший глава министерства финансов России, в своей книге «10 безумных лет. Почему в России не состоялись реформы», выпущенной издательством Коллекция «Совершенно секретно» в 1999 году, утверждал, что президент России Борис Ельцин хотел назначить главой ЦБ именно его, а кандидатуру Геращенко якобы навязал президенту и.о. премьер-министра (что Федоров назвал «самой большой ошибкой Гайдара»). В 1992 году Геращенко был назначен руководителем департамента по вопросам кредитно-денежной политики Международного фонда экономических и социальных реформ «Реформа». По другим данным, на посту главы ЦБ Гайдар хотел видеть именно Игнатьева и даже продвигал его кандидатуру, но не добился этого — Игнатьев был чужим человеком в высших эшелонах власти и не имел поддержки в парламенте. В результате Центробанк возглавил Геращенко, крайне скептически относившийся к пришедшим во власть «младореформаторам» и проводимой ими политике. В 1993 году Геращенко был назначен полномочным представителем России в Совете Межгосударственного банка СНГ (МГБ). Черномырдин каждый раз отклонял это предложение. Денежная реформа, проводившаяся ЦБ в 1993 году, подверглась резкой критике со стороны Федорова, занимавшего в то время посты вице-премьера и министра финансов в правительстве РФ.

Реформа представляла собой обмен старых денежных купюр, выпущенных в СССР и России до 1993 года, на новые. Эта мера объяснялась желанием Центробанка отсечь денежную массу, которая находилась в обращении в бывших союзных республиках. Обмен проводился в столь короткие сроки, что среди населения поднялась паника, и даже вмешательство президента Ельцина, продлившего сроки обмена, не вернуло доверия к правительству. На пресс-конференции в июле 1993 года Федоров заявил, что эта акция была «глупой и бессмысленной» и привела к подрыву доверия правительству России в целом, тогда как экономического эффекта не дала. Виновником всего происшедшего Федоров назвал Геращенко и потребовал его отставки. В январе 1994 года Федоров заявил, что одним из условий его дальнейшей работы в правительстве является отставка Геращенко. Геращенко в ответ сообщил журналистам, что уходить не собирается и предложений уйти в отставку пока не получал. По его мнению, все обвинения в его адрес и нападки со стороны Федорова были обусловлены желанием вице-премьера и министра финансов переложить на ЦБ вину за неудачи текущей финансовой политики.