Судьбоносной ошибкой в жизни маршала Варенцова стало его знакомство с полковником ГРУ Пеньковским, который в 60-х годах был обвинен в шпионаже. На процессе над Пеньковским Варенцов не сидел рядом с ним на скамье подсудимых. Тем не менее некоторые считали, что маршал должен был быть более бдительным и не путаться с кем попало, а потому оправдывали последовавшую за этой историей травлю Варенцова.
На самом деле Сергей Варенцов прекрасно знал Олега Пеньковского. По крайней мере, Сергей Сергеевич был в этом абсолютно уверен. Они дружили много лет, еще с Великой Отечественной. После победы Варенцов и Пеньковский некоторое время не общались: просто так, без всякой особенной причины. А в 1950-х годах фронтовые приятели снова встретились. Пеньковский пожаловался товарищу на отсутствие хорошего местечка в плане службы. Варенцов проникся отчаянием Олега Владимировича и откликнулся на его просьбу.
Маршал устроил Пеньковского на инженерно-артиллерийские курсы, а затем помог ему занять одну из ведущих должностей в Военной Академии. Варенцову казалось, что он поступил абсолютно правильно: ведь он просто помог своему давнему другу. Они стали чаще видится, а Пеньковский даже приходил к маршалу в гости. Но вскоре этим теплым отношениям пришел конец. В октябре 1962 года Олега Пеньковского взяли под стражу по подозрению в шпионаже.
В ходе следствия оказалось, что полковник ГРУ Пеньковский был завербован западными спецслужбами и в течение нескольких месяцев передавал ее сотрудникам определенные фотоматериалы. Подсудимый вину свою признал полностью. В 1963 году его расстреляли. Его другу Варенцову пришлось несладко как во время, так и после судебного процесса и исполнения приговора.
Конечно, маршала допрашивали, впрочем, как и многих других свидетелей. Именно свидетелей, но никак не обвиняемых. Более того не было доказано, что Варенцов снабжал Пеньковского какими-либо сведениями. Тем не менее фамилия Варенцова уже что называется засветилась в грязном скандале. Потому, что вокруг этой истории было много шумихи, дело даже подробно освещалось средствами массовой информации.
Варенцов потерял бдительность и пригрел на своей груди настоящую змею. Так посчитали тогдашние власти. Поскольку обвиняемым по делу маршал не являлся, к нему применили дисциплинарные меры. В первую очередь его лишили звания Героя Советского Союза, во вторую – понизили до генерал-майора, а в третью – исключили из кандидатов в члены ЦК КПСС. После этого Варенцова попросили в отставку.
Большинство историков и свидетелей тех событий утверждают, что Сергей Сергеевич стал обыкновенной жертвой расправы или мести. И пусть его не удалось привлечь к суду, но жизнь его фактически была закончена. По одной из версий, инициатором вышеозначенных дисциплинарных мер стали Никита Хрущев и маршал Чуйков, с которым у Варенцова были определенные трения.
Теперь уже генерал-майор Сергей Варенцов несколько лет добивался реабилитации. Тем более, что звания Героя Советского Союза его вообще лишили незаконно, так как это делалось только по решению суда. А в случае с маршалам никакого суда не было.
Однако все оказалось тщетно. Видимо, история с Пеньковским и последовавшие следом за ней события в жизни Варенцова пошатнули здоровье последнего. Через 8 лет после вынужденной отставки Сергей Сергеевич скончался.