В мае 1982 года вице-президент Международного олимпийского комитета Виталий Смирнов выступил с критикой в адрес хозяев предстоящей Олимпиады. Он предупредил, что небывало высокие цены за проживание в Олимпийской деревне не по карману участникам многих команд Восточной Европы и Африки. Отказ Лос-Анджелеса проводить предолимпийские соревнования, по мнению Смирнова, ставит под сомнение организационные способности Оргкомитета ИГР.
Но речь о бойкоте еще не шла. Мало того, 20 декабря 1982 года на встрече в Кремле член Политбюро ЦК КПСС Гейдар Алиев заверил нового президента МОК Хуана Антонио Самаранча: «Мы готовимся к Играм в Лос-Анджелесе. И хотя до нас доходят разговоры о возможном бойкоте с нашей стороны, мы никогда не опустимся до уровня Картера».
В это же время Спорткомитет СССР получил указание «сверху». Предлагалось в течение всей подготовки американцев к Олимпиаде всеми имеющимися средствами критиковать организаторов Игр-84. Вроде бы ничего странного. В советских газетах систематически появлялась рубрика «Их нравы». В то же время, подготовка сборных команд СССР шла по плану, система отбора, тренировок и испытаний работала безупречно.
В октябре 1983 года советская делегация, возглавляемая заместителем председателя Спорткомитета СССР Анатолием Колесовым, вылетела в США. Двадцать лет спустя журналисты «Советского спорта» провели расследование истории бойкота-84. Судя по материалам расследования, миссия Колесова преследовала сбор компромата.
Представленный перечень подозрительных действий американцев был разнообразен. Советской делегации не разрешили использовать чартерный рейс «Аэрофлота» (экономическое давление). Американцы не согласились принимать в порту Лос-Анджелеса теплоход «Грузия», плавучую олимпийскую базу советский делегации (демонстрация недоброжелательности). Посольству США в Москве должен быть представлен список всех членов советской олимпийской делегации (вот она, олимпийская дискриминация! По правилам МОК участники Игр въезжают в страну-хозяйку Игр не по визам, а по олимпийским удостоверениям). И еще: американское правительство не предоставило Колесову письменных гарантии безопасности советских олимпийцев (прямая угроза).
Наступила пауза, достаточная для обсуждения претензий. Но их и не собирались обсуждать! 29 апреля 1984 года Председатель Госкомспорта Марат Грамов направил в ЦК КПСС записку «О сложившейся ситуации в связи с Олимпийскими играми в Лос-Анджелесе». По жанру – обоснование дипломатической ноты: государственная гарантия безопасности, недопущение шантажа и любых враждебных акций. На деле никакие переговоры не планировались. Через неделю Генеральный секретарь ЦК КПСС Константин Черненко подписал постановление Политбюро о неучастии советской команды в летних Олимпийских играх в Лос-Анджелесе.
«Считать нецелесообразным участие советских спортсменов в Олимпийских играх в Лос-Анджелесе ввиду грубого нарушения американской стороной Олимпийской хартии, отсутствия должных мер обеспечения безопасности для делегации СССР и развернутой в США антисоветской кампании.
Разработать пропагандистские меры, которые позволили бы создать благоприятное для нас общественное мнение в мире и убедительно показать ответственность США за неучастие советских спортсменов в Олимпийских играх. В доверительном порядке информировать ЦК братских партий социалистических стран о нашей позиции и высказать просьбу о ее поддержке» (конец цитаты).
8 мая 1984 года 400 участников пленума НОК СССР послушно проголосовали за то, чтобы не посылать советских олимпийцев в Лос-Анджелес. Автор злополучной октябрьской докладной Анатолий Колесов вспоминал: «Результаты спортивного сезона-83 говорили о том, что на Играх-84 советская команда могла реально выйти на 62 золотые медали (против 40 сборной ГДР и 36–38 американских). После слов Грамова: «Кто за то, чтобы не участвовать в Играх?», - я посмотрел в зал. Все подняли руки, но опустили лица. Стыдно было… Мы ощущали себя преступниками. В первую очередь перед спортсменами, которые собственное здоровье положили на то, чтобы отобраться на эту Олимпиаду. В любительском спорте нет ничего выше Олимпиады, а мы отняли ее у этих молодых людей. Целое поколение спортсменов тогда погибло. У многих сломалась судьба…»
Попытки маркиза Самаранча переубедить организаторов бойкота оказались безуспешными. Говорят позднее, в частной беседе, Самаранч подвел итог: «Пошли они к черту. Проигравшая сторона — это они».