Исключением стали только Румыния, Югославия и КНР. Кроме социалистических государств, Олимпиаду бойкотировали Иран и Ливия. Официальной причиной этого протеста явился отказ организаторов Игр предоставить гарантии безопасности участникам из стран Варшавского договора. Но многие восприняли этот шаг как ответ на бойкот американскими спортсменами московской Олимпиады-80. Кроме того, советское партийное и спортивное руководство насторожило то, что нашей делегации не разрешили лететь чартерами «Аэрофлота» и отказались принимать в порту теплоход «Грузия», который планировали использовать как плавучую олимпийскую базу сборной СССР.

8 мая 1984 года Советский Союз официально заявил ТАСС о бойкоте предстоящей Олимпиады. Президент МОК Антонио Самаранч активно пытался убедить руководство СССР изменить решение, но не смог достичь успеха. Взамен Олимпийских игр, было принято решение о проведении в Москве международных соревнований «Дружба-84». В них участвовали, в основном, спортсмены стран, отказавшихся от американской олимпиады. Всего в этих играх доброй воли выступили атлеты более 50 стран, было установлено немало мировых рекордов.

Из-за этого политического протеста все мировое спортивное движение оказалось в проигрыше. Олимпиада в Лос-Анджелесе, как и предыдущая, в Москве, проходила при неполном составе. Отсутствовали фавориты во многих видах спорта - в Америку не приехали 125 чемпионов мира. В результате, на этих Играх было зарегистрировано низкое количество мировых рекордов - всего 11. Как и ожидалось, в командном зачете на Олимпиаде-84 победили американцы. Не дождавшись достойных соперников, американская команда собрала 174 медали, 83 из которых были золотые.

С того момента в устав Международного Олимпийского Комитета были внесены дополнительные статьи о серьезных санкциях в отношении страны, которая выступит с бойкотом, вплоть до полного исключения ее из МОК.