III Олимпиада в Сент-Луисе, наряду с Парижской, проводилась в рамках Всемирной выставки. Однако местная дирекция Выставки не рассматривала ее как конкурента, а наоборот, всячески стремилась использовать игры в собственных рекламных целях. Кроме того, организаторы повторили некоторые ошибки летних Олимпийских игр 1900 года в Париже. Из-за привязанности к Всемирной выставке соревнования были отодвинуты на второй план, а сама Олимпиада растянулась почти на 5 месяцев (1 июля — 23 ноября 1904 года). Многие состязания проходили под руководством различных профессиональных организаций, однако, несмотря на это, им всем был присвоен титул Олимпийских дисциплин.
Согласно данным МОК, на летних играх в Сент-Луисе приняло участие 12 стран. Единственным государством, посетившим соревнования впервые, была Южная Африка. По сравнению с Парижской Олимпиадой количество стран-участников резко сократилось. 13 государств, участвовавших в летних Парижских играх, не смогли приехать в Сент-Луис по экономическим соображениям. Россия, воевавшая в это время с Японией, в соревнованиях участия не принимала.
Всего на III летней Олимпиаде выступили 651 человек, включая 6 женщин. Они соревновались за 94 комплекта наград в 18 видах спорта. Самой многочисленной была команда Соединенных Штатов Америки, они представили на играх 533 человека. Во многих видах спорта (бокс, борьба, водное поло, стрельба из лука и теннис) выступали исключительно американские спортсмены, поэтому игры ярко продемонстрировали первенство страны.
В Сент-Луисе впервые стали награждать трех, а не двух спортсменов, показавших наилучший результат. Главному победителю соревнования вручалась золотая медаль; спортсмену, занявшему второе место, – серебряная; а третье место отмечалось бронзовой наградой. Эта традиция сохранилась вплоть до настоящего времени.
В неофициальном командном зачете страны-участники расположились следующим образом: I место – США (78 золотых, 82 серебряных, 78 бронзовых медали), II место – Германия (4 золотых, 4 серебряных, 5 бронзовых наград), III место – Куба (4 золотых, 2 серебряных, 3 бронзовых медали).