В доисторические времена на месте южной части современного Тауэра находилось болото, которое формировало левый берег Темзы. Раскопки 1955-1976 гг. во Внутреннем Дворе (Inmost Ward) Тауэра позволили обнаружить изгиб реки под слоем песка и гравия, а также многочисленные обработанные куски кремня, которые стали первым свидетельством стоянок древних людей на этом месте.
К 40 гг. н.э Темза отошла к югу и болото постепенно высохло, позволяя людям жить в этих местах более комфортно.
Перед вторжением римлян на Британские острова в 43 г. н.э. земли к северу от Темзы были поделены между кельтскими племенами белгов Тринованнты (Trinovantes) и Катувеллауны (Catuvellauni). Последнее было одним из сильнейших кельстких племен в Британии и со временм завоевало триновантов.
По мнению историков на месте будущего Тауэра не было каких-то крупных поселений, скорее всего это была уединенная ферма, на небольшом склоне, ведущем к реке.