Deze door mensen opgeworpen heuvel kreeg zijn naam doordat er in de 17e eeuw een stenen oriëntatie tafel op werd geplaatst. Dit hoge uitkijkpunt (39m boven NAP) was een perfecte plek om de omgeving te kunnen bekijken. Op de oriëntatie tafel werden landstreken, steden en landgoederen aangegeven.

De Tafelberg lag op een strategisch punt. Zo kon men Amersfoort, Utrecht en zelfs Amsterdam zien liggen. Het verhaal gaat dat op de verhoging eerder vuren werden aangelegd als baken voor schepen op de Zuiderzee, daarom werd de berg ook wel de Kooltjesberg genoemd.

De berg ligt op de grens van de plaatsen Blaricum en Huizen. Beide claimden de Tafelberg te bezitten. In de Napoleontische tijd werd besloten dat de grens tussen de twee dorpen precies over het midden van de Tafelberg zou lopen. Tot op de dag van vandaag loopt die grens daar. Op de heide zijn grenspaaltjes te vinden die deze grens nog aangeven.

In de late 18de-eeuw werd de Tafelberg vereeuwigd door Jacob Cats. Op zijn prachtige aquarel is de oriëntatie tafel en de prachtige omgeving rondom de Tafelberg te zien.

‍