Am Fuße des Oštarije-Passes, dem niedrigsten Übergang über das Velebit-Gebirge, gegenüber der Insel Pag, liegt die Stadt Karlobag. Von einer Höhe von 927 Metern aus hat man einen atemberaubenden und unvergesslichen Blick auf die Insel Pag. Die Luftlinie von der Meeresküste bis zu diesem Aussichtspunkt beträgt weniger als 2,5 Kilometer, was den enormen Aufstieg verdeutlicht, der überwunden werden muss. Dies wird durch die vorhandene asphaltierte Straße unterstützt, die sich steil über 17 Kilometer von Kurve zu Kurve hinunter oder hinauf schlängelt. Aufgrund der geringen Luftdistanz und des Höhenunterschieds stürzt ein starker Nordostwind, weithin bekannt als Baška Bura, zur Meeresküste hinab.

Entlang der Meeresküste, zwischen zwei Buchten—Baška Draga im Osten und Draga Tatinja im Westen—liegt die Stadt im zentralen Teil dieses Gebietes. Auf dem flacheren Teil oberhalb der Siedlung steht eine kleine Stadtfestung, von der aus das gesamte Dorf sowie die Schifffahrtsroute zwischen der Küste und der Insel Pag überwacht wurden. Angesichts der Rauheit des gesamten Gebietes gab es nur wenige kultivierte Flächen von mehreren Dutzend Quadratmetern, und das Vorhandene war kaum zu bewirtschaften aufgrund des Wassermangels.

Der Velebit-Kanal, etwa anderthalb Seemeilen breit, trennt Karlobag von der Insel Pag. Auf der Nordseite gegenüber von Karlobag ist die Insel Pag völlig kahl und ohne jegliche Vegetation. Entlang der gesamten Meeresküste ist Karlobag unter allen Siedlungen in diesem Gebiet die einzige größere und uralte Stadt.