A Jakab-hegy kialakulása a földtörténeti ókorra, vagyis többszázmillió évvel ezelőttre tehető.

Felszínén vörös homokkő és a gejzírkitörések miatt cementálódótt kőzet keveredik, ebből az alapanyagból faragott a víz és a szél mesebeli szirteket és kőtornyokat . Babás-szerkövek néven ismerjük őket.

 A Jakab-hegyen és a közelben végzett mérések nyomán indult el az uránércbányászat Magyarországon. A központ a hegy lábánál húzódó Kővágószőlős lett, az irányítást a Pécsi Uránércbánya Vállalat végezte.

 Amikor az 1940-es évek végén megvizsgálták a gránitból származó üledékes kőzetet, a mérések kimutatták, hogy a kővágószőlősi úgynevezett permi vörös homokkő magas sugárzási értéket mutat. Az 50-es években meg is nyitották az uránbányát. A termelés növelése miatt egyre mélyebbre hatoltak. Az uránbányában volt Magyarország ember által is bejárható legmélyebb pontja 1150 méterrel a felszín alatt.

 A hőmérséklet elviselhetetlenül magas 53 Celsius-fokos ebben a mélységben. A homokkő szílicium tartalmú pora és a levegőben felszabaduló radon gázok szilikózist, vagyis súlyos tüdőbetegséget okozhattak.