Pengembangan dari Pak 40 dimulai setelah laporan mengenai keberadaan tank Soviet yang baru sampai di Berlin pada tahun 1939. Meriam [[5 cm Pak 38]] masih dalam pengujian pada titik ini, tetapi tampaknya Pak 38 tidak akan cukup kuat untuk berurusan dengan tank Soviet yang lebih baru. Kontrak diserahkan pada Krupp dan [[Rheinmetall]] untuk mengembangkan apasebuah meriam yang pada dasarnya adalah versi 7.,5 cm dari Pak 38. Namun, sementara Pak 38 dibuat secara ekstensif menggunakan logam paduan ringan untuk mengurangi berat keseluruhan meriam, namuntetapi penggunaan logam ini diprioritaskan untuk ''Luftwaffe''. Akibatnya, Pak 40 menggunakan logam baja yang lebih berat dari model 50 mm. Untuk menyederhanakan produksi, perisai melengkung Pak 38 digantikan oleh tiga lempeng baja.<ref>{{cite book|title=The Encyclopedia of Weapons of World War II|last=Bishop|first=Chris|publisher=Sterling Publishing|year=2002|pages=183–185}}</ref> Sebuah versi yang disebut 7.,5 cm FK 7M59 diusulkan menjelang akhir perang untuk mengisi peran artileri medan dan meriam anti-tank. Kereta pembawanya dimodifikasi untuk menyediakan elevasi +35° yang meningkatkan jangkauan maksimum hingga 13.300 meter.<ref name="Hogg">{{Cite book|url=https://www.worldcat.org/oclc/36705743|title=German artillery of World War Two|last=Hogg|first=Ian|date=1997|publisher=Greenhill Books|year=|isbn=1853672610|location=London|pages=43–44|oclc=36705743}}</ref> Varian dwi-guna lainnya seperti 7,5 cm FK 7M85 yang menggunakan laras dan dan sistem recoil dari Pak 40 dengan kereta pembawa 10 cm leFH 18/40.
Proyek ini awalnya diberikan prioritas yang rendah, namun setelah [[Operasi Barbarossa|invasi Uni Soviet]] pada tahun 1941 dan kemunculan dari tank berat Soviet seperti [[T-34]] dan KV-1, meriam ini diberikan prioritas tinggi. Meriam pra- produksi pertama dikirimkan pada bulan November 1941.{{Butuh rujukan|date=August 2011}} Pada bulan April 1942, ''Wehrmacht'' telah memilliki 44 meriam dalam pelayanan; pada tahun 1943, Pak 40 membentuk sebagian besar dari unit artileri anti- tank Jerman.{{Butuh rujukan|date=January 2013}}
