Cikal bakal KGB adalah sebuah komisi luar biasa [[Rusia]] untuk memberantas kontra revolusi dan sabotase yang dinamakan '''TsjekaCheka''', yang didirikan pada Desember 1917 yang dikepalai oleh seorang Belarus, [[Felix Dzerzhinsky]]. Felix sendiri mengatakan bahwa TsjekaCheka bukanlah pengadilan namun harus membela revolusi dan menghancurkan musuh meskipun pedangnya tidak sengaja jatuh ke kepala orang yang tidak bersalah. TsjekaCheka berdiri ketika rakyat Rusia mulai tidak suka dengan kekuasaan [[Lenin]] dan kaum BolsyevikBolshevik-nya. Memiliki anggota sekitar 3100031.000 personel dan tugasnya bertambah menjadi semacam sensor dan pemerang agama serta mendirikan kamp-kamp konsentrasi dan kamp-kamp kerja.
Lembaga TsjekaCheka dihapus ketika kaum BolsyevikBolshevik memenangi [[Perang saudara Rusia]]. Namun polisi politik tetap dipertahankan dan bernama GPOeGPU (direktorat politik negara) dan menjadi bagian dari NVKD, komisariatKomisariat Rakyat Dalam Negeri. Pada tahun 1923 namanya diubah menjadi OGPOeOGPU (Direktorat negara gabungan politik).
Felix Dzerzhinsky, pendiri TsjekaCheka akhirnya konflikberkonflik dengan [[Josef Stalin]], Penggantipengganti Lenin. Ia menyatakan tidak setuju dengan Stalin yang tampak memborong kekuasaan itu. Beberapa jam setelah Felix menyatakan keberatannya, ia meninggal karena "serangan jantung" (pastinya dibunuh atas perintah Stalin).
Pada masa stalin,Stalin inilah saatterjadi pembersihan dan "reformasi" dalam pemerintahan Soviet. Inilah saat teror yang tidak pandang bulu baik lawan politik, warga yang tidak bersalah, pejabat partai yang loyal, perwira tentaraTentara merahMerah, kepala polisi dan bahkan polisi rahasia berjatuhan menjadi korban. Kepala NVKD, [[Genich JagodaYagoda]] dan [[Nikolai JezjovYezhov]] pun turut menjadi korban. Tercatat selama masa pembersihan, lima puluh juta orangrakyat RusiaSoviet tewas.
Pembantu utama Stalin yang juga merupakan kepala polisi rahasia adalah [[LavrentiaLavrenty Beria]], Kepalakepala NKGB, nama baru polisi rahasia. Pada tahun 1945 NKGB berubah nama menjadi MGB (Kementerian Keamanan Negara). LavrentiaLavrenty Beria menjadi anggota politbiro dan pengurus harian Uni Soviet. Namun Beria sendiri dianggap terlalu berpengaruh sehingga setelah meninggalnya Stalin, LavrentiaLavrenty Beria ditangkap dengan tuduhan mata-mata Inggris dan dieksekusi pada akhir 1953. Dinas rahasia itu sendiri pada 13 Maret 1954 diganti menjadi KGB.
