Он не раз бывал в этом городе. почему пишется частица не.?

Если бы не писалась эта частица то было бы: Он раз бывал в этом городе
Но был в этом городе много раз,А не один,поэтому пишем не,Так же можно "Не раз" Заменить много