Он не удаляется, потому что сидит в памяти.
Возможный вариант: убить его в памяти (остановить процесс), а потом удалить с диска. Побочный эффект - файл автоматически запустится снова родительским процессом. Решение - убить родительский процесс. Если ничго не помогает - загрузиться в безопасном режиме и пройтись касперским по диску. Это даёт высокую вероятность успеха.