Jak usunąć / zmodyfikować plik BMP przypisany do Bitmap()

Mam prosty kod przypisania pliku BMP do Bitmap() a następnie pokazanie go na formularzu

if (File.Exists(Plik_BMP))                 // sprawdzenie istnienia pliku
    {
     MyImage = new Bitmap(Plik_BMP);                // jeżeli plik istnieje 
     Form_Img.ImageBig.Image = (Image)MyImage;      // to go przypisz
    }

wszystko działa pięknie, ale plik tak przypisany pozostaje zawłaszczony przez mój program - nie ma możliwości ani jego usunięcia ani zmiany.
Czy istnieje takie ustawienie C# (Visual Studio) by przy wyświetlanej na formularzu bitmapie można było zmieniać (edytować/usuwać/nadpisywać) plik z którego ta bitmapa została wczytana?
(w Delphi jest to możliwe bez dodatkowych ustawień)
Nie chcę bawić się w kopiowanie pliku BMP do pliku tymczasowego.

Dziękuję