Vamos con un ejemplo de código rápido sobre cómo borrar un archivo usando VB.NET:

Dim ArchivoBorrar As String

ArchivoBorrar = "C:\inetpub\wwwroot\descargas\archivo.doc"

'comprobamos que el archivo existe
If System.IO.File.Exists( ArchivoBorrar ) = True Then
  System.IO.File.Delete( ArchivoBorrar )
End If

Ojito al trabajar con esto que igual os cargáis lo que no debéis.