Ответ 1
Да, фактически удаление папки именно то, что вы должны делать. "Чистым" расширением VSIX является просто распаковка файлов в папку в папке% LocalAppData%\Microsoft\VisualStudio\10.0\Extensions.
Рекомендуется проверить, что он не был установлен через MSI или какую-либо другую технологию установщика, выполнив проверку в Windows "Установка и удаление программ".