Ответ 1
'Escape a single quote '' using a double single quote'
См. справку правила цитирования.
Вы можете проверить помощь в командной строке powershell, введя:
Get-Help about_Quoting_Rules
В нем объясняется, что обратные ссылки интерпретируются буквально в одиночных кавычках.
Поскольку содержимое строк с одной кавычкой интерпретируется буквально, вы не можете использовать символ обратного хода для принудительной интерпретации литерала в одной кавычки.