Regex look-behind без очевидной максимальной длины в Java

Я всегда думал, что утверждение look-behind в Java regex-API (и многие другие языки, если на то пошло) должно иметь очевидную длину. Таким образом, кванторы STAR и PLUS не допускаются внутри look-behinds.

Отличный онлайн-ресурс regular-expressions.info, кажется, подтверждает (некоторые из) мои предположения:

"[...] Java делает шаг дальше позволяя конечное повторение. Ты все еще не может использовать звезду или плюс, но вы может использовать знак вопроса и фигурные скобки с максимальным параметром указано. Java признает факт что конечное повторение может быть переписан как чередование строк с разными, но фиксированными длинами. К сожалению, JDK 1.4 и 1.5 есть некоторые ошибки, когда вы используете чередование внутри lookbehind. Эти были установлены в JDK 1.6. [...]"

- http://www.regular-expressions.info/lookaround.html

Использование фигурных скобок работает до тех пор, пока общая длина диапазона символов внутри внешнего вида меньше или равна Integer.MAX_VALUE. Таким образом, эти регулярные выражения действительны:

"(?<=a{0,"   +(Integer.MAX_VALUE)   + "})B"
"(?<=Ca{0,"  +(Integer.MAX_VALUE-1) + "})B"
"(?<=CCa{0," +(Integer.MAX_VALUE-2) + "})B"

Но это не так:

"(?<=Ca{0,"  +(Integer.MAX_VALUE)   +"})B"
"(?<=CCa{0," +(Integer.MAX_VALUE-1) +"})B"

Однако я не понимаю следующее:

Когда я запускаю тест, используя квант * и + внутри внешнего вида, все идет хорошо (см. вывод Тест 1 и Тест 2).

Но когда я добавляю один символ в начале look-behind из Test 1 и Test 2, он прерывается (см. вывод Test 3).

Создание жадного * от теста 3 неохотно не действует, оно все равно ломается (см. Тест 4).

Здесь проверочный жгут:

public class Main {

    private static String testFind(String regex, String input) {
        try {
            boolean returned = java.util.regex.Pattern.compile(regex).matcher(input).find();
            return "testFind       : Valid   -> regex = "+regex+", input = "+input+", returned = "+returned;
        } catch(Exception e) {
            return "testFind       : Invalid -> "+regex+", "+e.getMessage();
        }
    }

    private static String testReplaceAll(String regex, String input) {
        try {
            String returned = input.replaceAll(regex, "FOO");
            return "testReplaceAll : Valid   -> regex = "+regex+", input = "+input+", returned = "+returned;
        } catch(Exception e) {
            return "testReplaceAll : Invalid -> "+regex+", "+e.getMessage();
        }
    }

    private static String testSplit(String regex, String input) {
        try {
            String[] returned = input.split(regex);
            return "testSplit      : Valid   -> regex = "+regex+", input = "+input+", returned = "+java.util.Arrays.toString(returned);
        } catch(Exception e) {
            return "testSplit      : Invalid -> "+regex+", "+e.getMessage();
        }
    }

    public static void main(String[] args) {
        String[] regexes = {"(?<=a*)B", "(?<=a+)B", "(?<=Ca*)B", "(?<=Ca*?)B"};
        String input = "CaaaaaaaaaaaaaaaBaaaa";
        int test = 0;
        for(String regex : regexes) {
            test++;
            System.out.println("********************** Test "+test+" **********************");
            System.out.println("    "+testFind(regex, input));
            System.out.println("    "+testReplaceAll(regex, input));
            System.out.println("    "+testSplit(regex, input));
            System.out.println();
        }
    }
}

Выход:

********************** Test 1 **********************
    testFind       : Valid   -> regex = (?<=a*)B, input = CaaaaaaaaaaaaaaaBaaaa, returned = true
    testReplaceAll : Valid   -> regex = (?<=a*)B, input = CaaaaaaaaaaaaaaaBaaaa, returned = CaaaaaaaaaaaaaaaFOOaaaa
    testSplit      : Valid   -> regex = (?<=a*)B, input = CaaaaaaaaaaaaaaaBaaaa, returned = [Caaaaaaaaaaaaaaa, aaaa]

********************** Test 2 **********************
    testFind       : Valid   -> regex = (?<=a+)B, input = CaaaaaaaaaaaaaaaBaaaa, returned = true
    testReplaceAll : Valid   -> regex = (?<=a+)B, input = CaaaaaaaaaaaaaaaBaaaa, returned = CaaaaaaaaaaaaaaaFOOaaaa
    testSplit      : Valid   -> regex = (?<=a+)B, input = CaaaaaaaaaaaaaaaBaaaa, returned = [Caaaaaaaaaaaaaaa, aaaa]

********************** Test 3 **********************
    testFind       : Invalid -> (?<=Ca*)B, Look-behind group does not have an obvious maximum length near index 6
(?<=Ca*)B
      ^
    testReplaceAll : Invalid -> (?<=Ca*)B, Look-behind group does not have an obvious maximum length near index 6
(?<=Ca*)B
      ^
    testSplit      : Invalid -> (?<=Ca*)B, Look-behind group does not have an obvious maximum length near index 6
(?<=Ca*)B
      ^

********************** Test 4 **********************
    testFind       : Invalid -> (?<=Ca*?)B, Look-behind group does not have an obvious maximum length near index 7
(?<=Ca*?)B
       ^
    testReplaceAll : Invalid -> (?<=Ca*?)B, Look-behind group does not have an obvious maximum length near index 7
(?<=Ca*?)B
       ^
    testSplit      : Invalid -> (?<=Ca*?)B, Look-behind group does not have an obvious maximum length near index 7
(?<=Ca*?)B
       ^

Мой вопрос может быть очевиден, но я все равно спрошу его: может ли кто-нибудь объяснить мне, почему Тест 1 и 2, и Тест 3 и 4 нет? Я бы ожидал, что все они потерпят неудачу, а не половина из них работают, а половина из них потерпит неудачу.

Спасибо.

PS. Я использую: Java версия 1.6.0_14

Ответы

Ответ 1

Взгляд на исходный код для Pattern.java показывает, что "*" и "+" реализованы как экземпляры Curly (который является объектом, созданным для фигурных операторов). Итак,

a*

реализуется как

a{0,0x7FFFFFFF}

и

a+

реализуется как

a{1,0x7FFFFFFF}

поэтому вы видите точно такое же поведение для колен и звезд.

Ответ 2

Это ошибка: http://bugs.sun.com/view_bug.do?bug_id=6695369

Pattern.compile() всегда должен генерировать исключение, если он не может определить максимально возможную длину соответствия lookbehind.