С++ Tokenize String

Ответ 1

Чтобы преобразовать строку в вектор токенов (потокобезопасный):

std::vector<std::string> inline StringSplit(const std::string &source, const char *delimiter = " ", bool keepEmpty = false)
{
    std::vector<std::string> results;

    size_t prev = 0;
    size_t next = 0;

    while ((next = source.find_first_of(delimiter, prev)) != std::string::npos)
    {
        if (keepEmpty || (next - prev != 0))
        {
            results.push_back(source.substr(prev, next - prev));
        }
        prev = next + 1;
    }

    if (prev < source.size())
    {
        results.push_back(source.substr(prev));
    }

    return results;
}

Ответ 2

Вы можете использовать функцию strtok_r, но внимательно прочитайте страницы руководства, чтобы понять, как она поддерживает состояние.

Ответ 3

Посмотрите этот учебник, который, безусловно, лучший учебник по токенизации, который я нашел до сих пор. Он охватывает лучшие практики в реализации различных методов, которые включают использование getline() и find_first_of() в С++ std, а strtok() в C.