Ответ 1
Я думаю об этом для моего аналогичного проекта. Я сам экспериментировал как рабочий. Вот мой план, я надеюсь, что он вам полезен. (Я еще не реализовал его. Он основан на академическом HIT, в котором я участвовал как рабочий.) Здесь говорится:
а. Создайте шаблон с языком, похожим на:
1. Please open this web site in a new browser window:
http://your-url.xyz.blah/tasks/${token}
2. Read and follow the instructions there.
3. After completing the task, you will receive a confirmation code. Paste
it here: [________]
В. Создайте несколько случайных токенов для файла данных Mechnical Turk:
1A1B43B327015141
09F49F2D47823E0C
B5C49A18B3DB56F4
4E93BB63B0938728
CCE7FA60BFEB3198
...
(Создайте эти маркеры из своего приложения, вам нужно перекрестно ссылаться на них.)
С. Ваше приложение извлекает токен из URL, просматривает задачу и делает все, что нужно. Я лично не беспокоюсь о том, что люди натыкаются на URL-адрес, поскольку это одноразовый токен.
Д. После того как пользователь выполнит задачу на внешнем веб-сайте, внешнее приложение выдаст код подтверждения. Код подтверждения должен быть случайным и непрозрачным. Только ваше приложение будет знать, соответствует ли какой-либо конкретный код правильному или неправильному ответу. Фактически, если вы хотите, правильность может даже не определяться в реальном времени - это может быть результатом агрегирования и/или сравнения между несколькими представлениями.
Е. Напишите код для взаимодействия программно. Возьмите код маркера и подтверждения, полученный из результата MTurk, и убедитесь, что они соответствуют вашему внешнему приложению. Если они не совпадают, отклоните HIT. Если они совпадают, проверьте правильность вашего внешнего приложения и одобрите или отклоните. Вы можете рассмотреть структуру вознаграждения бонусов.
Итак, чтобы ответить на ваши конкретные вопросы:
-
Я не ожидаю проблем с описанным мной подходом. Тем не менее, "Механический турок" - это искусство и наука. Возможно, больше искусства. Написание хороших вопросов и правильное обращение с Туркерами - это то, что вам нужно выяснить с помощью сочетания здравого смысла, маркетинговых исследований и экспериментов.
-
См. выше (C). Токен предназначен для использования только один раз. Используйте достаточно длинные токены, и вероятность столкновения становится очень низкой.
-
См. (E) выше. Руководство для разработчиков Mechanical Turk - это хорошее место для начала.
Пожалуйста, поделитесь своими результатами. Или, если турки отправляют StackOverflow сотни открыток.:)
Примечания:
-
В настоящее время я изучаю квалификационные тесты. Я подозреваю, что они могут быть очень полезными.
-
Я хочу получить идентификатор Worker Turker в своем внешнем приложении, но я еще не понял эту часть. Я читаю об этом; например: Получение employeeId по присваиваниюId
-
Я думаю об использовании функции ExternalQuestion из API: "... вы можете размещать вопросы по ваш собственный веб-сайт с использованием" внешнего "вопроса... HIT с внешним вопросом отображает веб-страницу с вашего веб-сайта в кадре в веб-браузере Worker. На вашей веб-странице отображается форма для Рабочего, чтобы заполнить и Представьте результаты, используя форму, и ваша форма возвращает результаты в" Механический турк ". Использование вашего веб-сайта для отображения формы дает вашему веб-сайту контроль над тем, как возникает вопрос и как собираются ответы".