Человекоподобные движения мыши через селен

Один из подходов к решению капчей, таких как Google ReCaptcha, - попытаться подражать действиям мыши: движения, зависания и щелчки.

Как переместить мышь к определенному элементу по траектории B-сплайна через Selenium?

Обратите внимание, что обычный browser.actions().mouseMove(elm).perform(); будет "прыгать" прямо на элемент и слишком быстро. Я понимаю, что это вопрос замедления скорости движения, "прыжки" из точки в точку, плавно следуя математической модели траектории B-сплайна.

^{Мы используем Protractor/JavaScript, но вопрос действительно является языковым агностиком.}^{Обратите внимание, что я не пытаюсь решить капчу, или внести вклад в "перехват", в результате чего новые злые боты нарушают условия использования здесь и там ". Мне просто любопытно и хочется получить больше навыков в области автоматизации тестирования.}

Ответы

Ответ 1

Вы можете использовать scipy.interpolate для интерполяции кривых B-сплайнов, как вы можете видеть в этом вопросе

Здесь я буду использовать один из примеров B-сплайнов для получения значений x и y

import numpy as np
import scipy.interpolate as si

#curve base
points = [[0, 0], [0, 2], [2, 3], [4, 0], [6, 3], [8, 2], [8, 0]]; #curve base
points = np.array(points)

x = points[:,0]
y = points[:,1]


t = range(len(points))
ipl_t = np.linspace(0.0, len(points) - 1, 100)

x_tup = si.splrep(t, x, k=3)
y_tup = si.splrep(t, y, k=3)

x_list = list(x_tup)
xl = x.tolist()
x_list[1] = xl + [0.0, 0.0, 0.0, 0.0]

y_list = list(y_tup)
yl = y.tolist()
y_list[1] = yl + [0.0, 0.0, 0.0, 0.0]

x_i = si.splev(ipl_t, x_list) #x interolate values
y_i = si.splev(ipl_t, y_list) #y_interpolate values

Со значениями x и y вы можете перемещать курсор мыши с помощью ActionChains

from selenium import webdriver
from selenium.webdriver.common.action_chains import ActionChains

url = "https://codepen.io/falldowngoboone/pen/PwzPYv"
driver = webdriver.Chrome(executable_path="/home/selenium/chromedriver2.25")
driver.get(url)

action =  ActionChains(driver);

startElement = driver.find_element_by_id('drawer')
#First, go to your start point or Element
action.move_to_element(startElement);
action.perform();

for mouse_x, mouse_y in zip(x_i, y_i):
    action.move_by_offset(mouse_x,mouse_y);
    action.perform();
    print(mouse_x, mouse_y)