Каковы альтернативы теперь, когда API веб-поиска Google устарел?

API веб-поиска Google устарел и заменен на API пользовательского поиска (см. http://code.google.com/apis/websearch/).

Я хотел искать всю сеть, но похоже, что с новым API можно искать только пользовательские сайты.

Есть ли способ поиска программ в Интернете? Я смог запросить старый API с помощью JSON из Java-программы.

Ответы

Ответ 1

Вы можете просто отправить их через браузер, а затем проанализировать html, это то, что я всегда делал, даже для таких вещей, как Youtube.

Ответ 2

Да, Google Пользовательский поиск теперь заменил старый API поиска, но вы все равно можете использовать Google Custom Search для поиска по всему веб-сайту, хотя эти шаги не очевидны в настройках пользовательского поиска.

Чтобы создать поисковую систему Google, которая просматривает всю сеть:

  • На домашней странице Google Custom Search (http://www.google.com/cse/) нажмите "Создать систему пользовательского поиска".
  • Введите имя и описание для вашей поисковой системы.
  • В разделе Определить свою поисковую систему в поле "Сайты для поиска" введите хотя бы один действительный URL-адрес (на данный момент просто поместите www.anyurl.com, чтобы пройти мимо этого экрана. Подробнее об этом позже).
  • Выберите версию CSE, которую вы хотите, и примите Условия использования, затем нажмите "Далее". Выберите нужный вариант макета и нажмите "Далее".
  • Чтобы перейти к панели управления, нажмите любую ссылку в разделе "Следующие шаги".
  • В левом меню в разделе "Панель управления" нажмите "Основные".
  • В разделе "Настройки поиска" выберите "Поиск по всему веб-сайту", но выделите включенные сайты.
  • Нажмите "Сохранить изменения".
  • В левом меню в разделе "Панель управления" выберите "Узлы".
  • Удалите сайт, который вы ввели в процессе начальной настройки.

Теперь ваша поисковая система будет искать всю сеть.

Цены

  • Пользовательский поиск Google дает вам 100 запросов в день бесплатно.
  • После этого вы платите $5 за 1000 запросов.
  • Максимально 10 000 запросов в день.

Источник: https://developers.google.com/custom-search/json-api/v1/overview#Pricing

  • Качество поиска намного ниже обычного поиска Google (нет синонимов, "интеллект" и т.д.).
  • Похоже, Google даже планирует полностью закрыть эту службу.

Ответ 3

Пользовательский поиск Google (как указано в наиболее популярных ответах) работает хорошо, но очень дорого, по сравнению с его конкурентами (ниже) или по сравнению с другими API Google. У этого есть небольшой свободный уровень (100 запросов/день) и очень высокая цена $5 за 1000 запросов.

Они предлагают возможность перейти на поисковый сайт, который имеет несколько лучшие цены, но это предназначено для поиска на одном сайте (ваш собственный), поэтому это действительно нечто совсем другое - не обновление.

Основные альтернативы:

Bing Search API
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
Который имеет свободный уровень 5000q/месяц, а цены начинаются с 5 запросов за копейки и без жестких ограничений.

UPDATE: в конце 2016 года этот API был отключен в пользу его аналога Azure "API поиска когнитивных услуг Bing":
https://azure.microsoft.com/en-us/services/cognitive-services/search/

См. здесь для диаграммы цен, которая начинается с US $3/м за 1000 транзакций. Если я что-то не хватает, это довольно дорого.

Yahoo BOSS Search API
ОБНОВЛЕНИЕ: было прекращено 31 марта 2016 года. http://developer.yahoo.com/boss/search/
С ценами, начиная примерно с 12 запросов/копейки для поиска в Интернете.

И некоторые, о которых я раньше не слышал:

http://www.gigablast.com/searchfeed.html

http://www.faroo.com/hp/api/api.html

http://www.commoncrawl.org/

http://www.entireweb.com/search_api/implementation/
[прекращено - как указано ниже]

Немного обсуждается некоторые из них на этом сообщении SO.
[закрыт для того, чтобы быть вне темы и теперь ушел)

Ответ 4

Ниже приведена опция в нижней части панели управления пользовательского поиска: "Сайты для поиска" , вы можете выбрать "Поиск по всему веб-сайту, но подчеркнуть включенные сайты"

Custom Search Control Panel - Sites to search

Ответ 6

Я только что наткнулся на это из Common Crawl.

http://www.commoncrawl.org/

Возможно, мы все будем искать!

Ответ 7

Там есть надпись docs:

Примечание. API веб-поиска Google имеет официально устарел с 1 ноября 2010 г. Он будет продолжать работайте согласно нашей политике устаревания, но количество запросов, которые вы можете заработок в день будет ограниченным. Поэтому мы рекомендуем вам перейти на новый API пользовательского поиска.

политика устаревания говорит, что они будут продолжать запускать API в течение 3 лет. Поэтому, если у вас уже есть приложение, использующее старый API, вам не нужно спешить с тем, чтобы что-то менять. Если вы пишете новое приложение, используйте API пользовательского поиска. См. Мой ответ здесь о том, как это сделать в Python, но идея одинакова для любого языка.

Ответ 9

Вы можете создать пользовательскую поисковую систему "везде" прямо с домашней страницы Google Custom Search (http://www.google.com/cse/). Вы должны просто нажать "продвинутый", добавляя новый движок. Там вы можете указать тип сайта Schema.org. 'Thing' является наиболее общим типом, который охватывает всю сеть.