POST запросы в цикле с изменением параметра

Вопросы программирования и использования среды Lazarus.

Модератор: Модераторы

POST запросы в цикле с изменением параметра

Сообщение Moneo » 27.04.2019 17:23:52

Добрый день. Нужно выполнить огромное количество POST запросов с изменением лишь одного параметра (около 7млн пост запросов), в потоках они делаются плохо, сервер не успевает отвечать на каждый (максимум 2.5 запроса в секунду обрабатывает корректно). Есть ли готовый инструментарий для таких вещей который бы парсил разными IP адресами или придется самому городить парсинг прокси серверов? Нужно это для выгрузки данных с сервера, доступа к базе нет и возможности передать сразу несколько значений параметра в одном запросе тоже нету.
Moneo
новенький
 
Сообщения: 20
Зарегистрирован: 21.03.2017 17:04:01

Re: POST запросы в цикле с изменением параметра

Сообщение Vadim » 27.04.2019 17:46:01

Moneo
Непонятен смысл вопроса.
Параметр в POST-запросе без каких-либо проблем меняется в цикле. Но ускорить выполнение запросов это Вам никоим образом не поможет, т.к. это зависит исключительно от сервера.
Moneo писал(а):Есть ли готовый инструментарий для таких вещей который бы парсил разными IP адресами

Вы тут что имели в виду? Как и в предыдущем случае это зависит не от инструмента а от того, есть ли у Вас эти разные IP-адреса или нет.
Ничего непонятно, постарайтесь объяснить более понятно что Вам нужно...
Vadim
долгожитель
 
Сообщения: 3653
Зарегистрирован: 05.10.2006 08:52:59
Откуда: Красноярск

Re: POST запросы в цикле с изменением параметра

Сообщение Moneo » 27.04.2019 18:08:23

Есть ли инструментарий который отправляет post запросы с сменой IP адресов, чтобы самому не городить сборщик прокси. Мне всего лишь надо сделать это единаразово.
Moneo
новенький
 
Сообщения: 20
Зарегистрирован: 21.03.2017 17:04:01

Re: POST запросы в цикле с изменением параметра

Сообщение Снег Север » 27.04.2019 18:13:57

Есть. Называется TOR. Может работать как локальный прокси. гуглите на "использование tor как прокси".
Аватара пользователя
Снег Север
долгожитель
 
Сообщения: 1925
Зарегистрирован: 27.11.2007 16:14:47

Re: POST запросы в цикле с изменением параметра

Сообщение Лекс Айрин » 27.04.2019 18:30:40

А зачем столько запросов? Очень напоминает атаку на отказ от обслуживания. Не проще ли скачать всю базу целиком?
Аватара пользователя
Лекс Айрин
долгожитель
 
Сообщения: 5723
Зарегистрирован: 19.02.2013 16:54:51
Откуда: Волгоград

Re: POST запросы в цикле с изменением параметра

Сообщение Moneo » 27.04.2019 18:33:44

Лекс Айрин писал(а):Не проще ли скачать всю базу целиком?

интересно каким образом, если бы что-то было проще, то я бы так и сделал. Нужная информация выдается сервером по нажатию на строчку в основной таблице, соответственно нужно отослать запрос по каждой строчке основной таблицы - другого варианта я тут не вижу.
Снег Север писал(а):Есть. Называется TOR

Тор не подходит так как у меня софт под Windows, да и пишут что долгое ожидание ответа от тора.
Moneo
новенький
 
Сообщения: 20
Зарегистрирован: 21.03.2017 17:04:01

Re: POST запросы в цикле с изменением параметра

Сообщение Снег Север » 27.04.2019 18:53:38

Moneo писал(а):Тор не подходит так как у меня софт под Windows, да и пишут что долгое ожидание ответа от тора.

Прекрасно работает по виндой. А насчет времени ожидания - всё равно ничего лучшего вы не найдете. Кроме собственного прокси-сервера в датацентре.
Аватара пользователя
Снег Север
долгожитель
 
Сообщения: 1925
Зарегистрирован: 27.11.2007 16:14:47

Re: POST запросы в цикле с изменением параметра

Сообщение Vadim » 27.04.2019 19:05:13

Лекс Айрин писал(а):Не проще ли скачать всю базу целиком?

Он писал, что нет доступа к базе. У нас, к примеру, база тоже закрыта, можно только через приложение-сервер к ней обращаться. Там у них либо катастрофическая ошибка при проектировании приложения, либо действительно взлом, хотят спровоцировать "отказ-в-обслуживании", чтобы загнать сервер в ступор и получить возможность веселиться без прав рута.
Vadim
долгожитель
 
Сообщения: 3653
Зарегистрирован: 05.10.2006 08:52:59
Откуда: Красноярск

Re: POST запросы в цикле с изменением параметра

Сообщение Moneo » 27.04.2019 19:17:26

Я писал что это нужно для парсинга, ни о каком взломе речи не идет.
Moneo
новенький
 
Сообщения: 20
Зарегистрирован: 21.03.2017 17:04:01

Re: POST запросы в цикле с изменением параметра

Сообщение Vadim » 27.04.2019 19:30:50

Moneo
Вы так и не ответили, что конкретно надо делать... ;-)
Вы не можете составить POST-запрос меняя просто параметры? Или не можете быстро делать запросы? Ваш вопрос непонятен, я же просил объяснить более подробно. Понятно, что Вы знаете, что Вам нужно, но Вам это необходимо объяснить другим людям, только тогда можно расчитывать на более-менее внятный ответ. ;-)
Vadim
долгожитель
 
Сообщения: 3653
Зарегистрирован: 05.10.2006 08:52:59
Откуда: Красноярск

Re: POST запросы в цикле с изменением параметра

Сообщение Снег Север » 27.04.2019 20:20:21

Vadim, ну в первом же посте всё внятно - сервер обрабатывает 2.5 запроса в секунду с одного IP. Топикстартер хочет попробовать запускать больше запросов с разных IP, предполагая, что они будут обрабатываться параллельно сервером. Чтобы быстрее выкачать данные. Но я не вижу никакой реальной возможности для этого, кроме массы виртуальных прокси, типа тора.
Аватара пользователя
Снег Север
долгожитель
 
Сообщения: 1925
Зарегистрирован: 27.11.2007 16:14:47

Re: POST запросы в цикле с изменением параметра

Сообщение Moneo » 27.04.2019 20:29:54

Я хочу сделаю нормальную скорость парсинга, менять значения параметров я умею :D . Сейчас эта скорость 2.5 запроса в секунду, при подсчетах все запросы что надо отправятся через 722 часа. Ограничения я так полагаю идут с стороны сервера на IP адрес запросов в секудну или тайм аут какой-то. Решение отправка через смену IP адресов. Вопрос есть ли готовый инструмент для отправки пост запросов с сменой параметра через смену IP адресов или бесплатный инструмент для сбора IP адресов или же надо писать самому сбор прокси серверов.
Moneo
новенький
 
Сообщения: 20
Зарегистрирован: 21.03.2017 17:04:01

Re: POST запросы в цикле с изменением параметра

Сообщение Vadim » 27.04.2019 20:40:40

Снег Север
Если сервер в состоянии обрабатывать только 2,5 запроса, то можно насадить хоть 100500 прокси, общее время останется таким же, т.к. оно зависит от сервера.
Moneo писал(а):Я хочу сделаю нормальную скорость парсинга,

Парсинга чего? У Вас сервер, хоть Вы что делаете, не сможет обрабатывать 1 запрос быстрее, чем это он делает сейчас. Если Вы предполагаете, что это у него искусственное ограничение для запросов с одного IP, то нужно посмотреть документацию сервера по этому вопросу. При чём тут клиентские компоненты?
И ещё раз повторю - IP-адреса клиента зависят от их наличия у клиента, а вовсе не от каких-то там компонентов. Для примера - Вы себе поставили 14 браузеров и что, у Вас от этого появилось 14 IP-адресов?

Информация для размышления:
У нас на работе стоит сервер, который в состоянии ответить только на запросы, которые ему приходят не чаще чем 1 раз в секунду. Если я сделаю какое-то промежуточное приложение, то время обработки от этого не изменится - запросы просто будут ставится в очередь и обрабатываться сервером только тогда, когда он освобождается для их приёмов.
Vadim
долгожитель
 
Сообщения: 3653
Зарегистрирован: 05.10.2006 08:52:59
Откуда: Красноярск

Re: POST запросы в цикле с изменением параметра

Сообщение Moneo » 27.04.2019 20:47:41

Vadim писал(а):Для примера - Вы себе поставили 14 ьраузеров и что, у Вас от этого появилось 14 IP-адресов?

Похоже вы далеки от понимания работы серверов и методик защиты от парсинга. Очевидно сервер не мой, документации никакой нет, доступа к базе данных очевидно тоже нет. По защите от парсинга одна из практик по настройке серверов это ограничение количества запросов с одного IP адреса в период времени, тем более что для парсинга я не использую авторизацию на сервере, только токен (по нему тоже могут быть ограничения, но этого я пока не узнаю пока не попробую через прокси сервера парсить). Браузеры не помогут, так как нужно брать прокси сервера для каждого из них - понятное дело если отправлять запросы с одного и того же IP и разных браузеров, но вырастит только количество ошибок с стороны сервера.
Moneo
новенький
 
Сообщения: 20
Зарегистрирован: 21.03.2017 17:04:01

Re: POST запросы в цикле с изменением параметра

Сообщение Vadim » 27.04.2019 21:48:44

Moneo писал(а):Похоже вы далеки от понимания работы серверов и методик защиты от парсинга.

Это исключительно из-за того, что Вы не можете объяснить этот момент.
Про браузер я Вам привёл только в качестве примера. Вы этого не поняли? С чего вдруг Вы это обсуждать кинулись, вместо того, чтобы объяснить Ваши конкретные трудности. Перепираясь таким образом, Вы ответа никогда не получите. Попробуйте всё-таки взять себя в руки и объяснить Вашу трудность.
Пока что я понял, что Вы ничего не знаете о свойствах сервера. Это плохо. Потому что не объяснив это нам здесь, ответа Вы не получите. Сосредоточтесь и постарайтесь объяснить...
Vadim
долгожитель
 
Сообщения: 3653
Зарегистрирован: 05.10.2006 08:52:59
Откуда: Красноярск

След.

Вернуться в Lazarus

Кто сейчас на конференции

Сейчас этот форум просматривают: нет зарегистрированных пользователей и гости: 4

Рейтинг@Mail.ru