Чем пошарить в инете

Вопросы программирования и использования среды Lazarus.

Модератор: Модераторы

Чем пошарить в инете

Сообщение zub » 09.09.2017 13:39:46

Полный нуб в этом вопросе.
Какие либы есть у fpc\lazarus для этих целей?
Чем например можно залогинится в vk и проверить наличие новых сообщений?
zub
долгожитель
 
Сообщения: 2884
Зарегистрирован: 14.11.2005 23:51:26

Re: Чем пошарить в инете

Сообщение Alex2013 » 09.09.2017 14:21:15

В принципе все довольно просто берем компонент для создания своего браузера
( Что то вроде Chromium Embedded Framework
https://habrahabr.ru/post/152637/
https://github.com/dliw/fpCEF3
https://www.briskbard.com/index.php?lang=en&pageid=cef)
https://devlaz.ru/chromium-in-lazarus/
http://www.delphi-dev.ru/index.php/laza ... zarus.html
Выпиливаем из интерфейса сайтов нужные запросы читаем и парсим нужную страничку ...
Если хитро логинится не нужно все делается еще проще тем же "синапсом" ...
(Вон у меня программа сейчас картинку с веб-камер тянет а еще раньше делал вот что
(Через IE) http://alexkir.narod.ru/W_VID1.jpg http://alexkir.narod.ru/W_VID3.jpg )
Alex2013
долгожитель
 
Сообщения: 2922
Зарегистрирован: 03.04.2013 11:59:44

Re: Чем пошарить в инете

Сообщение vitaly_l » 09.09.2017 14:41:39

zub писал(а):залогинится в vk и проверить наличие новых сообщений

Synapce - оправляете обычный GET запрос и получаете ответ в чистом виде.
В основном читайте API для VK, у них там всё подробно описано. При желании запрос можно сделать POST.
Если с доступом к VK будут проблемы, то притворитесь крутым браузером, типа "Хром" или "Лис" и проблемы исчезнут.
Аватара пользователя
vitaly_l
долгожитель
 
Сообщения: 3333
Зарегистрирован: 31.01.2012 16:41:41

Re: Чем пошарить в инете

Сообщение zub » 09.09.2017 14:51:18

synapse vs fcl-web что может первое чего не может второе?
Ну и я реально нуб
что есть GET и что есть POST?
zub
долгожитель
 
Сообщения: 2884
Зарегистрирован: 14.11.2005 23:51:26

Re: Чем пошарить в инете

Сообщение vitaly_l » 09.09.2017 15:08:38

zub писал(а):Ну и я реально нуб
что есть GET и что есть POST?

GET - это "то" что пишется в строке браузера. В смысле http://vk.com?param1=1&param2=2&param3=3, он самый простой в использовании, т.к. всё прописывается одной строкой которая отправляется серверу, а тот выдаёт результат. Но у него есть ограничение по длине запроса.
POST - это когда указывается адрес http://vk.com и отдельно в DATA указываются и передаются все переменные.

Вот например для https протокола:
http://www.webdelphi.ru/2010/01/synapse ... a-s-https/
Аватара пользователя
vitaly_l
долгожитель
 
Сообщения: 3333
Зарегистрирован: 31.01.2012 16:41:41

Re: Чем пошарить в инете

Сообщение pupsik » 09.09.2017 18:23:37

Если с доступом к VK будут проблемы, то притворитесь крутым браузером, типа "Хром" или "Лис" и проблемы исчезнут.
явно вы дружите с вк :) На данный момент без брАВзера сложновато :lol:

synapse vs fcl-web
+ в фпс есть своё (постепенно стающее интереснее синапсе).
1-е может то что и второе (если пристроить). 2-е для удобства написания сервисов (мало документированное). Есть альтернативы.

Чем например можно залогинится в vk и проверить наличие новых сообщений?
проходите авторизацию (oauth 2), получаете ключик и работаете через АПИ. Или отлов событий через браузер (на данный момент хром или системные).
pupsik
энтузиаст
 
Сообщения: 1154
Зарегистрирован: 20.08.2014 16:20:13

Re: Чем пошарить в инете

Сообщение zub » 09.09.2017 18:51:37

pupsik
Это в связи с борьбой с ботами?
В чем предстоящие сложности безбраузерного варианта? насколько реально сейчас на серъезных сайтах шарить без браузера и не юзая их апи?

Добавлено спустя 1 минуту 51 секунду:
>>+ в фпс есть своё (постепенно стающее интереснее синапсе).
Кроме fcl-web еще чтото?
zub
долгожитель
 
Сообщения: 2884
Зарегистрирован: 14.11.2005 23:51:26

Re: Чем пошарить в инете

Сообщение Sharfik » 09.09.2017 19:13:31

zub писал(а):что есть GET и что есть POST?

Привет. В этой книге, если найдешь, была глава описывающая get/post и принцыпы работы сайтов.
https://im0-tub-ru.yandex.net/i?id=fcf1df9f23754b20df6744ad3494950c-l&n=13
Аватара пользователя
Sharfik
энтузиаст
 
Сообщения: 759
Зарегистрирован: 20.07.2013 01:04:30

Re: Чем пошарить в инете

Сообщение Снег Север » 09.09.2017 19:18:04

zub писал(а):В чем предстоящие сложности безбраузерного варианта? насколько реально сейчас на серъезных сайтах шарить без браузера и не юзая их апи?
Не совсем понимаю, по какому критерию сайты считаются серьезными или несерьезными, но могу поделиться личным опытом.
У нас на фирме давно работает программа, которая периодически просматривает несколько десятков международных сайтов с результатами разыгрываемых лотерей. Так вот, приходится использовать разные методы. Большая часть спокойно выдает листинг страниц по Synapce - GET запросу. Но некоторые имеют хитрые скрипты, так что Synapce ничего не выдает. К таким приходится обращаться через Chromium Framework с javascript. Так что ничего универсального нет. Например, есть еще программка для отправки в мордокнигу, но там вечно такие заморочки с API, что проще логиниться в том же Chromium и слать javascript-ами.
Аватара пользователя
Снег Север
долгожитель
 
Сообщения: 2993
Зарегистрирован: 27.11.2007 16:14:47

Re: Чем пошарить в инете

Сообщение vitaly_l » 09.09.2017 19:31:15

Снег Север писал(а):некоторые имеют хитрые скрипты, так что Synapce ничего не выдает

Нет там ничего хитрого. Просто страница подгружается силами JS, а синапс не запускает JS скрипты, соответственно страница грузится частично. При этом многие скрипты срабатывают после движения, так что, простое подключение бравзера - не поможет, т.к. придётся ещё симулировать движение.
Последний раз редактировалось vitaly_l 09.09.2017 19:36:08, всего редактировалось 1 раз.
Аватара пользователя
vitaly_l
долгожитель
 
Сообщения: 3333
Зарегистрирован: 31.01.2012 16:41:41

Re: Чем пошарить в инете

Сообщение zub » 09.09.2017 19:33:49

>>Не совсем понимаю, по какому критерию сайты считаются серьезными или несерьезными
Судя по всему из описанных вами большая часть - не серъезные, а некоторые серезные.

Т.е. сложность в том что сайт проверяет браузер это или программа с помощью "хитрых скриптов"?
zub
долгожитель
 
Сообщения: 2884
Зарегистрирован: 14.11.2005 23:51:26

Re: Чем пошарить в инете

Сообщение pupsik » 09.09.2017 19:38:15

Кроме fcl-web еще чтото?
упс... сколько пользовался и ошибся (точнее не смотрел название пакета :? ). Сори.
Я о fphttpclient и остальном. Так что, можно сказать, пакеты совместимы. Но второй мне более нравится (только из транка он жирнее).

Это в связи с борьбой с ботами?
не только.
В чем предстоящие сложности ... не юзая их апи?
а вы попробуйте.... Сразу отпадут вопросы. И узнаете что проще: браузер привинтить и плясать с ним или...
что есть GET и что есть POST?
открывайте вики. Там всё нормально описано. Какие вопросы, какие ответы. Плюс: что "подавать" на сервер. Ведь не только пост, или гет есть :)

Т.е. сложность в том что сайт проверяет браузер это или программа с помощью "хитрых скриптов"?
сложность в самих скриптах. Надо или конвертировать в нужное, или просто воспользоваться браузером, или подключить длл (из мозилы стянуть) для обработки скриптов (муторное дело).

Добавлено спустя 3 минуты 23 секунды:
zub а хм...: в общем... что вы хотите то? Просто шарить в нете... дык браузер есть. или что то конкретнее?
pupsik
энтузиаст
 
Сообщения: 1154
Зарегистрирован: 20.08.2014 16:20:13

Re: Чем пошарить в инете

Сообщение vitaly_l » 09.09.2017 19:50:15

zub писал(а): сложность в том что сайт проверяет браузер это или программа с помощью "хитрых скриптов"?

Сложность в том, что многие сайты создают страницу, не всю сразу, а постепенно для экономии трафика. И вторую часть страницы подгружают скриптом. А ботов ловят иначе.
Аватара пользователя
vitaly_l
долгожитель
 
Сообщения: 3333
Зарегистрирован: 31.01.2012 16:41:41

Re: Чем пошарить в инете

Сообщение zub » 09.09.2017 19:51:13

Хочу ознакомиться с новой для себя областью.
Для начала хотел сделать напоминалку о сообщениях в вк.

>>сложность в самих скриптах.
я могу эти скрипты перегнать один раз на паскаль руками и использовать? или они настолько часто меняются что нужно их выполнять на js?
zub
долгожитель
 
Сообщения: 2884
Зарегистрирован: 14.11.2005 23:51:26

Re: Чем пошарить в инете

Сообщение vitaly_l » 09.09.2017 19:58:08

zub писал(а):я могу эти скрипты перегнать один раз на паскаль руками и использовать

теоретически, да. Но нафига? Для работы с VK API вам ненужно ничего хитрого. Это как общение одной программы с другой программой. Вы отправляете на VK переменные, а VK возвращает Вам затребованный ответ в виде переменных или текста. Всё что Вам нужно это VK API. При этом его работу Вы можете проверить и посмотреть в любом браузере, если использовать метод GET. Писать код ненужно. Когда, посмотрите - поймёте, что именно возвращает VK по API, и увидите, что это также просто, как общение между двумя программами.
Аватара пользователя
vitaly_l
долгожитель
 
Сообщения: 3333
Зарегистрирован: 31.01.2012 16:41:41

След.

Вернуться в Lazarus

Кто сейчас на конференции

Сейчас этот форум просматривают: Alex2013, Google Adsense [Bot] и гости: 26

Рейтинг@Mail.ru