Какими средствами можно анализировать страницы сайта.

Модераторы: Hawk, Romeo, Absurd, DeeJayC, WinMain

Ответить
iscan
Сообщения: 5
Зарегистрирован: 20 фев 2005, 22:16

Такой вопрос.
Понадобилось анализировать страницы сайта. Т.е. скачивать к себе страницу, анализировать, "нажимать" кнопочки или ссылки, получать новые страницы, опять анализировать.
В этом вопросе я пока 0, но раньше немного программировал на С++.
Расскажите, пож., какими методами(средствами) можно выполнить такую задачу.
Спасибо.
Аватара пользователя
AiK
Сообщения: 2287
Зарегистрирован: 13 фев 2004, 18:14
Откуда: СПб
Контактная информация:

Анализировать - ручками. Парсить - соответственно парсером. Например, MSHTML. Ну или другой готовый взять. Свой написать в принципе не сложно, но вот на его вылизывание не один год уйдёт - HTML он вообще-то не регулярный и 99% документов в сети содержат кривой код.
Даже самый дурацкий замысел можно воплотить мастерски
iscan
Сообщения: 5
Зарегистрирован: 20 фев 2005, 22:16

А если свой писать, то на С++ это сделать можно?
Аватара пользователя
AiK
Сообщения: 2287
Зарегистрирован: 13 фев 2004, 18:14
Откуда: СПб
Контактная информация:

iscan, свой парсер? Можно конечно, только это изобретение велосипеда.
Даже самый дурацкий замысел можно воплотить мастерски
Аватара пользователя
WinMain
Сообщения: 929
Зарегистрирован: 14 янв 2005, 10:30
Откуда: Москва
Контактная информация:

Лучше это делать не на С++ (тем более если знаешь его слабо), а на специально предназначенных для этого языках типа JavaScript или VBScript. В них уже встроен анализ HTML-документов и ты без больших усилий сможешь обращаться ко всем объектам на web-странице, вызывать их методы, а так же управлять самим браузером.
Компоненты типа MSHTML и MSXML можно использовать, если знаком с СОМ-технологией, иначе всё-равно ничего из этого не получится.
Styopa
Сообщения: 40
Зарегистрирован: 30 сен 2004, 19:22
Откуда: Севастополь
Контактная информация:

iscan, есть средства без всяких методов :) . Это программка WebCopier 4. Ищи в Яндексе и воздастся тебе. Я где-то находил с кряком, пару недель назад. Никаких Сей, *скриптов и парсеров знать не понадобится :) ...
В жизни программиста всего три плюса. Из них два - в Си++, а третий - крест на его могиле.
Ответить