biohazard, на Компорте (если это ты) особым ораторством не отличался
Лично я вижу только демонстрацию своих знаний в этой области (p.s. ничего нового для себя не узнал - не удивил). В то время как ни слова о том, как можно реализовать (симитировать) действие клиента с помощью ПО, в виде скрипта.
Да, на компорте это я. А о чём там ораторствовать? Там форум не специализируется на веб-кодинге, что хотел - то коментил, зато вы там просто звезда экрана, мочите ораторским искусством направо и налево, только и успевай уворачиваться

А тут вроде веб-мастера собрались, ковбои дримвьюверов и небожители гугла, можно децл поговорить, размять косточки. А то, знаете-ли, в нашей провинции нет у мну знакомых, знакомых (извените за тавтологию) с пхп.
Как сымитировать? Я почём знаю? Я поисковых роботов не писал ни разу, я сайты пишу, цмс, да...
Но давайте не будем переходить на личности.
Возможно, ты не понимаешь (или не хочешь понимать) мою идею о том, чтобы "тупо выдранный текст" ответа сервера на запрос клиента представить в свое собственное представление в формате, к свойствам и методам которого можно было бы обращаться так, чтобы это выглядело как DOM. Это во-первых.
Масло масленное. Вы лелеите идею об эмуляции ДОМ (если я правильно понял)? Хм.. повторюсь, удачи...
Во-вторых. Любое ajax-приложение основано на GET-запросах JS на удаленный сервер. Следовательно, абсолютно в любом js-скрипте (ядре фреймворка) заложена функция, это выполняющая. И любой программист тебе скажет, что функция это принимает как минимум 2 параметра:
1. Путь к скрипту на сервере
2. Аргументы (параметры)
К чему это я? А к тому, чтобы, каким-то образом обнаружив две вышеуказанных сущностей, паук мог сопоставить конкретное действие юзера с конкретным запросом на удаленный сервер. Ясно?
Предположим, паук смог одуплить где у нас путь к скрипту, аргументы для него, сумел отправить запрос на сервер (каким то образом спарсив страницу, найдя и выполнив всю её яву) и даже получить ответ. Разобрался в куче пришедших переменных, что есть контент для страницы, и т.д.
Только вот он ведь должен как то сохранить себе ссылку
на этот контент. Вот тут и начинаются главные грабли аякса.
Я предвижу ваши возгласы типа "сервер вместе с контентом пришлёт ссылку на него" или "надо придумать урл для аякса". Первом случае ответ - нужен протокол для аякс запросов, общий для всех подобных приложений. Во втором мнения расходятся.
Лично моё мнение - для пауков надо делать версию сайта без аякса, с чпу и т.д. А если юзер-агент - браузер - показывать аякс версию, но тут опять же грабли с урл (хотя тут есть кой-какие наработки).
з.ы. мы с вам водку не пили, чтобы на "ты" переходить.