Но бывают, что система быстро меняется. Настолько, что после завершения эксперимента уже изменились правила игры и результаты можно смело выкинуть, а эксперимент ставить заново.

Чтобы не говорить абстрактно – в пример приведу SEO (Search Engine Optimization). Интересна эта отрасль тем, что здесь идет вечная борьба между сеошниками  и поисковыми системами. И здесь всё очень быстро меняется. То, что работает сейчас – после следующего обновления алгоритмов Яндекса может перестать работать и придется искать новые пути.

Допустим, мы делаем сайты для продажи ссылок. Яндексу это не нравится и он пытается из не индексировать. Он учитывает множество факторов, включая количество и качество контента, количество и качество исходящих ссылок, количество и качество входящих ссылок, IP сервера, данные домена (whois), а также изменение всех этих параметров во времени (динамические факторы).

Нам нужно вычислить в ходе экспериментов, как заставить Яндекс сожрать эти сайты. Для этого видимо нужно сделать какое-то количество новых сайтов (10-50 штук), в которых варьировать некоторые параметры (например, качество контента и скорость прироста внешних ссылок). И далее наблюдать на реакцию Яндекса.

Беда вся в том, что результаты эксперимента будут видны далеко не сразу. Минимум придется подождать 2-4 недели. Лучше больше – 6-8 недель, т.к. часто бывает, что сайт сначала входит в поисковый индекс Яндекса, но через два-три апа (обновления поискового индекса) выпадает оттуда.

Если бы алгоритмы Яндекса оставались неизменными, то это было бы нормально. Поставили жксперимент, подождали 2 месяца, проанализировали результаты. И можно работать – вкладывать время и деньги в создание сайтов с рассчитанными параметрами. Однако Яндекс меняет алгоритмы с частотой раз в 2-4 месяца. И велика вероятность, что когда эксперимент будет завершен, алгоритм сменится и результаты станут бесполезны.

Что делать в такой ситуации? Видимо нужно интегрировать эксперимент в нормальный рабочий процесс. Чтобы эксперимент не был отдельным  этапом в жизненном цикле нашей конторы. Сайты делаются в больших количествах, допустим по 5 штук в день.  Можно в один день взять одну комбинацию факторов, завтра другую, послезавтра третью. И по ходу дела постоянно мониторить ситуацию – какие сайты выживают лучше, какие хуже. Когда будет очевидно, что какой-то фактор влияет четко негативно – фиксируем это и больше так не делаем. Так рабочий процесс у нас не будет останавливаться, а вновь создаваемые сайты будут постоянно приспосабливаться под меняющиеся условия.

Может можно еще как-то, а?