Если кто-то что-то может сказать, скажите (ну может у меня ctr завышен, надо шабик упростить или еще какие замечания). А если вам не нравятся грустные картинки, сходите посмотрите веселые к арсеру.

Не побоюсь сделать короткий анализ и прогноз на будущий алгоритм. Если кто-то не читал мадридский доклад яндекса, советую сделать это, потому что как раз сейчас мы видим в выдаче результаты работы алгоритмов с учетом поправок, о которых там говорилось. Если прочитали и непоняли, то резюмируя: Яша научился определять платные (seo) ссылки от естественных. Делается это не на основе способа простановки (помните, раньше многие паниковали по этому поводу) - ссылки могут быть проставлены хоть сапой, хоть руками, а на основе соответствия тематики страницы-донора и проставленной с нее ссылки. По сути страница, ссылающаяся не по теме, палится. Если сайт имеет множество таких страниц - сайт является сателлитом. Если сайт покупает такие ссылки - он продвигается платными ссылками.

По сути, чтобы не попасть под АГС нужно просто продавать ссылки по теме страницы. Википедия тому подтверждение - с нее проставлено сотни тысяч ссылок, но каждая из них по теме, то есть носит рекомендательный характер, а, следовательно, является естественной. Что касается оптимизаторов, то на них это скажется следующим образом: по некоммерческим запросам они отключили влияние seo ссылок. То есть появилось разделение коммерческих и некоммерческих запросов. Как бы для коммерческих запросов наличие платных ссылок вполне оправдано - фирмы тратят большие бабки, чтобы их сайт был в топе, а, следовательно, им есть что показать по этому запросу. Для некоммерческих запросов вполне логично оставить в топе информационные страницы разного качества. Для чего это сделано? Ответ прост: для того чтобы сделать более разнообразной. Возьмем пример “очищение организма”. В топе сейчас 8 каталогов статей и только пару сайтов коммерческой тематики, при этом все они продвигаются либо безанкорно, либо статьями. Сайты, продвигающиеся сапой (санатории), сидят на второй - третьей странице выдачи.

Таким образом, естественные ссылки - контекстные ссылки в сапе, других биржах, это ссылки со статей (миралинкс), ссылки без анкора или анкором вида site.ru.

SEO ссылки - обычная сапа с блоков ссылок, стоящая в футере. Вот и вся тема.

Кстати увеличилось влияние регионов доноров, так что если мы делаем качественное продвижение - то берем ссылки из контекста с доноров нашего региона. А если продаем ссылки - то снимаем блоки сапы и суем сайт в миралинкс и продаем ссылки из тела статьи

И еще появился бот, который режет страницу на блоки (хеадер, контент, меню, футер) и придает больше веса той или иной части страницы. А html 5 ему в этом только поможет.

Кстати, следующий город - Колыма? Как вы думаете?

Так вот. Есть такой интересный сайтик, в топе по запросу автоэкспертиза. У него такие смешные беки типа «1d03, автоэкспертиза» или «ra31, оценка автомобиля». Спрашивается, нафига? Ответ прост. Первое. Они разбавили беки, чтобы они не склеились. Разбавленные беки работают классно. Второе. Они проставили ссылку с уникальным анкором, по которому можно сделать простой запрос в яндекс недельки через две-три после простановки. Наш сайт нашелся по ссылке? Супер! Нет? Ссылка не работает и не передает вес. И нам пофигу на нашего донора – под АГС он или вылетел на один ап из-за хостинга, или еще что. Ссылка закешировалась, вес отдает. Оставляем ее.

Если Вы пароноик, или берете дорогие ссылки, то можно проверять их ручками, можно написать скрипт, который делает запросы к яше черех Я.xml и отмечает неработающие ссылки. Вот.

З.Ы.: последний ап – докрутка Снежинска или новый алгоритм?

Попытался разобраться, куда просрал квартиру:

Если коротко, то разочарование года - машина. Если в 2008 без нее уходило на проезд порядка 43К, то машина вылилась в 150К (сама тачка) +63К(масло, штрафы, резина, налоги, техосмотры и т.п.) +42К на бензин = 250К деревянных. При том, что все равно на метро приходиться ездить.  Графа фигня фсякая - это отпуски в Турции и Европе, фотики, подарки и прочая борода. Аренда жилья - самая стабильная графа, тут вроде и комментировать нечего.  Остальное по мелочи.  Вот и разошлась моя квартирка по всякой ерунде.

Следующий год будет переломным - жена не будет работать, сапу всю забанит Яндекс, в смс-разводы лезть не хотца, а в адсенсе денег нету, а с фармой пока тухло. Так что, буду либо двигать сайты своими сетками, либо сматывать удочки и ехать в Сибирь газ добывать.

Всем хорошего нового года, и помните: в  SEO денег нет!

UPD: Скачать файл EXCEL для ежедневного учета финансов.

З.Ы.: ссылок реферальных не ставлю, вы все равно все лентяи, работать не будете.

Установка:

1. На денвере ставим админку index.php

2. В настройках денвера находим php.ini и ставим magic_quotes_gpc=off

3. Для сайта на html кладем в корень папку links.txt, а на каждой странице проставляем

include(”link.txt”)  . Скрипт сам обновит этот файл. Очень удобно.

4. Для сайта на wordpress  скидываем xss.php в папку плагинов, заходим в админку и активируем. Потом ставим в шабик код, как у автора на сайте. У меня работает.

Скриптом удобно проверять всякие маленькие гипотезы и просто прокачать какой то сайт. Если вы ранее ставили на своих сателлитах код сапы в отдельный файл, то будет еще легче.

З.ы.: у могилевского есть альтернативное решение но оно несколько для других целей.

10 ноября Яндекс анонсировал новый поисковый алгоритм – «Снежинск». Алгоритм основан на методах, описанных в презентации доклада Яндекса «Greedy function optimization in learning to rank» на RuSSIR-2009. Презентация содержит много математики, которая понятна не всем оптимизаторам, и в этой статье я попробую кратко описать ситуацию со «Снежинском» более простыми словами.

Итак, задача Яндекса - найти такую функцию ранжирования, которая по любому запросу находит самые релевантные этому запросу ответы и выдает их пользователю в правильном порядке, по убыванию релевантности. Построить такую функцию ранжирования вручную не реально, как показала мировая практика, поэтому построение идет автоматически – функция каким-то образом обучается на заранее подготовленных данных. Для обучения «Снежинска» выбран жадный (greedy) алгоритм, особенности работы которого для оптимизатора не важны. Следует только отметить, что такое обучение теперь проходит очень быстро, даже на большом объеме данных относительно большинства других обучающих методов.

Рассмотрим сам процесс обучения. Строится обучающая выборка из пар «запрос-документ», каждой такой паре присваивается значение релевантности. В презентации Яндекса говорится, что это значение из интервала [0..1], но это не принципиально. Такое значение релевантности можно условно назвать «истинной» релевантностью. Как считают эти «истинные» релевантности яндексоиды – не суть важно. Например, самый простой способ получить «истинную» релевантность документа запросу – взять значение релевантности из текущей выдачи Яндекса, работающей по алгоритму «Арзамас». Но, скорее всего, она имеет другие корни, т.к. в противном случае выдача «Снежинска» мало отличалась бы от выдачи «Арзамаса», по крайней мере на обучающих запросах.

Любая функция ранжирования для запроса и документа должна выдать свое значение релевантности документа запросу. И задача обучения – подогнать параметры функции ранжирования так, чтобы выдаваемые функцией значения релевантности были как можно ближе к значениям «истинной» релевантности для всех пар «запрос-документ» из обучающего множества.

Для этого яндексоиды в «Снежинске» предложили такой подход: функция ранжирования строится как сумма очень большого числа других функций с некоторыми коэффициентами:

F = a₁*f₁ + a₂*f₂ + … + a_n*f_n

Яндексоиды объявили, что n – несколько тысяч. Обучение в данном случае – это подгонка коэффициентов a₁…a_n. Важными для оптимизатора в данном случае являются не столько коэффициенты a_k (о них ниже), сколько сам вид функций f_k.

В презентации Яндекса можно найти такой пример для функции F:

F = 3:14*log₇(f₉(q; d)) + e^f₆₆(q;d) + …

Из примера видно, что функции немного «странные». В этом и заключается одна из «фишек» метода – в набор функций включают абсолютно дикие экземпляры, важно, что этих функций очень много. Какой-то логики в этих функциях вообще крайне мало, важно, что любая из них вносит не очень большой вклад в общее значение релевантности. Например, для пары «запрос-документ» число прямых вхождений запроса в текст документа или в анкор-файл документа могут быть параметром в сотнях функций. Это говорит о том, что реальный вклад таких прямых вхождений для конкретного документа вычислить очень сложно даже разработчику алгоритма, тем более, что коэффициенты a_k могут меняться после каждого обучения, да хоть и 10 раз в день.

Т.е. определить степень влияния например стат. веса отдельного документа на его место в топе по конкретному запросу – не тривиальная математическая задача даже для Сегаловича, Садовского и Расковалова вместе взятых. И это для отдельного документа, что уж говорить о выдаче в целом. Таким образом, все утверждения сео-аналитиков о том, что в «Снежинске» рулит «траст»|биржи|старые каталоги|возраст домена|статьи|текст документа и т.д. не имеют под собой оснований. Все теперь гораздо сложнее и просчитать влияние отдельных параметров документа на выдачу практически невозможно.

Пути решения проблемы теоретически есть. Для этого нужно создать свою большую обучающую выборку наборов «запрос-документ» и обучать ее на выдаче «Снежинска» на своем большом наборе функций. Такие функции будут, конечно же, сильно отличаться от функций из формулы ранжирования Яндекса, но это не критичный момент, при достаточном объеме обучающего множества задача имеет решения.

И еще несколько слов о перспективах «Снежинска» для Яндекса. В целом такой алгоритм обучения дает вполне приемлемые результаты, но это в целом, дьявол как всегда кроется в деталях. Наверняка есть большое количество запросов, выдача по которым оставляет желать лучшего. Проблема решается добавлением новых пар «запрос-документ» в обучающее множество и новой подгонкой коэффициентов. Если подгонка не дает приемлемого решения, добавляется кучка новых «странных» функций в формулу и обучение начинается снова. В итоге возможны варианты, когда несколько тысяч параметров вырастут со временем до нескольких десятков тысяч, причем вполне вероятна ситуация, когда ни какие танцы с бубном уже не дают улучшения релевантности. Время покажет, на сколько дееспособен такой подход к обучению.

В заключении стоит отметить любопытные свойства коэффициентов a_k в формуле ранжирования. Так как на них не накладывается никаких ограничений, то они вполне могут быть отрицательными. То есть какие-то слагаемые в функции ранжирования могут давать отрицательный вклад в релевантность. Для примера положим, что для каждого значения тИЦ в формуле ранжирования есть функция, параметром которой будет количество ссылок на документ именно с этим значением тИЦ. И вполне может оказаться, что, скажем, у функции от тИЦ=375 вклад отрицательный. Не зависимо от качества доноров и прочих факторов.

Источник 2.

Как я понял сейчас алгоритм основан на нейросетевой технологии:
-по сотням или тысячам критериев оцениваются сайты на соот. тем или иным запросам
-выявляются пары релевантные пары: страница-запрос
-которые попадают в обучающую выборку (назовем их эталоны или эксперты)
-на основе этих сайтов экспертов строится вся выдача (по сути это прогнозирование)
-таким образом им не надо писать ф-ию определения релевантности, после обучения нейронной сети они получают несколько готовых ф-ий ранжирования документов
-после чего выбирается из всего множества полученных функций одна с минимальными потерями
-для нее рассчитываются потери (насколько я понимаю - это вероятность или величина ошибки ранжирования)
-на след. итерациях уменьшаются потери и т.д.

Все понятно? Пока в выдаче доры, австралийские сайты, спам, думаю, подкрутят.

2. На домены в зоне RU необходим скан паспорта для регистратора

3. Рейтинг популярных записей закрывают в связи с давлением кремля? (Страница рейтинга будет доступна до декабря. Надеемся, что за это время вы найдете себе другой рейтинг по душе). Пойду сниму их кнопочку из сайдбара.

Что дальше?

Ссылки с непроиндексированных страниц сайтов под АГС передают ссылочный вес. Доказательство. Одна страница в серпе, и та найдена по ссылке

Надо пойти покурить и подумать.