1. Главная
  2. Операционные системы
  3. Семантическое ядро — как составить правильно? Семантическое ядро! Двигатель в продвижении блога! Как правильно создать семантическое ядро

Семантическое ядро — как составить правильно? Семантическое ядро! Двигатель в продвижении блога! Как правильно создать семантическое ядро

Помимо того, сайта, важно знать, как правильно его применить с максимальной пользой для внутренней и внешней оптимизации сайта.

Уже очень много статей написано на тему того как сделать семантическое ядро, поэтому, в рамках данной статьи, я хочу обратить Ваше внимание на некоторые особенности и детали, которые помогут Вам правильно использовать семантическое ядро, и тем самым, помочь раскрутить интернет-магазин или сайт. Но сперва, вкратце дам свое определение семантическому ядру сайта.

Что такое семантическое ядро сайта?

Семантическое ядро сайта - это список, набор, массив, совокупность ключевых слов и фраз, которые запрашиваются пользователями (Вашими потенциальными посетителями) в браузерах поисковых систем, чтобы найти интересующую информацию.

Зачем нужно веб-мастеру составлять семантическое ядро?

Исходя из определения семантического ядра, возникает масса очевидных ответов на этот вопрос.

Владельцам интернет-магазинов важно знать, каким образом потенциальные покупатели пытаются найти тот товар или услугу, которую владелец интернет-магазина желает продать или предоставить. От этого понимания напрямую зависит положение интернет-магазина в поисковой выдаче. Чем более соответствует наполнение интернет-магазина покупательским поисковым запросам - тем ближе интернет-магазин к ТОПу поисковой выдачи. А значит, конверсия посетителей в покупатели будет выше и качественнее.

Для блоггеров, которые активно занимаются монетизацией своих блогов (манимейкингом), также важно быть в ТОПе поисковой выдачи по тематике релевантной содержанию блога. Увеличение поискового трафика несет больше прибыли от показов и кликов из контекстной рекламы на сайте, показов и кликов по рекламным блокам партнёрских программ и рост прибыли по другим видам заработка.

Чем больше на сайте оригинального и полезного контента - тем ближе сайт к ТОПу. Жизнь существует преимущественно на первой странице выдачи поисковых систем. Поэтому, знание того как сделать семантическое ядро является необходимым для SEO любого сайта, интернет-магазина.

Иногда веб-мастера и владельцы интернет-магазинов задаются вопросом - где брать качественный и релевантный контент? Ответ исходит из вопроса - нужно создавать контент в соответствии с ключевыми запросами пользователей. Чем больше поисковые системы будут считать контент Вашего сайта релевантным (подходящим) ключевым словам пользователей - тем лучше для Вас. Кстати, отсюда возникает ответ на вопрос - где брать разнообразие тематики контента? Всё просто - анализируя поисковые запросы пользователей, можно узнать чем они интересуются и в какой форме. Таким образом, сделав семантическое ядро сайта, можно написать ряд статей и/или описаний для товаров интернет-магазина, оптимизируя каждую страницу для определенного ключевого слова (поискового запроса).

К примеру, данную статью я решил оптимизировать по ключевому запросу "как сделать семантическое ядро", потому что конкуренция по данному запросу ниже, чем по запросу "как создать семантическое ядро" или "как составить семантическое ядро". Таким образом, мне гораздо легче пробиться к ТОПу выдачи поисковых систем по этому запросу абсолютно бесплатными методами раскрутки.

Как сделать семантическое ядро, с чего начать?

Для составления семантического ядра существует ряд популярных он-лайн сервисов.

Самым популярным сервисом, на мой взгляд, является статистика ключевых слов Яндекса - http://wordstat.yandex.ru/

При помощи данного сервиса можно собрать подавляющее большинство поисковых запросов в различных словоформах и комбинациях для любой тематики. Например, в левой колонке мы видим статистику количества запросов не только по ключевой фразе "семантическое ядро", но и статистику по различным комбинациям данной ключевой фразы в разных спряжениях и с разбавочными и дополнительными словами. В левой колонке мы видим статистику поисковых фраз, которые искали вместе с ключевой фразой "семантическое ядро". Эта информация может быть ценной, хотя бы в качестве источника тем для создания нового, релевантного Вашему сайту, контента. Ещё хочу упомянуть одну особенность этого сервиса - Вы можете уточнить регион. Благодаря этой опции Вы можете более точно узнать количество и характер нужных Вам поисковых запросов по нужному региону.


Ещё одним сервисом для составления семантического ядра является статистика поисковых запросов рамблера - http://adstat.rambler.ru/


На мой субъективный взгляд, данным сервисом можно пользоваться в том случае, когда идёт битва за привлечение на свой сайт каждого единичного пользователя. Здесь можно уточнить некоторые низкочастотные и long tail запросы, обращение пользователей по ним составляет приблизительно от 1 до 5-10 в месяц, т.е. очень мало. Сразу же оговорюсь, что в дальнейшем мы рассмотрим тему классификации ключевых слов и особенности каждой группы с точки зрения их применения. Поэтому, лично я крайне редко пользуюсь данной статистикой, как правило в тех случаях, если я занимаюсь или узкоспециализированного сайта.

Для формирования семантического ядра сайта также можно пользоваться подсказками, которые выпадают при вводе поискового запроса в браузере поисковика.



И ещё один вариант для жителей Украины пополнить список ключевых слов для семантического ядра сайта - просмотреть статистику сайтов на - http://top.bigmir.net/


Выбрав нужную тематику раздела, ищем открытую статистику наиболее посещаемого и подходящего по тематике сайта


Как видите, интересующая статистика не всегда может быть открытой, как правило, веб-мастера скрывают её. Тем не менее, в качестве дополнительного источника ключевых слов тоже может сгодиться.

Кстати, о том как оформить красиво в табличном виде в Excel весь список ключевых слов Вас научит замечательная статья Глобатора (Михаила Шакина) - http://shakin.ru/seo/keyword-suggestion.html Там же можно прочесть о том как сделать семантическое ядро для англоязычных проектов.

Что делать дальше со списком ключевых слов?

В первую очередь чтобы сделать семантическое ядро, я рекомендую структурировать список ключевых слов - разбить его на условные группы: на высокочастотные (ВЧ), среднечастотные (СЧ) и назкочастотные (НЧ) ключевые слова. Важно, чтобы в данные группы попадали ключевые слова очень близкие по морфологии и тематике. Сделать это удобнее всего в виде таблицы. Я это делаю приблизительно так:


Верхняя строка таблицы - это высокочастотные (ВЧ) поисковые запросы (написаны красным). Их я поставил во главе тематических колонок, в каждую ячейку которых я отсортировал среднечастотные (СЧ) и низкочастотные (НЧ) поисковые запросы максимально однородно по тематике. Т.е. к каждому ВЧ запросу я привязал наиболее подходящие группы СЧ и НЧ запросов. Каждая ячейка СЧ и НЧ запросов - это будущая статья, которую я пишу и оптимизирую строго под набор ключевых слов в ячейке. В идеале, одна статья должна соответствовать одному ключевому слову (поисковому запросу), но это очень рутинная и затратная по времени работа, ведь таких ключевых слов могут быть тысячи! Поэтому, если их очень много, нужно выделить для себя самые значимые, а остальные отсеять. Также, можно оптимизировать будущую статью под 2 - 4 СЧ и НЧ ключевых слова.

Для интернет-магазинов, СЧ и НЧ поисковые запросы как правило, являются названиями товаров. Поэтому, здесь не возникает особых трудностей внутренняя оптимизация каждой страницы интернет-магазина, просто это длительный процесс. Он тем дольше, чем больше товаров в интернет-магазине.

Зеленым цветом я выделил те ячейки, на которые у меня уже готовы статьи, т.о. я в дальнейшем не запутаюсь со списком готовых статей.

О том как нужно оптимизировать и писать статьи для сайта я расскажу в одной из будущих статей.

Итак, сделав такую таблицу, Вы можете иметь весьма четкое представление о том, как можно сделать семантическое ядро сайта.

В итоге данной статьи, хочу сказать, что здесь мы в какой-то степени коснулись детализации вопроса о раскрутке интернет-магазина . Наверняка, прочитав некоторые мои статьи о раскрутке интернет-магазина Вам пришла мысль о том, что составление семантического ядра сайта и внутренняя оптимизация являются взаимосвязанными и взаимозависящими мероприятиями. Я надеюсь, что смог аргументировать важность и первоочередность вопроса - как сделать семантическое ядро сайта.

Приветствую вас дорогие мои читатели!

Я уверен, что многие из вас не то что бы ни слышали, а даже и не догадываются, что есть такое понятие как семантическое ядро! И что же это такое спросите вы? – постараюсь объяснить вам простыми словами. Семантическое ядро – это набор ключевых слов, словосочетаний, простых предложений, фраз и т.д., которые выдает поисковая система (далее – ПС) при введении вами запроса в строке браузера.

Для чего нужно семантическое ядро? Семантическое ядро сайта — это основа продвижения и раскрутки, оно необходимо для внутренней оптимизации. Без семантического ядра продвижение вашего проекта (сайта) будет не эффективным. Чем грамотнее составлено семантическое ядро сайта, тем меньше денег вам потребуется для его успешного продвижения. Ничего пока не понятно, так ведь? Не пугайтесь, дальше я постараюсь, как можно подробно разложить все по полочкам. Читайте внимательно и все поймете!

Как составить семантическое ядро!

Первое, что вам необходимо сделать после того как вы определились с тематикой блога, составить семантическое ядро. Для этого нужно взять тетрадку и ручку и записать все слова, словосочетания, предложения, которые характеризуют тематику вашего блога. Каждое слово, словосочетание или предложение это, по сути, будут будущие заголовки для ваших постов, и чем больше слов вы придумаете, тем в дальнейшем у вас будет больше выбора при написании статей.

А чтобы составить достаточно солидный список (200-300 слов) у вас на это уйдет немало времени. Поэтому для удобства мы воспользуемся специальными сервисами, такими как Yandex wordstat, Google adwords, Rambler adstat они нам значительно упростят задачу при . Конечно, можно было бы обойтись только Yandex и Google, т.к. это гиганты в поиске ключевых запросов по сравнению с Rambler, но статистика говорит о том, что 5-6% людей все же используют в качестве поисковой системы Rambler, поэтому не будем ей пренебрегать.

Что бы вам было намного легче освоить материал, буду показывать все на конкретных примерах. Согласитесь, теория это хорошо, но когда дело доходит до практики у многих начинаются проблемы. Поэтому мы с вами вместе составим семантическое ядро, что бы в дальнейшем вы с легкостью смогли перенести полученные знания и опыт на тематику вашего блога. Допустим, тема вашего блога «фотошоп» и все, что с ним связано. Поэтому как было написано выше, вы должны придумать и записать в тетрадку как можно больше слов, словосочетаний, фраз, выражений – можете, как угодно их называть. Вот те слова, которые у меня характеризуются с тематикой блога о фотошоп. Конечно же, я не буду перечислять весь список слов, а только часть, что бы вам был понятен сам смысл составления семантического ядра:

кисти для фотошоп
кисти для photoshop
кисти фотошоп
кисти photoshop
эффекты фотошоп
эффекты photoshop
фотоэффект
рисунки фотошоп
рисунки photoshop
коллаж
фотоколлаж
фотомонтаж
рамки для фото
фото дизайн

Список составлен. Ну что же, начнем. Сразу оговорюсь, ваш список может намного отличаться от моего и должен быть намного больше. Этот список слов я составил для наглядности, что бы вы уловили саму суть, как составить семантическое ядро.

Статистика ключевых слов Yandex wordstat

После того как ваш список сформирован необходимо отсеять все не нужные нам слова, по которым мы точно не будем продвигать наш блог. Я например не буду продвигаться по таким словам как (кисти для фотошопа торрент, кисти для фотошопа макияж), эти фразы для меня вообще не понятны, так же отсеиваем схожие словосочетания такие как (кисти для фотошопа бесплатно и бесплатно кисти для фотошопа). Я думаю, смысл отбора ключевых слов вам понятен.

Дальше вы видите, что в Yandex wordstat имеются два столбца. Столбец слева показывает вам, что искали люди вбивая, в поисковую строку, в нашем случае фразу «кисти для фотошоп». Правый столбец показывает, что еще искали люди, искавшие фразу «кисти для фотошоп», советую вам не игнорировать правый столбец, а выбрать из него все слова, подходящие для вашей тематики.

Хорошо, с этим тоже разобрались, идем дальше. Еще один очень важный момент, как вы видите по результату поиска «кисти для фотошоп» мы наблюдаем огромную цифру 61134 запроса! Но это не значит, что фразу «кисти для фотошоп» вбивали столько раз за месяц в поисковую строку Яндекс. Yandex wordstat устроен таким образом, что если допустим вбить словосочетание «кисти для фотошоп» он вам выдаст число запросов, которое будет означать, сколько раз люди искали любые словоформы (кисти фотошоп, кисти для фотошопа , кисть фотошопа и.т.д.), словосочетания (предложения) (бесплатные кисти для фотошоп, скачать кисти фотошоп бесплатно и т.д.), в которых присутствует фраза «кисти для фотошоп». Я думаю это тоже понятно.

Для того что бы Yandex wordstat выдавал нам (относительно) точное число запросов, существуют специальные операторы, такие как («», «!»). Если вы вводите словосочетание «кисти для фотошоп» в кавычках, вы увидите совсем другую цифру, которая вам показывает сколько раз люди искали словосочетание «кисти для фотошоп» в разных словоформах (кисти для фотошопа и т.д.).

При вводе словосочетания «!кисти!для!фотошоп» в кавычках и с восклицательным знаком мы получим точное число запросов «!кисти!для!фотошоп» в таком виде в каком оно есть, т.е. без всяких склонений, словоформ и словосочетаний. Я думаю, вы поняли смысл, разжевал как смог.

Так вот после того как у вас сформировался внушительный список в excel, вам необходимо применить к каждому слову (словосочетанию) оператор «!». Когда вы все сделаете, у вас появится список с точным числом запросов/в месяц, который нужно будет снова подкорректировать.

Но об этом чуть позже, после того, как мы рассмотрим две другие системы по подбору ключевых слов (Google adwords и Rambler adstat). Так как после их рассмотрения ваш список ключевых слов существенно пополнится.

Подбор ключевых слов Google adwords

Для подбора ключевых слов так же используют Google adwords, это аналогичный сервис с Yandex wordstat. Давайте так же перейдем вот . Перед нами откроется окно подбора ключевых слов Google adwords. Точно также вбиваем в поисковой строке первую фразу из нашего списка «кисти для фотошоп». Обратите внимание, что в Google adwords нет никаких операторов, а достаточно поставить галочку напротив слова [Точное] в столбце «Типы соответствия». Как мы видим, количество запросов/в месяц в Google adwords существенно отличается от Yandex wordstat. Это говорит о том, что все же больше людей используют поисковую систему Yandex. Но если просмотреть весь список, то можно найти те ключевые слова, которые Yandex wordstat вообще не показывает.

Также в Google adwords можно узнать еще много чего интересного (например, приблизительная цена за клик), что также следует учитывать при отборе ключевых слов. Чем больше цена за клик – тем более высоко конкурентный запрос. Подробно останавливаться здесь я не буду, принцип отбора ключевых слов схожий с Yandex wordstat и немного покопавшись, вы и сами сможете со всем разобраться. Идем дальше.

Статистика по поисковым запросам Rambler adstat

Как я уже упоминал выше, что Rambler adstat намного уступает двум предыдущим сервисам, но все же из него тоже можно, почерпнуть кое-какую информацию. Давайте так же перейдем вот и точно также введем в поисковой строке первую фразу из нашего списка «кисти для фотошоп». Здесь я думаю, тоже подробно останавливаться не стоит. Повторюсь еще раз принцип отбора ключевых слов у всех трех систем схожий.

Мы с вами ознакомились с тремя сервисами по подбору ключевых слов. В итоге у вас появился огромный список, сформированный из всех трех сервисов, в котором вы уже произвели отбор по тем запросам, по которым вы не планируете продвигаться и запросам дублерам. Об этом я уже писал выше. Но это только полпути в составлении семантического ядра. У вас, наверное, уже закипели мозги, но на самом деле если в это вникнуть и разобраться, то здесь нет ничего сложного. Поверьте, лучше один раз правильно составить семантическое ядро, чем в дальнейшем придется все исправлять. А исправлять намного сложнее, чем делать все с нуля. Поэтому запаситесь терпением и идем дальше.

ВЧ, СЧ и НЧ запросы или ВЧЗ, СЧЗ и НЧЗ

При составлении семантического ядра существуют еще такие понятия как высокочастотные, среднечастотные и низкочастотные запросы или их еще называют ВЧ, СЧ и НЧ запросы, также могут встречаться ВЧЗ, СЧЗ и НЧЗ. Это те запросы, которые люди вводят в поисковые системы. Чем больше людей введет один и тот же запрос в поисковую строку, тем высокочастотней будет запрос (ВЧ запрос), то же самое с СЧ и НЧ запросами. Надеюсь это тоже понятно.

Теперь запомните один очень важный момент. На начальном этапе развития блога, его следует продвигать только по НЧ запросам, иногда используют и СЧ запросы, это будет зависеть от конкурентности запроса. По ВЧ запросам вы вряд ли сможете , у вас просто не хватит на это денег. Не пугайтесь по НЧ запросам выйти в ТОП возможно и без вложения средств. У вас скорее всего возник вопрос, а какие запросы считать ВЧ запросами, СЧ запросами и НЧ запросами?

Здесь точный ответ я думаю, не может дать ни кто! У блогов разных тематик он будет разным. Есть тематики очень популярные, в которых точное число запросов («!») достигает 20 тыс. показов/в месяц и более (например, «!уроки!фотошопа»), а есть менее популярные, в которых точное число запросов не достигает и 2000 показов/в месяц (например «!уроки!английского»).

Я в этом случае придерживаюсь простой формулы, которую вычислил для себя, продемонстрирую на примере «!уроки!фотошопа»:

ВК, СК и НК запросы ВКЗ, СКЗ и НКЗ

По мимо ВЧ, СЧ и НЧ запросов существует еще одна категория. Это высоко конкурентные (ВК), средне конкурентные (СК) и низко конкурентные (НК) запросы, также могут встречаться ВКЗ, СКЗ и НКЗ. В этом случае нам потребуется определить конкурентность тех запросов, по которым мы планируем продвигаться в ТОП, но об этом будет отдельный пост, на тему « ». . А пока давайте считать, что ВЧ запросы являются ВК запросами, СЧ – СК и НЧ – НК. В большинстве случаев эта формула работает, но бывают и исключения, когда например НЧ запросы являются высоко конкурентными (ВК) и наоборот ВЧ запросы являются НК. Все зависит от тематики блога.

Схема составления семантического ядра

Для наглядности давайте посмотрим на схематичный пример семантического ядра. Примерно так должна выглядеть стандартная схема семантического ядра.

Но не стоит сильно привязываться к этой схеме, т.к. по мере ведения блога она у вас может меняться. На начальном этапе у вас может быть, допустим всего четыре рубрики, содержащих по три НЧ запроса, а со временем может все поменяться.

Вот ничего не понятно скажет большинство из вас, особенно кто первый раз сталкивается с семантическим ядром. Ничего страшного, я тоже сначала не понимал многие вещи, пока не изучил тему очень хорошо. Не хочу сказать, что я профи в данной теме, но многое усвоил. И, как и обещал, давайте разбирать все на конкретном примере и согласно нашей теме.

Сразу хочу сказать, что я не специалист в «фотошопе», просто эта тема мне пришла на ум при написании поста. Поэтому я подбирал запросы по смыслу. Хорошо, вот какая схема семантического ядра у меня получилась на тему «фотошоп». У вас должно получиться, что-то на подобии:

Виды запросов

Все запросы (наши ключевые слова) можно разделить на три категории:

  • Первичные запросы – это те запросы, которые одним-двумя словами могут дать общее определение вашему ресурсу или его части. Первичные запросы, наиболее охватывающие общую тематику вашего блога лучше оставить на главной странице. В нашем случае это: уроки фотошоп, эффекты фотошоп, как сделать фотоколлаж.
    Первичные запросы, менее охватывающие общую тематику вашего блога, но наиболее точно характеризующие его какую-то часть, рекомендуется использовать в качестве отдельных рубрик вашего блога. В нашем случае это: кисти фотошоп, рамки фотошоп, шаблоны фотошоп, фото дизайн.
  • Основные запросы – это те запросы, которые достаточно точно определяют тематику вашего проекта и способны дать полезную информацию читателю, научить его тому, что он хочет, или ответить на часто задаваемый вопрос КАК??? Т.е., в нашем случае это: как добавить кисти в фотошопе, как сделать шаблон в фотошопе, как сделать фотоколлаж в фотошопе и т.д. Основные запросы, по сути, должны являться заголовками наших будущих статей.
  • Дополнительные (вспомогательные) запросы или их еще называют ассоциативными – это те запросы, которые люди так же вводили в поисковую строку браузера при поиске основного запроса. Т.е. это ключевые фразы, которые являются частью основного запроса. Они как бы будут дополнять основной запрос, и являться ключевыми словами при продвижении ее в ТОП. Например: фотошоп для начинающих онлайн, фотошоп убрать эффект красных глаз, коллаж из нескольких фотографий. Я думаю это понятно.

Стратегия составления семантического ядра

Теперь нам необходимо разбить весь список по страницам. Т.е. нужно из всех ваших ключевых слов выбрать первичные запросы, которые будут являться рубриками вашего блога и сделать отдельные вкладки в excel. Дальше, выбрать относящиеся к ним основные и вспомогательные запросы и разместить их по разным страницам в созданном вами документе excel (т.е. по рубрикам). Вот что у меня получилось:

Как я уже писал выше: на начальном этапе стоит продвигать свой блог по НЧ или НК запросам. А что же делать с СЧ (СК) и ВЧ (ВК) запросами, спросите вы? Поясняю.

Продвигаться по ВЧ (ВК) запросам у вас вряд ли получится, поэтому их можно удалить, но рекомендуется оставить один-два ВЧ (ВК) запроса для главной страницы. Сразу же оговорюсь: не надо кидаться на самый ВЧ запрос, такой как «фотошоп», у которого точное число показов/в месяц составляет – 163384. Например, вы хотите при помощи вашего блога обучить людей работе в фотошопе. Вот и возьмите за основу ВЧ запроса – «уроки фотошоп», у которого точное число показов/в месяц составляет – 7110. Этот запрос более характеризует вашу тему и по нему вам будет легче продвинуться.

А вот СЧ (СК) запросы можно поместить на отдельной страничке в excel. По мере того как ваш блог будет подниматься в глазах ПС они (СЧ (СК) запросы) будут понемногу становиться востребованными.

Я знаю, что новички сейчас вообще не понимают, о чем я говорю, советую вам почитать статью о том, изучив которую вам станет все понятно.

Заключение

Вот в принципе, наверное, и все. Конечно же, есть программы, которые помогут вам в составлении семантического ядра как платные (Key Kollektor), так и бесплатные (Словоёб, Словодёр), но о них я писать в этом посте не буду. Возможно, как-нибудь напишу о них отдельную статью. Но они вам только подберут ключевые слова, а разнести их по рубрикам и по постам вам придется самостоятельно.

А каким образом вы составляете семантическое ядро? А может вы его вообще не составляете? Какие используете программы и сервисы при составлении? Рад буду услышать ваши ответы в комментариях!

И напоследок посмотрите интересное видео.

Здравствуйте, уважаемые читатели блога сайт. Хочу сделать очередной заход на тему «сбора семядра». Сначала , как полагается, а потом много практики, может быть и несколько неуклюжей в моем исполнении. Итак, лирика. Ходить с завязанными глазами в поисках удачи мне надоело уже через год, после начала ведения этого блога. Да, были «удачные попадания» (интуитивное угадывание часто задаваемых поисковикам запросов) и был определенный трафик с поисковиков, но хотелось каждый раз бить в цель (по крайней мере, ее видеть).

Потом захотелось большего — автоматизации процесса сбора запросов и отсева «пустышек». По этой причине появился опыт работы с Кейколлектором (и его неблагозвучным младшим братом) и очередная статья на тему . Все было здорово и даже просто замечательно, пока я не понял, что есть один таки очень важный момент, оставшийся по сути за кадром — раскидывание запросов по статьям.

Писать отдельную статью под отдельный запрос оправдано либо в высококонкурентных тематиках, либо в сильно доходных. Для инфосайтов же — это полный бред, а посему приходится запросы объединять на одной странице. Как? Интуитивно, т.е. опять же вслепую. А ведь далеко не все запросы уживаются на одной странице и имеют хотя бы гипотетический шанс выйти в Топ.

Собственно, сегодня как раз и пойдет речь об автоматической кластеризации семантического ядра посредством KeyAssort (разбивке запросов по страницам, а для новых сайтов еще и построение на их основе структуры, т.е. разделов, категорий). Ну, и сам процесс сбора запросов мы еще раз пройдем на всякий пожарный (в том числе и с новыми инструментами).

Какой из этапов сбора семантического ядра самый важный?

Сам по себе сбор запросов (основы семантического ядра) для будущего или уже существующего сайта является процессом довольно таки интересным (кому как, конечно же) и реализован может быть несколькими способами, результаты которых можно будет потом объединить в один большой список (почистив дубли, удалив пустышки по стоп словам).

Например, можно вручную начать терзать Вордстат , а в добавок к этому подключить Кейколлектор (или его неблагозвучную бесплатную версию). Однако, это все здорово, когда вы с тематикой более-менее знакомы и знаете ключи, на которые можно опереться (собирая их производные и схожие запросы из правой колонки Вордстата).

В противном же случае (да, и в любом случае это не помешает) начать можно будет с инструментов «грубого помола». Например, Serpstat (в девичестве Prodvigator), который позволяет буквально «ограбить» ваших конкурентов на предмет используемых ими ключевых слов (смотрите ). Есть и другие подобные «грабящие конкурентов» сервисы (spywords, keys.so), но я «прикипел» именно к бывшему Продвигатору.

В конце концов, есть и бесплатный Букварис , который позволяет очень быстро стартануть в сборе запросов. Также можно заказать частным образом выгрузку из монстрообразной базы Ahrefs и получить опять таки ключи ваших конкурентов. Вообще, стоит рассматривать все, что может принести хотя бы толику полезных для будущего продвижения запросов, которые потом не так уж сложно будет почистить и объединить в один большой (зачастую даже огромный список).

Все это мы (в общих чертах, конечно же) рассмотрим чуть ниже, но в конце всегда встает главный вопрос — что делать дальше . На самом деле, страшно бывает даже просто подступиться к тому, что мы получили в результате (пограбив десяток-другой конкурентов и поскребя по сусекам Кейколлектором). Голова может лопнуть от попытки разбить все эти запросы (ключевые слова) по отдельным страницах будущего или уже существующего сайта.

Какие запросы будут удачно уживаться на одной странице, а какие даже не стоит пытаться объединять? Реально сложный вопрос, который я ранее решал чисто интуитивно, ибо анализировать выдачу Яндекса (или Гугла) на предмет «а как там у конкурентов» вручную убого, а варианты автоматизации под руку не попадались. Ну, до поры до времени. Все ж таки подобный инструмент «всплыл» и о нем сегодня пойдет речь в заключительной части статьи.

Это не онлайн-сервис, а программное решение, дистрибутив которого можно скачать на главной странице официального сайта (демо-версию).

Посему никаких ограничений на количество обрабатываемых запросов нет — сколько надо, столько и обрабатывайте (есть, однако, нюансы в сборе данных). Платная версия стоит менее двух тысяч, что для решаемых задач, можно сказать, даром (имхо).

Но про техническую сторону KeyAssort мы чуть ниже поговорим, а тут хотелось бы сказать про сам принцип, который позволяет разбить список ключевых слов (практически любой длины) на кластеры, т.е. набор ключевых слов, которые с успехом можно использовать на одной странице сайта (оптимизировать под них текст, заголовки и ссылочную массу — применить магию SEO).

Откуда вообще можно черпать информацию? Кто подскажет, что «выгорит», а что достоверно не сработает? Очевидно, что лучшим советчиком будет сама поисковая система (в нашем случае Яндекс, как кладезь коммерческих запросов). Достаточно посмотреть на большом объеме данных выдачу (допустим, проаналазировать ТОП 10) по всем этим запросам (из собранного списка будущего семядра) и понять, что удалось вашим конкурентам успешно объединить на одной странице. Если эта тенденция будет несколько раз повторяться, то можно говорить о закономерности, а на основе нее уже можно бить ключи на кластеры.

KeyAssort позволяет в настройках задавать «строгость», с которой будут формироваться кластеры (отбирать ключи, которые можно использовать на одной странице). Например, для коммерции имеет смысл ужесточать требования отбора, ибо важно получить гарантированный результат, пусть и за счет чуть больших затрат на написание текстов под большее число кластеров. Для информационных сайтов можно наоборот сделать некоторые послабления, чтобы меньшими усилиями получить потенциально больший трафик (с несколько большим риском «невыгорания»). Как это сделать опять же поговорим.

А что делать, если у вас уже есть сайт с кучей статей, но вы хотите расширить существующее семядро и оптимизировать уже имеющиеся статьи под большее число ключей, чтобы за минимум усилий (чуток сместить акцент ключей) получить поболе трафика? Эта программка и на этот вопрос дает ответ — можно те запросы, под которые уже оптимизированы существующие страницы, сделать маркерными, и вокруг них KeyAssort соберет кластер с дополнительными запросами, которые вполне успешно продвигают (на одной странице) ваши конкуренты по выдаче. Интересненько так получается...

Как собрать пул запросов по нужной вам тематике?

Любое семантическое ядро начинается, по сути, со сбора огромного количества запросов, большая часть из которых будет отброшена. Но главное, чтобы на первичном этапе в него попали те самые «жемчужины», под которые потом и будут создаваться и продвигаться отдельные страницы вашего будущего или уже существующего сайта. На данном этапе, наверное, самым важным является набрать как можно больше более-менее подходящих запросов и ничего не упустить, а пустышки потом легко отсеяться.

Встает справедливый вопрос, а какие инструменты для этого использовать ? Есть один однозначный и очень правильный ответ — разные. Чем больше, тем лучше. Однако, эти самые методики сбора семантического ядра, наверное, стоит перечислить и дать общие оценки и рекомендации по их использованию.

  1. Яндекс Вордстат и его аналоги у других поисковых систем — изначально эти инструменты предназначались для тех, кто размещает контекстную рекламу, чтобы они могли понимать, насколько популярны те или иные фразы у пользователей поисковиков. Ну, понятно, что Сеошники этими инструментами пользуются тоже и весьма успешно. Могу порекомендовать пробежаться глазами по статье , а также упомянутой в самом начале этой публикации статье (полезно будет начинающим).

    Из недостатков Водстата можно отметить:

    1. Чудовищно много ручной работы (однозначно требуется автоматизация и она будет рассмотрена чуть ниже), как по пробивке фраз основанных на ключе, так и по пробивке ассоциативных запросов из правой колонки.
    2. Ограничение выдачи Вордстата (2000 запросов и не строчкой больше) может стать проблемой, ибо для некоторых фраз (например, «работа») это крайне мало и мы упускаем из вида низкочастотные, а иногда даже и среднечастотные запросы, способные приносить неплохой трафик и доход (их ведь многие упускают). Приходится «сильно напрягать голову», либо использовать альтернативные методы (например, базы ключевых слов, одну из которых мы рассмотрим ниже — при этом она бесплатная!).
  2. КейКоллектор (и его бесплатный младший брат Slovoeb ) — несколько лет назад появление этой программы было просто «спасением» для многих тружеников сети (да и сейчас представить без КК работу над семядром довольно трудно). Лирика. Я купил КК еще два или три года назад, но пользовался им от силы несколько месяцев, ибо программа привязана к железу (начинке компа), а она у меня по нескольку раз в год меняется. В общем, имея лицензию на КК пользуюсь SE — так то вот, до чего лень доводит.

    Подробности можете почитать в статье « ». Обе программы помогут вам собрать запросы и из правой, и из левой колонки Вордстата, а также поисковые подсказки по нужным вам ключевым фразам. Подсказки — это то, что выпадает из поисковой строки, когда вы начинаете набирать запрос. Пользователи часто не закончив набор просто выбирают наиболее подходящий из этого списка вариант. Сеошники это дело просекли и используют такие запросы в оптимизации и даже .

    КК и SE позволяют сразу набрать очень большой пул запросов (правда, может потребоваться много времени, либо покупка XML лимитов, но об этом чуть ниже) и легко отсеять пустышки, например, проверкой частотности фраз взятых в кавычки (учите матчасть, если не поняли о чем речь — ссылки в начале публикации) или задав список стоп-слов (особо актуально для коммерции). После чего весь пул запросов можно легко экспортировать в Эксель для дальнейшей работы или для загрузки в KeyAssort (кластеризатор), о котором речь пойдет ниже.

  3. СерпСтат (и другие подобные сервисы) — позволяет введя Урл своего сайта получить список ваших конкурентов по выдаче Яндекса и Гугла. А по каждому из этих конкурентов можно будет получить полный список ключевых слов, по которым им удалось пробиться и достичь определенных высот (получить трафик с поисковиков). Сводная таблица будет содержать частотность фразы, место сайта по ней в Топе и кучу другой разной полезной и не очень информации.

    Не так давно я пользовал почти самый дорогой тарифный план Серпстата (но только один месяц) и успел за это время насохранять в Экселе чуть ли не гигабайт разных полезняшек. Собрал не только ключи конкурентов, но и просто пулы запросов по интересовавшим меня ключевым фразам, а также собрал семядра самых удачных страниц своих конкурентов, что, мне кажется, тоже очень важно. Одно плохо — теперь никак время не найду, чтобы вплотную заняться обработкой всей это бесценной информации. Но возможно, что KeyAssort все-таки снимет оцепенение перед чудовищной махиной данных, которые нужно обработать.

  4. Букварикс — бесплатная база ключевых слов в своей собственной программной оболочке. Подбор ключевиков занимает доли секунды (выгрузка в Эксель минуты). Сколько там миллионов слов не помню, но отзывы о ней (в том числе и мой) просто отличные, и главное все это богатство бесплатно! Правда, дистрибутив программы весить 28 Гигов, а в распокованном виде база занимает на жестком диске более 100 Гбайт, но это все мелочи по сравнению с простотой и скоростью сбора пула запросов.

    Но не только скорость сбора семядра является основным плюсом по сравнению с Вордстатом и КейКоллектором. Главное, что тут нет ограничений на 2000 строк для каждого запроса, а значит никакие НЧ и сверх НЧ от нас не ускользнут. Конечно же, частотность можно будет еще раз уточнить через тот же КК и по стоп-словам в нем отсев провести, но основную задачу Букварикс выполняет замечательно. Правда, сортировка по столбцам у него не работает, но сохранив пул запросов в Эксель там можно будет сортировать как заблагороссудится.

Наверное, еще как минимум несколько «серьезных» инструментов собора пула запросов приведете вы сами в комментариях, а я их успешно позаимствую...

Как очистить собранные поисковые запросы от «пустышек» и «мусора»?

Полученный в результате описанных выше манипуляций список, скорее всего, будет весьма большим (если не огромным). Поэтому прежде чем загружать его в кластерезатор (у нас это будет KeyAssort) имеет смысл его слегка почистить . Для этого пул запросов, например, можно выгрузить к кейколлектор и убрать:

  1. Запросы со слишком низкой частотностью (лично я пробиваю частотность в кавычках, но без восклицательных знаков). Какой порог выбирать решать вам, и во многом это зависит от тематики, конкурентности и типа ресурса, под который собирается семядро.
  2. Для коммерческих запросов имеется смысл использовать список стоп-слов (типа, «бесплатно», «скачать», «реферат», а также, например, названия городов, года и т.п.), чтобы заранее убрать из семядра то, что заведомо не приведет на сайт целевых покупателей (отсеять халявшиков, ищущих информацию, а не товар, ну, и жителей других регионов, например).
  3. Иногда имеет смысл руководствоваться при отсеве показателем конкуренции по данному запросу в выдаче. Например, по запросу «пластиковые окна» или «кондиционеры» можно даже не рыпаться — провал обеспечен заранее и со стопроцентной гарантией.

Скажите, что это слишком просто на словах, но сложно на деле. А вот и нет. Почему? А потому что один уважаемый мною человек (Михаил Шакин) не пожалел времени и записал видео с подробным описанием способов очистки поисковых запросов в Key Collector :

Спасибо ему за это, ибо данные вопрос гораздо проще и понятнее показать, чем описать в статье. В общем справитесь, ибо я в вас верю...

Настройка кластеризатора семядра KeyAssort под ваш сайт

Собственно, начинается самое интересное. Теперь весь этот огромный список ключей нужно будет как-то разбить (раскидать) на отдельных страницах вашего будущего или уже существующего сайта (который вы хотите существенно улучшить в плане приносимого с поисковых систем трафика). Не буду повторяться и говорить о принципах и сложности данного процесса, ибо зачем тогда я первую часть этой стать писал.

Итак, наш метод довольно прост. Идем на официальный сайт KeyAssort и скачиваем демо-версию , чтобы попробовать программу на зуб (отличие демо от полной версии — это невозможность выгрузить, то бишь экспортировать собранное семядро), а уже опосля можно будет и оплатить (1900 рубликов — мало, мало по современным реалиям). Если хотите сразу начать работу над ядром что называется «на чистовик», то лучше тогда выбрать полную версию с возможностью экспорта.

Программа КейАссорт сама собирать ключи не умеет (это, собственно, и не ее прерогатива), а посему их потребуется в нее загрузить. Сделать это можно четырьмя способами — вручную (наверное, имеется смысл прибегать к этому методу для добавления каких-то найденных уже опосля основного сбора ключей), а также три пакетных способа импорта ключей :

  1. в формате тхт — когда нужно импортировать просто список ключей (каждый на отдельной строке тхт файлика и ).
  2. а также два варианта экселевского формата: с нужными вам в дальнейшем параметрами, либо с собранными сайтами из ТОП10 по каждому ключу. Последнее может ускорить процесс кластеризации, ибо программе KeyAssort не придется самой парсить выдачу для сбора эти данных. Однако, Урлы из ТОП10 должны быть свежими и точными (такой вариант списка можно получить, например, в Кейколлекторе).

Да, что я вам рассказываю — лучше один раз увидеть:

В любом случае, сначала не забудьте создать новый проект в том же самом меню «Файл», а уже потом только станет доступной функция импорта:

Давайте пробежимся по настройкам программы (благо их совсем немного), ибо для разных типов сайтов может оказаться оптимальным разный набор настроек. Открываете вкладку «Сервис» — «Настройки программы» и можно сразу переходить на вкладку «Кластеризация» :

Тут самое важное — это, пожалуй, выбор необходимого вам вида кластеризации . В программе могут использоваться два принципа, по которым запросы объединяются в группы (кластеры) — жесткий и мягкий.

  1. Hard — все запросы попавшие в одну группу (пригодные для продвижения на одной странице) должны быть объединены на одной странице у необходимого числа конкурентов из Топа (это число задается в строке «сила группировки»).
  2. Soft — все запросы попавшие в одну группу будут частично встречаться на одной странице у нужного числа конкурентов и Топа (это число тоже задается в строке «сила группировки»).

Есть хорошая картинка наглядно все это иллюстрирующая:

Если непонятно, то не берите в голову, ибо это просто объяснение принципа, а нам важна не теория, а практика, которая гласит, что:

  1. Hard кластеризацию лучше применять для коммерческих сайтов . Этот метод дает высокую точность, благодаря чему вероятность попадания в Топ объединенных на одной странице сайта запросов будет выше (при должном подходе к оптимизации текста и его продвижению), хотя самих запросов будет меньше в кластере, а значит самих кластеров больше (больше придется страниц создавать и продвигать).
  2. Soft кластеризацию имеет смысл использовать для информационных сайтов , ибо статьи будут получаться с высоким показателем полноты (будут способны дать ответ на ряд схожих по смыслу запросов пользователей), которая тоже учитывается в ранжировании. Да и самих страниц будет поменьше.

Еще одной важной, на мой взгляд, настройкой является галочка в поле «Использовать маркерные фразы» . Зачем это может понадобиться? Давайте посмотрим.

Допустим, что у вас уже есть сайт, но страницы на нем были оптимизированы не под пул запросов, а под какой-то один, или же этот пул вы считаете недостаточно объемным. При этом вы всем сердцем хотите расширить семядро не только за счет добавления новых страниц, но и за счет совершенствования уже существующих (это все же проще в плане реализации). Значит нужно для каждой такой страниц добрать семядро «до полного».

Именно для этого и нужна эта настройка. После ее активации напротив каждой фразы в вашем списке запросов можно будет поставить галочку. Вам останется только отыскать те основные запросы, под которые вы уже оптимизировали существующие страницы своего сайта (по одному на страницу) и программа KeyAssort выстроит кластеры именно вокруг них. Собственно, все. Подробнее в этом видео:

Еще одна важная (для правильной работы программы) настройка живет на вкладке «Сбор данных с Яндекс XML» . вы можете прочитать в приведенной статье. Если вкратце, то Сеошники постоянно парсят выдачу Яндекса и выдачу Вордстата, создавая чрезмерную нагрузку на его мощности. Для защиты была внедрена капча, а также разработан спецдоступ по XML, где уже не будет вылезать капча и не будет происходить искажение данных по проверяемым ключам. Правда, число таких проверок в сутки будет строго ограничено.

От чего зависит число выделенных лимитов? От того, как Яндекс оценит ваши . можно перейдя по этой ссылке (находясь в том же браузере, где вы авторизованы в Я.Вебмастере). Например, у меня это выглядит так:

Там еще есть снизу график распределения лимитов по времени суток, что тоже важно. Если запросов нужно пробить много, а лимитов мало, то не проблема. Их можно докупить . Не у Яндекса, конечно же, напрямую, а у тех, у кого эти лимиты есть, но они им не нужны.

Механизм Яндекс XML позволяет проводить передачу лимитов, а биржи, подвязавшиеся быть посредниками, помогают все это автоматизировать. Например, на XMLProxy можно прикупить лимитов всего лишь по 5 рублей за 1000 запросов, что, согласитесь, совсем уж не дорого.

Но не суть важно, ибо купленные вами лимиты все равно ведь перетекут к вам на «счет», а вот чтобы их использовать в KeyAssort, нужно будет перейти на вкладку "Настройка " и скопировать длинную ссылку в поле «URL для запросов» (не забудьте кликнуть по «Ваш текущий IP» и нажать на кнопку «Сохранить», чтобы привязать ключ к вашему компу):

После чего останется только вставить этот Урл в окно с настройками KeyAssort в поле «Урл для запросов»:

Собственно все, с настройками KeyAssort покончено — можно приступать к кластеризации семантического ядра.

Кластеризация ключевых фраз в KeyAssort

Итак, надеюсь, что вы все настроили (выбрали нужный тип кластеризации, подключили свои или покупные лимиты от Яндекс XML), разобрались со способами импорта списка с запросами, ну и успешно все это дело перенесли в КейАссорт. Что дальше? А дальше уж точно самое интересное — запуск сбора данных (Урлов сайтов из Топ10 по каждому запросу) и последующая кластеризация всего списка на основе этих данных и сделанных вами настроек.

Итак, для начала жмем на кнопку «Собрать данные» и ожидаем от нескольких минут до нескольких часов, пока программа прошерстит Топы по всем запросам из списка (чем их больше, тем дольше ждать):

У меня на три сотни запросов (это маленькое ядро для серии статей про работу в интернете) ушло около минуты. После чего можно уже приступать непосредственно к кластеризации , становится доступна одноименная кнопка на панели инструментов KeyAssort. Процесс этот очень быстрый, и буквально через несколько секунд я получил целый набор калстеров (групп), оформленных в виде вложенных списков:

Подробнее об использовании интерфейса программы, а также про создание кластеров для уже существующих страниц сайта смотрите лучше в ролике, ибо так гораздо нагляднее:

Все, что хотели, то мы и получили, и заметьте — на полном автомате. Лепота.

Хотя, если вы создаете новый сайт, то кроме кластеризации очень важно бывает наметить будущую структуру сайта (определить разделы/категории и распределить по ним кластеры для будущих страниц). Как ни странно, но это вполне удобно делать именно в KeyAssort, но правда уже не в автоматическом режиме, а в ручном режиме. Как?

Проще опять же будет один раз увидеть — все верстается буквально на глазах простым перетаскиванием кластеров из левого окна программы в правое:

Если программу вы таки купили, то сможете экспортировать полученное семантическое ядро (а фактически структуру будущего сайта) в Эксель. Причем, на первой вкладке с запросами можно будет работать в виде единого списка, а на второй уже будет сохранена та структура, что вы настроили в KeyAssort. Весьма, весьма удобно.

Ну, как бы все. Готов обсудить и услышать ваше мнение по поводу сбора семядра для сайта.

Удачи вам! До скорых встреч на страницах блога сайт

Вам может быть интересно

Vpodskazke - новый сервис Вподсказке для продвижения подсказок в поисковых системах SE Ranking - лучший сервис мониторинга позиций для новичков и профессионалов в SEO Сбор полного семантического ядра в Топвизоре, многообразие способов подбора ключевых слов и их группировка по страницам Практика сбора семантического ядра под SEO от профессионала - как это происходит в текущих реалиях 2018 Оптимизация поведенческих факторов без их накрутки SEO PowerSuite - программы для внутренней (WebSite Auditor, Rank Tracker) и внешней (SEO SpyGlass, LinkAssistant) оптимизации сайта
SERPClick: продвижение поведенческими факторами

Разработка ядра по праву считается задачей не из легких, но написать простейшее ядро может каждый. Чтобы прикоснуться к магии кернел-хакинга, нужно лишь соблюсти некоторые условности и совладать с ассемблером. В этой статье мы на пальцах разберем, как это сделать.


Привет, мир!

Давай напишем ядро, которое будет загружаться через GRUB на системах, совместимых с x86. Наше первое ядро будет показывать сообщение на экране и на этом останавливаться.

Как загружаются x86-машины

Прежде чем думать о том, как писать ядро, давай посмотрим, как компьютер загружается и передает управление ядру. Большинство регистров процессора x86 имеют определенные значения после загрузки. Регистр - указатель на инструкцию (EIP) содержит адрес инструкции, которая будет исполнена процессором. Его захардкоженное значение - это 0xFFFFFFF0. То есть x86-й процессор всегда будет начинать исполнение с физического адреса 0xFFFFFFF0. Это последние 16 байт 32-разрядного адресного пространства. Этот адрес называется «вектор сброса» (reset vector).

В карте памяти, которая содержится в чипсете, прописано, что адрес 0xFFFFFFF0 ссылается на определенную часть BIOS, а не на оперативную память. Однако BIOS копирует себя в оперативку для более быстрого доступа - этот процесс называется «шедоуинг» (shadowing), создание теневой копии. Так что адрес 0xFFFFFFF0 будет содержать только инструкцию перехода к тому месту в памяти, куда BIOS скопировала себя.

Итак, BIOS начинает исполняться. Сначала она ищет устройства, с которых можно загружаться в том порядке, который задан в настройках. Она проверяет носители на наличие «волшебного числа», которое отличает загрузочные диски от обычных: если байты 511 и 512 в первом секторе равны 0xAA55, значит, диск загрузочный.

Как только BIOS найдет загрузочное устройство, она скопирует содержимое первого сектора в оперативную память, начиная с адреса 0x7C00, а затем переведет исполнение на этот адрес и начнет исполнение того кода, который только что загрузила. Вот этот код и называется загрузчиком (bootloader).

Загрузчик загружает ядро по физическому адресу 0x100000. Именно он и используется большинством популярных ядер для x86.

Все процессоры, совместимые с x86, начинают свою работу в примитивном 16-разрядном режиме, которые называют «реальным режимом» (real mode). Загрузчик GRUB переключает процессор в 32-разрядный защищенный режим (protected mode), переводя нижний бит регистра CR0 в единицу. Поэтому ядро начинает загружаться уже в 32-битном защищенном режиме.

Заметь, что GRUB в случае с ядрами Linux выбирает соответствующий протокол загрузки и загружает ядро в реальном режиме. Ядра Linux сами переключаются в защищенный режим.

Что нам понадобится

  • Компьютер, совместимый с x86 (очевидно),
  • Linux,
  • ассемблер NASM,
  • ld (GNU Linker),
  • GRUB.

Входная точка на ассемблере

Нам бы, конечно, хотелось написать все на C, но совсем избежать использования ассемблера не получится. Мы напишем на ассемблере x86 небольшой файл, который станет стартовой точкой для нашего ядра. Все, что будет делать ассемблерный код, - это вызывать внешнюю функцию, которую мы напишем на C, а потом останавливать выполнение программы.

Как сделать так, чтобы ассемблерный код стал стартовой точкой для нашего ядра? Мы используем скрипт для компоновщика (linker), который линкует объектные файлы и создает финальный исполняемый файл ядра (подробнее объясню чуть ниже). В этом скрипте мы напрямую укажем, что хотим, чтобы наш бинарный файл загружался по адресу 0x100000. Это адрес, как я уже писал, по которому загрузчик ожидает увидеть входную точку в ядро.

Вот код на ассемблере.

kernel.asm
bits 32 section .text global start extern kmain start: cli mov esp, stack_space call kmain hlt section .bss resb 8192 stack_space:

Первая инструкция bits 32 - это не ассемблер x86, а директива NASM, сообщающая, что нужно генерировать код для процессора, который будет работать в 32-разрядном режиме. Для нашего примера это не обязательно, но указывать это явно - хорошая практика.

Вторая строка начинает текстовую секцию, также известную как секция кода. Сюда пойдет весь наш код.

global - это еще одна директива NASM, она объявляет символы из нашего кода глобальными. Это позволит компоновщику найти символ start , который и служит нашей точкой входа.

kmain - это функция, которая будет определена в нашем файле kernel.c . extern объявляет, что функция декларирована где-то еще.

Далее идет функция start , которая вызывает kmain и останавливает процессор инструкцией hlt . Прерывания могут будить процессор после hlt , так что сначала мы отключаем прерывания инструкцией cli (clear interrupts).

В идеале мы должны выделить какое-то количество памяти под стек и направить на нее указатель стека (esp). GRUB, кажется, это и так делает за нас, и на этот момент указатель стека уже задан. Однако на всякий случай выделим немного памяти в секции BSS и направим указатель стека на ее начало. Мы используем инструкцию resb - она резервирует память, заданную в байтах. Затем оставляется метка, указывающая на край зарезервированного куска памяти. Прямо перед вызовом kmain указатель стека (esp) направляется на эту область инструкцией mov .

Ядро на C

В файле kernel.asm мы вызвали функцию kmain() . Так что в коде на C исполнение начнется с нее.

kernel.c
void kmain(void) { const char *str = "my first kernel"; char *vidptr = (char*)0xb8000; unsigned int i = 0; unsigned int j = 0; while(j < 80 * 25 * 2) { vidptr[j] = " "; vidptr = 0x07; j = j + 2; } j = 0; while(str[j] != "\0") { vidptr[i] = str[j]; vidptr = 0x07; ++j; i = i + 2; } return; }

Все, что будет делать наше ядро, - очищать экран и выводить строку my first kernel.

Первым делом мы создаем указатель vidptr, который указывает на адрес 0xb8000. В защищенном режиме это начало видеопамяти. Текстовая экранная память - это просто часть адресного пространства. Под экранный ввод-вывод выделен участок памяти, который начинается с адреса 0xb8000, - в него помещается 25 строк по 80 символов ASCII.

Каждый символ в текстовой памяти представлен 16 битами (2 байта), а не 8 битами (1 байтом), к которым мы привыкли. Первый байт - это код символа в ASCII, а второй байт - это attribute-byte . Это определение формата символа, в том числе - его цвет.

Чтобы вывести символ s зеленым по черному, нам нужно поместить s в первый байт видеопамяти, а значение 0x02 - во второй байт. 0 здесь означает черный фон, а 2 - зеленый цвет. Мы будем использовать светло-серый цвет, его код - 0x07.

В первом цикле while программа заполняет пустыми символами с атрибутом 0x07 все 25 строк по 80 символов. Это очистит экран.

Во втором цикле while символы строки my first kernel, оканчивающейся нулевым символом, записываются в видеопамять и каждый символ получает attribute-byte, равный 0x07. Это должно привести к выводу строки.

Компоновка

Теперь мы должны собрать kernel.asm в объектный файл с помощью NASM, а затем при помощи GCC скомпилировать kernel.c в другой объектный файл. Наша задача - слинковать эти объекты в исполняемое ядро, пригодное к загрузке. Для этого потребуется написать для компоновщика (ld) скрипт, который мы будем передавать в качестве аргумента.

link.ld
OUTPUT_FORMAT(elf32-i386) ENTRY(start) SECTIONS { . = 0x100000; .text: { *(.text) } .data: { *(.data) } .bss: { *(.bss) } }

Здесь мы сначала задаем формат (OUTPUT_FORMAT) нашего исполняемого файла как 32-битный ELF (Executable and Linkable Format), стандартный бинарный формат для Unix-образных систем для архитектуры x86.

ENTRY принимает один аргумент. Он задает название символа, который будет служить входной точкой исполняемого файла.

SECTIONS - это самая важная для нас часть. Здесь мы определяем раскладку нашего исполняемого файла. Мы можем определить, как разные секции будут объединены и куда каждая из них будет помещена.

В фигурных скобках, которые идут за выражением SECTIONS , точка означает счетчик позиции (location counter). Он автоматически инициализируется значением 0x0 в начале блока SECTIONS , но его можно менять, назначая новое значение.

Ранее я уже писал, что код ядра должен начинаться по адресу 0x100000. Именно поэтому мы и присваиваем счетчику позиции значение 0x100000.

Взгляни на строку.text: { *(.text) } . Звездочкой здесь задается маска, под которую подходит любое название файла. Соответственно, выражение *(.text) означает все входные секции.text во всех входных файлах.

В результате компоновщик сольет все текстовые секции всех объектных файлов в текстовую секцию исполняемого файла и разместит по адресу, указанному в счетчике позиции. Секция кода нашего исполняемого файла будет начинаться по адресу 0x100000.

После того как компоновщик выдаст текстовую секцию, значение счетчика позиции будет 0x100000 плюс размер текстовой секции. Точно так же секции data и bss будут слиты и помещены по адресу, который задан счетчиком позиции.

GRUB и мультизагрузка

Теперь все наши файлы готовы к сборке ядра. Но поскольку мы будем загружать ядро при помощи GRUB , остается еще один шаг.

Существует стандарт для загрузки разных ядер x86 с помощью бутлоадера. Это называется «спецификация мультибута ». GRUB будет загружать только те ядра, которые ей соответствуют.

В соответствии с этой спецификацией ядро может содержать заголовок (Multiboot header) в первых 8 килобайтах. В этом заголовке должно быть прописано три поля:

  • magic - содержит «волшебное» число 0x1BADB002, по которому идентифицируется заголовок;
  • flags - это поле для нас не важно, можно оставить ноль;
  • checksum - контрольная сумма, должна дать ноль, если прибавить ее к полям magic и flags .

Наш файл kernel.asm теперь будет выглядеть следующим образом.

kernel.asm
bits 32 section .text ;multiboot spec align 4 dd 0x1BADB002 ;magic dd 0x00 ;flags dd - (0x1BADB002 + 0x00) ;checksum global start extern kmain start: cli mov esp, stack_space call kmain hlt section .bss resb 8192 stack_space:

Инструкция dd задает двойное слово размером 4 байта.

Собираем ядро

Итак, все готово для того, чтобы создать объектный файл из kernel.asm и kernel.c и слинковать их с применением нашего скрипта. Пишем в консоли:

$ nasm -f elf32 kernel.asm -o kasm.o

По этой команде ассемблер создаст файл kasm.o в формате ELF-32 bit. Теперь настал черед GCC:

$ gcc -m32 -c kernel.c -o kc.o

Параметр -c указывает на то, что файл после компиляции не нужно линковать. Мы это сделаем сами:

$ ld -m elf_i386 -T link.ld -o kernel kasm.o kc.o

Эта команда запустит компоновщик с нашим скриптом и сгенерирует исполняемый файл под названием kernel .

WARNING

Хакингом ядра лучше всего заниматься в виртуалке. Чтобы запустить ядро в QEMU вместо GRUB, используй команду qemu-system-i386 -kernel kernel .

Настраиваем GRUB и запускаем ядро

GRUB требует, чтобы название файла с ядром следовало конвенции kernel-<версия> . Так что переименовываем файл - я назову свой kernel-701 .

Теперь кладем ядро в каталог /boot . На это понадобятся привилегии суперпользователя.

В конфигурационный файл GRUB grub.cfg нужно будет добавить что-то в таком роде:

Title myKernel root (hd0,0) kernel /boot/kernel-701 ro

Не забудь убрать директиву hiddenmenu, если она прописана.

GRUB 2

Чтобы запустить созданное нами ядро в GRUB 2, который по умолчанию поставляется в новых дистрибутивах, твой конфиг должен выглядеть следующим образом:

Menuentry "kernel 701" { set root="hd0,msdos1" multiboot /boot/kernel-701 ro }

Благодарю Рубена Лагуану за это дополнение.

Перезагружай компьютер, и ты должен будешь увидеть свое ядро в списке! А выбрав его, ты увидишь ту самую строку.



Это и есть твое ядро!

Пишем ядро с поддержкой клавиатуры и экрана

Мы закончили работу над минимальным ядром, которое загружается через GRUB, работает в защищенном режиме и выводит на экран одну строку. Настала пора расширить его и добавить драйвер клавиатуры, который будет читать символы с клавиатуры и выводить их на экран.

Мы будем общаться с устройствами ввода-вывода через порты ввода-вывода. По сути, они просто адреса на шине ввода-вывода. Для операций чтения и записи в них существуют специальные процессорные инструкции.

Работа с портами: чтение и вывод

read_port: mov edx, in al, dx ret write_port: mov edx, mov al, out dx, al ret

Доступ к портам ввода-вывода осуществляется при помощи инструкций in и out , входящих в набор x86.

В read_port номер порта передается в качестве аргумента. Когда компилятор вызывает функцию, он кладет все аргументы в стек. Аргумент копируется в регистр edx при помощи указателя на стек. Регистр dx - это нижние 16 бит регистра edx . Инструкция in здесь читает порт, номер которого задан в dx , и кладет результат в al . Регистр al - это нижние 8 бит регистра eax . Возможно, ты помнишь из институтского курса, что значения, возвращаемые функциями, передаются через регистр eax . Таким образом, read_port позволяет нам читать из портов ввода-вывода.

Функция write_port работает схожим образом. Мы принимаем два аргумента: номер порта и данные, которые будут записаны. Инструкция out пишет данные в порт.

Прерывания

Теперь, прежде чем мы вернемся к написанию драйвера, нам нужно понять, как процессор узнает, что какое-то из устройств выполнило операцию.

Самое простое решение - это опрашивать устройства - непрерывно по кругу проверять их статус. Это по очевидным причинам неэффективно и непрактично. Поэтому здесь в игру вступают прерывания. Прерывание - это сигнал, посылаемый процессору устройством или программой, который означает, что произошло событие. Используя прерывания, мы можем избежать необходимости опрашивать устройства и будем реагировать только на интересующие нас события.

За прерывания в архитектуре x86 отвечает чип под названием Programmable Interrupt Controller (PIC). Он обрабатывает хардверные прерывания и направляет и превращает их в соответствующие системные прерывания.

Когда пользователь что-то делает с устройством, чипу PIC отправляется импульс, называемый запросом на прерывание (Interrupt Request, IRQ). PIC переводит полученное прерывание в системное прерывание и отправляет процессору сообщение о том, что пора остановить то, что он делает. Дальнейшая обработка прерываний - это задача ядра.

Без PIC нам бы пришлось опрашивать все устройства, присутствующие в системе, чтобы посмотреть, не произошло ли событие с участием какого-то из них.

Давай разберем, как это работает в случае с клавиатурой. Клавиатура висит на портах 0x60 и 0x64. Порт 0x60 отдает данные (когда нажата какая-то кнопка), а порт 0x64 передает статус. Однако нам нужно знать, когда конкретно читать эти порты.

Прерывания здесь приходятся как нельзя более кстати. Когда кнопка нажата, клавиатура отправляет PIC сигнал по линии прерываний IRQ1. PIС хранит значение offset , сохраненное во время его инициализации. Он добавляет номер входной линии к этому отступу, чтобы сформировать вектор прерывания. Затем процессор ищет структуру данных, называемую «таблица векторов прерываний» (Interrupt Descriptor Table, IDT), чтобы дать функции - обработчику прерывания адрес, соответствующий его номеру.

Затем код по этому адресу исполняется и обрабатывает прерывание.

Задаем IDT

struct IDT_entry{ unsigned short int offset_lowerbits; unsigned short int selector; unsigned char zero; unsigned char type_attr; unsigned short int offset_higherbits; }; struct IDT_entry IDT; void idt_init(void) { unsigned long keyboard_address; unsigned long idt_address; unsigned long idt_ptr; keyboard_address = (unsigned long)keyboard_handler; IDT.offset_lowerbits = keyboard_address & 0xffff; IDT.selector = 0x08; /* KERNEL_CODE_SEGMENT_OFFSET */ IDT.zero = 0; IDT.type_attr = 0x8e; /* INTERRUPT_GATE */ IDT.offset_higherbits = (keyboard_address & 0xffff0000) >> 16; write_port(0x20 , 0x11); write_port(0xA0 , 0x11); write_port(0x21 , 0x20); write_port(0xA1 , 0x28); write_port(0x21 , 0x00); write_port(0xA1 , 0x00); write_port(0x21 , 0x01); write_port(0xA1 , 0x01); write_port(0x21 , 0xff); write_port(0xA1 , 0xff); idt_address = (unsigned long)IDT ; idt_ptr = (sizeof (struct IDT_entry) * IDT_SIZE) + ((idt_address & 0xffff) << 16); idt_ptr = idt_address >> 16 ; load_idt(idt_ptr); }

IDT - это массив, объединяющий структуры IDT_entry. Мы еще обсудим привязку клавиатурного прерывания к обработчику, а сейчас посмотрим, как работает PIC.

Современные системы x86 имеют два чипа PIC, у каждого восемь входных линий. Будем называть их PIC1 и PIC2. PIC1 получает от IRQ0 до IRQ7, а PIC2 - от IRQ8 до IRQ15. PIC1 использует порт 0x20 для команд и 0x21 для данных, а PIC2 - порт 0xA0 для команд и 0xA1 для данных.

Оба PIC инициализируются восьмибитными словами, которые называются «командные слова инициализации» (Initialization command words, ICW).

В защищенном режиме обоим PIC первым делом нужно отдать команду инициализации ICW1 (0x11). Она сообщает PIC, что нужно ждать еще трех инициализационных слов, которые придут на порт данных.

Эти команды передадут PIC:

  • вектор отступа (ICW2),
  • какие между PIC отношения master/slave (ICW3),
  • дополнительную информацию об окружении (ICW4).

Вторая команда инициализации (ICW2) тоже шлется на вход каждого PIC. Она назначает offset , то есть значение, к которому мы добавляем номер линии, чтобы получить номер прерывания.

PIC разрешают каскадное перенаправление их выводов на вводы друг друга. Это делается при помощи ICW3, и каждый бит представляет каскадный статус для соответствующего IRQ. Сейчас мы не будем использовать каскадное перенаправление и выставим нули.

ICW4 задает дополнительные параметры окружения. Нам нужно определить только нижний бит, чтобы PIC знали, что мы работаем в режиме 80x86.

Та-дам! Теперь PIC проинициализированы.

У каждого PIC есть внутренний восьмибитный регистр, который называется «регистр масок прерываний» (Interrupt Mask Register, IMR). В нем хранится битовая карта линий IRQ, которые идут в PIC. Если бит задан, PIC игнорирует запрос. Это значит, что мы можем включить или выключить определенную линию IRQ, выставив соответствующее значение в 0 или 1.

Чтение из порта данных возвращает значение в регистре IMR, а запись - меняет регистр. В нашем коде после инициализации PIC мы выставляем все биты в единицу, чем деактивируем все линии IRQ. Позднее мы активируем линии, которые соответствуют клавиатурным прерываниям. Но для начала все же выключим!

Если линии IRQ работают, наши PIC могут получать сигналы по IRQ и преобразовывать их в номер прерывания, добавляя офсет. Нам же нужно заполнить IDT таким образом, чтобы номер прерывания, пришедшего с клавиатуры, соответствовал адресу функции-обработчика, которую мы напишем.

На какой номер прерывания нам нужно завязать в IDT обработчик клавиатуры?

Клавиатура использует IRQ1. Это входная линия 1, ее обрабатывает PIC1. Мы проинициализировали PIC1 с офсетом 0x20 (см. ICW2). Чтобы получить номер прерывания, нужно сложить 1 и 0x20, получится 0x21. Значит, адрес обработчика клавиатуры будет завязан в IDT на прерывание 0x21.

Задача сводится к тому, чтобы заполнить IDT для прерывания 0x21. Мы замапим это прерывание на функцию keyboard_handler , которую напишем в ассемблерном файле.

Каждая запись в IDT состоит из 64 бит. В записи, соответствующей прерыванию, мы не сохраняем адрес функции-обработчика целиком. Вместо этого мы разбиваем его на две части по 16 бит. Нижние биты сохраняются в первых 16 битах записи в IDT, а старшие 16 бит - в последних 16 битах записи. Все это сделано для совместимости с 286-ми процессорами. Как видишь, Intel выделывает такие номера на регулярной основе и во многих-многих местах!

В записи IDT нам осталось прописать тип, обозначив таким образом, что все это делается, чтобы отловить прерывание. Еще нам нужно задать офсет сегмента кода ядра. GRUB задает GDT за нас. Каждая запись GDT имеет длину 8 байт, где дескриптор кода ядра - это второй сегмент, так что его офсет составит 0x08 (подробности не влезут в эту статью). Гейт прерывания представлен как 0x8e. Оставшиеся в середине 8 бит заполняем нулями. Таким образом, мы заполним запись IDT, которая соответствует клавиатурному прерыванию.

Когда с маппингом IDT будет покончено, нам надо будет сообщить процессору, где находится IDT. Для этого существует ассемблерная инструкция lidt, она принимает один операнд. Им служит указатель на дескриптор структуры, которая описывает IDT.

С дескриптором никаких сложностей. Он содержит размер IDT в байтах и его адрес. Я использовал массив, чтобы вышло компактнее. Точно так же можно заполнить дескриптор при помощи структуры.

В переменной idr_ptr у нас есть указатель, который мы передаем инструкции lidt в функции load_idt() .

Load_idt: mov edx, lidt sti ret

Дополнительно функция load_idt() возвращает прерывание при использовании инструкции sti .

Заполнив и загрузив IDT, мы можем обратиться к IRQ клавиатуры, используя маску прерывания, о которой мы говорили ранее.

Void kb_init(void) { write_port(0x21 , 0xFD); }

0xFD - это 11111101 - включаем только IRQ1 (клавиатуру).

Функция - обработчик прерывания клавиатуры

Итак, мы успешно привязали прерывания клавиатуры к функции keyboard_handler , создав запись IDT для прерывания 0x21. Эта функция будет вызываться каждый раз, когда ты нажимаешь на какую-нибудь кнопку.

Keyboard_handler: call keyboard_handler_main iretd

Эта функция вызывает другую функцию, написанную на C, и возвращает управление при помощи инструкций класса iret. Мы могли бы тут написать весь наш обработчик, но на C кодить значительно легче, так что перекатываемся туда. Инструкции iret/iretd нужно использовать вместо ret , когда управление возвращается из функции, обрабатывающей прерывание, в программу, выполнение которой было им прервано. Этот класс инструкций поднимает флаговый регистр, который попадает в стек при вызове прерывания.

Void keyboard_handler_main(void) { unsigned char status; char keycode; /* Пишем EOI */ write_port(0x20, 0x20); status = read_port(KEYBOARD_STATUS_PORT); /* Нижний бит статуса будет выставлен, если буфер не пуст */ if (status & 0x01) { keycode = read_port(KEYBOARD_DATA_PORT); if(keycode < 0) return; vidptr = keyboard_map; vidptr = 0x07; } }

Здесь мы сначала даем сигнал EOI (End Of Interrupt, окончание обработки прерывания), записав его в командный порт PIC. Только после этого PIC разрешит дальнейшие запросы на прерывание. Нам нужно читать два порта: порт данных 0x60 и порт команд (он же status port) 0x64.

Первым делом читаем порт 0x64, чтобы получить статус. Если нижний бит статуса - это ноль, значит, буфер пуст и данных для чтения нет. В других случаях мы можем читать порт данных 0x60. Он будет выдавать нам код нажатой клавиши. Каждый код соответствует одной кнопке. Мы используем простой массив символов, заданный в файле keyboard_map.h , чтобы привязать коды к соответствующим символам. Затем символ выводится на экран при помощи той же техники, что мы применяли в первой версии ядра.

Чтобы не усложнять код, я здесь обрабатываю только строчные буквы от a до z и цифры от 0 до 9. Ты с легкостью можешь добавить спецсимволы, Alt, Shift и Caps Lock. Узнать, что клавиша была нажата или отпущена, можно из вывода командного порта и выполнять соответствующее действие. Точно так же можешь привязать любые сочетания клавиш к специальным функциям вроде выключения.

Теперь ты можешь собрать ядро, запустить его на реальной машине или на эмуляторе (QEMU) так же, как и в первой части.