Генерация текста для начинающих и не только

Категория: Фундаментальные статьи

– Автор: Игорь (Администратор)

Генерация текста это процесс, позволяющий получить из одного шаблона множество других текстов, удовлетворяющих заданным условиям. Показательным примером является любая существующая CMS (система управления контентом), такая как Joomla, WordPress, OpenCart и прочие. В качестве шаблона, выступает некоторая "статическая" страница, куда подставляется существующая информация из базы данных. Например, для карточки товаров в интернет-магазинах информация это описание, блоки, атрибуты, опции и подобное. В статейных же сайтах, информация это тексты статей, данные о публикации, сопутствующие блоки и так далее. Такой подход позволяет существенно сократить время на поддержание сайта.

Однако, только этим примером генерация текста не ограничивается. Этот процесс включает в себя также генерацию псевдоуникальных текстов. Но, обо всем по порядку.

Генерация текста зачем она нужна?

Как вы наверное уже поняли, сегодня, практически каждый сайт это продукт процесса генерации текста. Однако, есть области, где генерация минимальна, например, у статейных сайтов, где основной текст на странице каждой статьи составлен человеком и уникален (относительно уникален). А есть области, где без генерации основного текста попросту не обойтись, так как написание интересных и удивительных текстов для каждого случая просто не оправдано (слишком много времени уйдет, а результат будет минимальным). Такими примерами являются каталоги программ, интернет-магазины, статейное продвижение и прочее.

Просто представьте, что у вас есть 1000 товаров, которые практически ничем не отличаются друг от друга, только несколькими параметрами. Написать 1000 уникальных статей просто нереально. Любой, кто хоть раз написал нормальную статью знает, что в среднем на нее может уходить от часа и до бесконечности. Простая математика. Если в день писать 8 статей, каждая из которых будет занимать не менее часа вместе с оформлением, то вам понадобится порядка 125 дней. Больше трети года, которые можно пустить на что-то более полезное.

Однако, важно понимать, что генерация текста подразумевает аккуратность и вдумчивое использование, так как поисковые системы не нацелены на захламление своей выдачи. От того, как вы подойдете к процессу, будет зависеть результат. Позиции сайта по запросам могут подняться, трафик увеличиться, поведенческие факторы улучшиться и так далее. А может и наоборот приведет к применению фильтров со стороны поисковых систем вплоть до АГС и прочего.

В дальнейшем под генерацией текста будем подразумевать именно создание основных текстов из одного шаблона.

Размножение статей - что это?

Сегодня, существует более 1 млрд сайтов. Просто вдумайтесь в эту цифру. И на каждом из них далеко не по одной странице. Все эти сайты поисковикам необходимо ранжировать в поисковой выдаче по такому же количеству запросов (в сравнении по порядку). Задача крайне объемная. Поэтому учитывается масса факторов, которые постоянно ужесточаются. К примеру, от года к году увеличивается число необходимых ссылок на сайт для получения определенного ТИЦа.

По этой и некоторым другим причинам, в плане продвижения и генерации страниц на сайте большую популярность приобрел процесс "Размножения статей", который при достаточном навыке позволяет получить буквально за час другой сотни псевдоуникальных статей. Другими словами, относительно уникальных статей с точки зрения поисковиков, но похожих с точки зрения человека.

Что подразумевает под собой размножение статей? Если говорить простыми словами, то процесс состоит из нескольких шагов:

1. Составление обычной статьи
2. Вставка специализированных конструкций, которые позволяют видоизменять текст
3. Указание параметров для оценки схожести и количество необходимых статей
4. Генерация

Те, кто часто занимаются размножением текстов, обычно сразу пишут шаблоны и используют сохранившиеся у них конструкции из других шаблонов. Однако, если вы только начинаете заниматься генерацией, то крайне не советую сразу заниматься шаблонами. Вам необходимо на практике "пощупать" этот процесс. Со временем, когда руку набьете, грамотно составленный шаблон позволит вам быстро получить нужное количество статей, каждая их которых не будет похожа на другую.

При этом важно понимать, что в мире, где нормальное явление рерайт и дубликаты в поисковой выдаче, размножение статей процесс вполне естественный (это не плохо и не хорошо, просто как есть).

Так же Важно понимать, что размножение статей не является панацеей и этот процесс стоит использовать аккуратно. Кроме того, сами статьи должны быть читаемыми для людей. Но, подробнее об ошибках ближе к концу статьи.

Основные конструкции в генераторах

Многие программы или сайты генераторы представляют собственный набор уникальных конструкций, однако есть основные конструкции, которые встречаются чаще всего.

Их всего пара, рассмотрим вначале их:

1. Синонимайз. Под данным термином понимают процесс замены слов на похожие по смыслу или же просто случайную подстановку (четкого критерия тут не существует). Сама конструкция представляет собой открывающую фигурную скобку "{", затем идут слова или предложения разделенные горизонтальной чертой "|", а в конце идет закрывающая фигурная скобка "}".

Рассмотрим следующий шаблон:

Вы получите этот товар вместе с { скидкой | подарком | акцией | 10%-й бонусной картой}

На выходе будут получаться случайным образом следующие строки:

...
Вы получите этот товар вместе с скидкой
Вы получите этот товар вместе с 10%-й бонусной картой
Вы получите этот товар вместе с подарком
Вы получите этот товар вместе с акцией
...

Как видите, используя такую конструкцию для замены слов или предложений, вы можете получить непохожие друг на друга тексты. Кроме того, важно знать, что такие конструкции так же можно применять внутри друг друга для экономии места, чтобы не повторять одни и те же фразы, отличающиеся только одним словом.

Так как изначально такие конструкции использовались для замены слов по синонимам, то во многих программах и сервисах синонимайзинга и размножения есть собственные готовые базы таких конструкций. По этой причине, вы в принципе можете сразу после установки программы получить вполне уникальные тексты, хоть и которые придется проверять вручную, так как автоматическая замена текста порой приводит к созданию "бредовых" текстов.

2. Перестановка. Данная конструкция позволяет перемешивать слова и фразы. Она встречается практически во всех программах и сервисах генерации текста, но ее наличие не является обязательной. Перестановка очень полезна в случаях, когда необходимо переставлять местами предложения или же описания чего-либо. Конструкция похожа, но с некоторыми отличиями. Начинается с прямоугольной скобки "[", затем через горизонтальную черту "|" указываются слова и фразы для перестановки, и в конце идет закрывающая фигурная скобка "]". Важное замечание. В зависимости от версий программ и сервисов, такие конструкции могут быть немного видоизменены, например, добавляется возможность указывать символы или слова, которые будут разделителями, чтобы их не перечислять.

Рассмотрим пример:

Эта программа позволяет [ просматривать видео, | прослушивать аудио, | вставлять комментарии,] редактировать подсветку

На выходе у вас будут следующие случайные фразы:

...
Эта программа позволяет просматривать видео, прослушивать аудио, вставлять комментарии, редактировать подсветку
Эта программа позволяет прослушивать аудио, вставлять комментарии, просматривать видео, редактировать подсветку
Эта программа позволяет просматривать видео, вставлять комментарии, прослушивать аудио, редактировать подсветку
...

Как видите, с помощью этой конструкции можно получить относительно разные фрагменты текста. Важно понимать, что перестановка текста так же влияет на схожесть текстов, хотя смысл при этом в большинстве случаев не меняется.

Теперь рассмотрим некоторые специализированные конструкции:

1. Вставка. Когда у вас есть какие-то заготовки или же информацию можно взять из какой-либо базы данных, то их можно использовать с помощью конструкций вставки. Обычно, вставка представляет собой некоторое специализированное слово, справа и слева от которого стоят скобки или их комбинации. Например, "[name]", "{family}", "[[nick]]" и прочие. Формат зависит от программы, но смысл обычно одинаковый.

Рассмотрим пример. Допустим вам нужно сгенерировать тексты для пользователей:

Уважаемый [name], пожалуйста, подтвердите ваш заказ с номером [order_num]

На выходе для каждого пользователя вы получите тексты вида:

...
Уважаемый Василий, пожалуйста, подтвердите ваш заказ с номером №123
Уважаемый Проськин, пожалуйста, подтвердите ваш заказ с номером №444
...

Как вы наверное уже догадались, такие вставки особенно полезны при наличии большого количества однотипных данных, таких как товары одной категории, программы в каталогах и прочее.

2. Условные функции. Это некоторые специализированные конструкции, которые позволяют логически вычислить какой необходимо текст вставлять (или не вставлять). К примеру, функции проверки значений: равно, больше, меньше и так далее. Формат этих функций уникален в каждом генераторе, поэтому их невозможно перечислить. Однако, они очень полезны в случаях, когда шаблон составлен под разные области, слабо друг от друга отличающиеся. Тем не менее, такие функции встречаются достаточно редко.

Какие алгоритмы используются для оценки текста

Для оценки схожести текста используется много алгоритмов. Но, наиболее известными из них являются прямое сравнение и метод шинглов. Существуют и другие, но обычно этих двух более чем достаточно для большинства обыденных задач.

1. Прямое сравнение. Как и следует из названия, речь идет о том, насколько тексты получились идентичными. При этом важно понимать, что если вы ставите слово вначале текста, то это не сделает его уникальным. Так как остальная часть будет полностью совпадать. Плюс этого метода заключается в простоте понимания, минусом же является то, что с точки зрения поисковых систем это слабый показатель. К примеру, вы можете просто переставить фрагменты текста и у вас получится уникальная статья, но вот поисковик ее воспримет не как уникальную.

2. Метод шинглов. Этот алгоритм является одним из методов оценки текста поисковыми системами. Он не является полноценным, но и поисковые системы не стремятся раскрывать свои алгоритмы, чтобы сохранить выдачу в нормальном состоянии. Тем не менее, этот метод часто применяется для оценки схожести текста и дает весомые результаты.

Его суть заключается в том, что задается некоторое число слов, идущих подряд. Затем весь текст разбивается на фрагменты по этому количеству слов. При этом сдвиг происходит не на указанное количество слов, а каждый раз на одно слово. Полученные шинглы шифруются определенным образом для экономии места. А в последствии два текста сравниваются именно по количеству шинглов, а не по самому тексту. Такой подход сводит на нет перестановку фраз и предложений в тексте, так как от того, что вы поменяли местами два предложения, шинглы практически не изменятся.

Рассмотрим текст.

Цена товара составляет Х с учетом акции.

Для примера возьмем число слов равное 3. В таком случае будут получены шинглы

Цена товара составляет
товара составляет Х
составляет Х с
Х с учетом
с учетом акции.

Теперь, если вы перенесете часть "С учетом акции", добавите слова и получите "С учетом акции цена супер товара составляет всего X", такая фраза будет все равно иметь процент схожести, так как некоторые шинглы все же встречаются. При проверке на прямое совпадение эти два предложения были бы практически разными.

Важно понимать, что это простой пример и что у метода шинглов существует множество вариаций. Чистка от стоп слов - неинформативные слова, такие как предлоги "в", "на" и так далее. У слов убираются окончания. Порядок слов в шингле может иметь или не иметь значения. Слова оцениваются вместе с синонимами. И так далее.

Поэтому, при составлении текста очень важно перефразировать предложения, наполнять их нестандартными вставками и словами, добавлять или наоборот убирать абзацы с текстом, чтобы разбавить шинглы. В общем, делать текст разнообразным.

В чем отличие шаблонов товаров и статей?

Если к статьям поисковые системы применяют достаточно высокие требования, то к описанию товаров такие требования снижены. Причины просты. Товары в большинстве своем одинаковы у интернет-магазинов конкурентов. Количество товаров легко исчисляется в тысячах. Далеко не всем нужны простыни текста, многие ориентируются по цене и характеристикам. Сами описания товаров в принципе сложно сделать сильно разными, вспоминаем про самое начало статьи, где я описывал сколько бы ушло времени на составлении 1000 статей на каждый товар.

Поблажки к описаниям товаров обычно следующие:

• Снижен критерий минимального количества символов в тексте (по разным данным минимум от 300 до 1000 символов, у статей сегодня этот порог 1500-2500)
• Поисковики легче относятся к дублированию контента (не только на разных сайтах, но и в рамках одного сайта, например, похожие товары с похожим описанием)
• Поисковые системы больше ориентируются на другие показатели и отдельные данные, такие как ключевые слова (производители, характеристики, модель и прочее)

Конечно, это не значит, что при составлении шаблонов товаров не стоит серьезно подходить к делу. Просто, важно понимать, что составлять шаблоны для генерации текстов товаров легче и многое можно взять из характеристик и метаданных самого товара.

Как создать свой первый шаблон

Прежде всего, если вы создаете шаблон для сайта или интернет-магазина, то необходимо сделать его бэкап. Шаблоны написать вы всегда успеете, а вот после экспериментов восстановить описания сотням товаров весьма непростое занятие. Следующее, что вам нужно знать, если вы еще ни разу не создавали шаблоны, то начинайте с небольших задач или малых объемов. Не стоит браться сразу за все товары на сайте. Вам вначале нужно увидеть собственными глазами как это выглядит и какой получается результат.

Теперь, после предупреждений, перейдем к небольшому алгоритму создания первого шаблона:

1. Открываете поисковую систему, ищите там описания похожих товаров и статей. На основе этих данных составляете свою статью, только хорошую и не похожую как две капли воды на источники.

2. Начинаете наполнять текст специализированными конструкциями, такими как синонимайз, перестановка, вставка, условные функции (смотря какие из них доступны).

3. Проводите генерацию текста.

4. Проверяете насколько тексты получились уникальными. Можно использовать программы или сайты копирайта, коих достаточно в интернете. Если вы используете для проверки программы и метод шингла, то стоит устанавливать число слов в районе 5-7, лучше 5, но не всегда подходит.

5. Если процент схожести меньше, чем нужно, то возвращаетесь на шаг 2 и снова переделываете шаблон (дополняете его, меняете части и так далее). Если меряете анализаторами, то желательно чтобы процент был не меньше 80%. Если "на глаз", то старайтесь смотреть у схожих магазинов в топе поисковой выдаче насколько у них описания товаров похожи. Последнее, конечно, не является эталоном, так как поисковые системы формируют поисковую выдачу, но все же хоть какой-то ориентир.

6. Получаете готовый шаблон. Обязательно его сохраните куда-нибудь.

Первое время шаблоны будут создаваться не быстро, но когда руку набьете, на шаблоны будет уходить не так уж много времени.

Наиболее частые ошибки составления шаблонов и размножения статей

А теперь, вам стоит узнать наиболее частые ошибки новичков при составлении шаблонов и размножении статей, чтобы избежать как можно больше грабель:

• Я сделаю универсальный шаблон на все случае в жизни. В действительности, такое может быть и результаты могут быть хорошими, но новичкам лучше этим не заниматься поначалу. Какие тут подводные камни. Первый. Шаблон вырастет и вы запутаетесь в конструкциях. Не смотрите на те примеры, что были в статье. Обычно, шаблоны представляют собой нечто напоминающее хаос символов и одни конструкции. Второй. Если у вас изменится потребность для части текстов, то вам придется либо еще усложнять шаблон, либо заниматься копированием и переделкой этого универсального шаблона. Третий. Если у вас немного опыта, то легко можно не учесть контекст и получить на выходе читаемый, но бессмысленный текст. В общем, на начальных этапах проблем будет куда больше.
• А возьму-ка я готовую базу синонимов. Базу синонимов можно использовать, но не бездумно. Все такие тексты после генерации необходимо проверять на читаемость. "А у вас молочный продукт быстро шел" - это не фраза из мультика про Карлсона.
• Буду сразу составлять шаблон. Этому еще нужно научиться - видеть за шаблоном текст. Новичок уже к половине текста начнет путаться и не понимать, какой он текст составляет. В итоге, шаблон придется не только доводить до нужного процента схожести, но и делать из него текст.
• Напихаю-ка я ключевых фраз и прочих примочек. Помните, что размноженные тексты так же должны соответствовать нормам сео текстов. От того, что статьи получились уникальными, не значит, что такие статьи нормально войдут в поисковую выдачу. Поэтому следите так же и за остальными аспектами сео. Например, не перебарщивайте с ключевиками, используйте непрямые вхождения и прочее.
• О придумал что-то еще, перегенерую-ка я весь ассортимент. Помните, что частая смена текстов, тем более в огромных количествах, это сигнал для поисковых систем. Кроме того, если в шаблонах используется синонимайз, то каждый раз будут подставляться случайные слова и фразы, что будет менять текст. Старайтесь подходить к этому вопросу обдуманно. К примеру, если вам нужно добавить что-то в конец текстов, то посмотрите нет ли возможности в вашем генераторе создать такой шаблон, который бы вначале вставил существующий текст, а затем добавил вашу задумку. К таким изменениям в текстах поисковые системы относятся гораздо легче, так как подразумевается, что любые описания могут дополняться со временем (но не полностью видоизменятся, особенно с использованием синонимов).
• О сразу после генерации по одному шаблону, трафик резко поднялся, сделаю быстренько остальные. Важно понимать, что процессы оценки текстов и сайтов у поисковых систем достаточно медленные. Поэтому вполне возможно, что подъем был связан с чем-то другим. Не торопитесь прогонять все тексты сразу, особенно если вы не уверены в качестве шаблонов. Наблюдайте за тем, что будет происходить. Так же рекомендую при первых признаках снижения не пытаться сразу откатить все назад. При изменении выдачи, на сайте может наблюдаться временный провал в трафике.

Теперь, вы знаете о генерации текста и размножении статей больше, предупреждены о ряде проблемных мест и знаете различные тонкости.