Sorge — участник программы «Легкий старт»

«Кто владеет информацией, тот владеет миром», — эта фраза очень хорошо описывает реалии современного бизнеса. Сегодня практически у каждой коммерческой компании есть свой сайт, который является не просто страничкой с контактной информацией, а дополнительным инструментом получения прибыли. Чтобы быть в Интернете узнаваемым, необходимо тщательно отслеживать все тенденции и реагировать на них. Однако в условиях лавинообразного роста информации сложно просто следить за сайтами конкурентов, не говоря уже о глобальном мониторинге тенденций.

Почему бы не автоматизировать хотя бы часть рутинной работы по отслеживанию информации в Интернете? Такая мысль пришла в голову Олегу Громову — и он начал работу над инструментом по отслеживанию сайтов конкурентов Sorge. Проект развивается и разрастает, требуя дополнительных сетевых ресурсов. Именно поэтому команда Sorge решила принять участие в нашей программе поддержки стартапов «Легкий старт».

Заявка на участие была одобрена; вскоре после этого мы побеседовали с Олегом, и он подробно рассказал нам о своем проекте и планах по его развитию.

Селектел: Когда и как родилась идея вашего проекта?
Олег Громов: Впервые мысли о необходимости такого проекта стали посещать меня осенью 2010 г. Я специально говорю о мыслях во множественном числе, поскольку впоследствии они нашли отражение в Sorge.

В то время я очень плотно занимался развитием своей веб-студии, и старался, чтобы каждый из сданных заказчику проектов вызывал у меня гордость, но, к сожалению, в первые недели эксплуатации сайта клиентом есть большой риск, что клиент сам поломает свой сайт. Конечно сайты исправлялись в рамках гарантийных обязательств, но поиск таких «творческих» изменений на сайте клиента занимал иногда слишком много времени (особенно эта проблема знакома тем, кто занимается поисковой оптимизацией).

Одновременно в тот же период времени я достаточно детально изучал статистику развития Интернета и в ходе анализа данных за 15 лет увидел тенденцию, о которой по ряде причин люди стараются не говорить — в Сети назревает серьёзный кризис. Если описать его суть кратко, то Интернет традиционно воспринимается как безграничное пространство, в котором каждому предприятию найдётся место, ведь Интернет безграничен, он обладает колоссальной аудиторией и низким порогом вхождения. Пока это ещё правда, но рост аудитории интернет-пользователей развитых стран замедлился и дальше будет только снижаться, а число интернет-предприятий, напротив, продолжает стремительно расти. По сути речь идёт о насыщении интернет-рынка, а в ряде направлений — даже о кризисе перепроизводства.

Например, в 2009 г. каждый день в Рунете появлялось примерно 20 интернет-магазинов, в 2012 это число возросло до 63. Эти цифры выглядят оптимистично, но в тоже время ещё в 2007 г. на один интернет-магазин приходилось 367 потенциальных покупателя, а в 2013 г. это число сократилось до 149. Фактически уже сегодня в Интернетe начинается настоящая конкурентная борьба, а мониторинг является неотъемлемой её частью. Правоту своей теории я проверял в общении с клиентами. Все они сознавались в том, что всё чаще и чаще смотрят на сайты конкурентов.

Я долго пытался внедрить в работе имеющиеся на рынке инструменты мониторинга, даже у себя в компании попробовал запустить услугу по мониторингу конкурентов, однако эти попытки оказались провальными по банальной причине — я не смог найти подходящего инструмента для выполнения этой работы. Так и началась работа над Sorge.

Сразу хочу оговориться о распространённой ошибке. Клиенты часто производят название нашего сервиса как «Сорж», но это совершенно не корректно. Проект назван в честь советского разведчика Рихарда Зорге, и произносится так же, как его фамилия.

Селектел: На какие категории пользователей ориентирован ваш проект?
Олег Громов: Целевую аудиторию можно разделить на три группы относительно сфер применения проекта.

Первая группа — это веб-студии, использующие наш инструмент для мониторинга сайтов своих клиентов и выявления фактов несогласованного изменения контента.

Во вторую группу входят маркетологи, использующие Sorge для слежения за сайтами конкурентов, анализа и оперативного взаимодействия.

Наконец, третья группа представлена менеджерами, которые используют наш проект для контроля качества поддержки и обновления подрядчиками сайта компании.

Селектел: Насколько большая команда работает над проектом в настоящий момент?
Олег Громов: Команда небольшая, в штате 5 сотрудников. Активно привлекаем фрилансеров, с которыми уже имеем опыт успешной работы.

Селектел: Много ли у вас клиентов на сегодняшний день?
Олег Громов: Информация о числе клиентов является коммерческой тайной. Отметим только, что клиентов сейчас вполне достаточно для того, чтобы сервис мог развиваться на заработанные деньги.

Селектел: Как вы продвигаете и рекламируете собственный проект?
Олег Громов: За год мы опубликовали 5 статей. Ещё несколько публикаций в сети разместили наши пользователи. По сравнению с другими молодыми проектами, наши затраты на рекламу можно считать минимальными. В 2014 году планируем значительно увеличить рекламную активность. Параллельно мы будем работать над повышением качества предлагаемых услуг.

Селектел: Существуют ли сервисы, аналогичные вашему, в нашей стране и за рубежом?
Олег Громов: Хороший и одновременно сложный вопрос. Месяц назад я насчитал более 40 программных решений, предоставляющих пользователям возможность отслеживать изменения на веб-страницах. Всеми этими продуктами можно пользоваться, и в ряде случаев они по-своему удобны. Но при работе с ними возникает ощущение возврата на 10 лет назад. Например, в 1999 году появились проекты вроде ChangeDetection.com, которые умеют отслеживать изменения на конкретных веб-страницах, и с того времени серьёзного прогресса в этом направлении не было. Мы же с самого начала поставили себе цель полностью переосмыслить механику мониторинг сайтов. Наш проект несёт в себе определенную философию — наше видение идеального инструмента, позволяющего легко справляться не только со сбором информации, но и облегчающего последующий её анализ человеком. Формально нас можно пытаться сравнивать с другими проектами, но Sorge за год развития уже существенно отличается от всего, что представлено на рынке.

Селектел: Каковы ваши конкурентные преимущества перед известными аналогами?
Олег Громов: Преимуществ много, я перечислю лишь основные из них.

Работа с большими объёмами данных. Если нужно отслеживать изменения на маленьком сайте, состоящего из нескольких веб-страниц, можно взять любой существующий инструмент для мониторинга, но когда нужно следить за изменениями на сотнях, тысячах и десятках тысяч веб-страниц, наш проект показывает себя с лучшей стороны, поскольку именно под сайты среднего и большого размера SORGE затачивался с самых первых дней разработки.

Различные типы сбора данных. Под этим понимается возможность пользователю выбирать, как именно он хочет собирать информацию с сайтов (отслеживать изменения на отдельных веб-страницах, автоматически индексировать сайт нашим поисковым роботом, или же отслеживать изменения только на тех страницах, на которых встречается заданная комбинация ключевых слов). Такой подход позволяет пользователю определять свой, наиболее удобный способ мониторинга информации.

Собственный робот для индексации сайтов. Он способен не только ежедневно обходить сайтыи изучать их для выявления изменений, но и сообщать, какая именно страница на сайте была добавлена или удалена. Обнаружив новую страницу, он начнёт отслеживать на ней информацию. Если страница была удалена, то она будет временно убрана из индексирования.

Шаблонизация. Cервису можно указывать, на каких участках веб-страницы нужно отслеживать информацию, а какие — игнорировать. Такие шаблоны можно применять к тысячам страниц.

История изменений. В течение трёх месяцев мы храним в памяти сервиса историю изменений каждой отслеживаемой веб-страницы. Это бывает очень полезно, когда необходимо отследить, как именно менялся текст на веб-страницах и в случае необходимости ознакомиться с давно удалённым с сайта текстом.

API. Мы предоставляем возможность интеграции нашего сервиса с проектами клиентов и партнёров.

Сбор разных типов данных. Кроме мониторинга контента, сервис также отслеживает изменения в структуре сайта, мета-тегах, длительности простоев в работе сайта (сообщает о типе ошибки, её времени появления исчезновения) и информирует о состоянии домена.

Поддержка. Всем пользователям оказывается качественная помощь службой технической поддержки. Ответы на многие вопросы также можно найти в очень подробной документации. У нас активно растёт партнёрская сеть, в которую входят веб-студии,способные на основе Sorge делать для своих клиентов аналитические отчёты. Вот пример такого отчета от компании Electronic Intelligence.

Селектел: На каком языке написана программа для отслеживания сайтов конкурентов?
Олег Громов: Сервис написан на Python с использованием фреймворка Django. В качестве базы данных применяется PostgreSQL и memcached. Сервис работал на Ubuntu Server, но сейчас в силу ряда причин мы перешли на CentOS.

Селектел: Насколько ваш проект является высоконагруженным?
Олег Громов: Проект в достаточно большой степени является высоконагруженным. Буквально в начале осени мы полностью отказались от облачного сервера и перешли на закупку своего оборудования: наши вычислительные потребности постоянно растут. В настоящий момент Sorge ежемесячно анализирует изменения более чем на 3.000.000 веб-страниц.

Селектел: Насколько для вас важны вопросы сетевой связности?
Олег Громов: На данном этапе это не является для нас важным, но со временем, вероятно, значимость сетевой связности будет возрастать.

Селектел: Как вы узнали о программе «Легкий старт»?
Олег Громов: Случайно нашёл ваш блог, из которого и узнал о программе «Лёгкий старт». Кстати, спасибо вам за блог, получается действительно ценный информационный проект, желаю ему удачи и развития.

Селектел: Какие преимущества вы планируете получить от сотрудничества с «Селектелом»?
Олег Громов: Надежность и качественную поддержку. Мы с Селектелом уже 2 месяца и пока выбором довольны.

Селектел: Каковы ваши дальнейшие планы по развитию проекта?
Олег Громов: Мы планируем, как и раньше, выпускать раз в два месяца обновление сервиса. Версия 1.6.0 вышла буквально два дня назад и привнесла новые возможностей и улучшения в уже имеющемся наборе функций. В начале 2014 г. выпустим Sorge 2.

Селектел: Планируете ли вы выходить на международный рынок?
Олег Громов: Да, но только после того, как достигнем нужных нам показателей в РФ и странах СНГ. Локализовать интернет-проект — задача простая и быстрая, но мы не видим смысла выходить на международный рынок, пока не отточим бизнес и мастерство на отечественном. Но думаю, что до конца 2014 года это точно произойдет.