Анализируй это. Алгоритм 16-летнего англичанина сожмет интернет до трех строчек

Современный мир перегружен информацией. Один из друзей выложил интересную ссылку, кто-то опубликовал видеоролик со смешными котами, а баннер в левой верхней части страницы предлагает узнать всю правду из жизни столичных знаменитостей. Что выбрать? А ведь помимо чтения и просмотра всех этих интересных и, конечно же, важных материалов необходимо еще работать, учиться и жить.

Вдоволь насладившись всеми преимуществами интернета и осознав, сколько времени отнимает переход по ссылкам, один британский подросток решил все в корне изменить. Парень по имени Ник Д’Алоизио создал программу Summly для устройств под управлением Apple iOS, которая позволяет за считанные секунды узнать, о чем идет речь в статье, и решить, нужно ли читать весь текст.

В то же время лучшие умы задумались, нужно ли вообще ужимать интернет, к чему все это приведет и не останемся ли мы в информационном вакууме, если позволим компьютерам просеивать статьи через свое цифровое сито.

Купите мне ноутбук

Детство Ника Д’Алоизио прошло в городе Перт, Австралия. Будущий интернет-гений играл в регби и крикет со сверстниками, ходил в школу, увлекался изучением звездного неба.

Когда мальчику было 7 лет, его семья переехала из Перта в Лондон. Вскоре ребенок уговорил родителей подарить ему MacBook Pro, так как очень заинтересовался телевизионной рекламой и методами ее создания. «Я провел полгода, буквально выпрашивая ноутбук у родителей. В тот момент, когда мне его подарили, я не стал смотреть видеоролики и бродить по Сети. Наоборот, мне было интересно делать что-то свое», — говорит Д’Алоизио в интервью австралийскому изданию The Sydney Morning Herald.

[[BULLET]] Если верить правилам жизни Ника Д’Алоизио, вовремя купленный родителями компьютер может стать причиной 250-тысячного инвестирования!

Именно тогда и начались первые серьезные эксперименты. Юный разработчик использовал iMovie, пытаясь воспроизвести то, что он видел на экране телевизора. Затем к набору программного обеспечения добавился более серьезный софт — вроде Final Cut Express, Final Cut Pro и Autodesk. Домашнее кино вскоре было забыто, когда подросток получил свой первый iPhone в 2007 году и начал составлять простенькие программы (в 2008-м Apple представила первую версию магазина приложений App Store и выпустила набор для создания приложений iPhone OS SDK).

Д’Алоизио научился писать код самостоятельно, используя в качестве обучающих материалов книгу «С++ для чайников», некоторые известные пособия по созданию приложений для iPhone и форумы. Скрывая свой настоящий возраст, Ник общался с коллегами на форумах Wired и параллельно с сотрудниками Массачусетского технологического института.

Первые приложения, написанные Д’Алоизио, появились в App Store всего пару лет назад. К примеру, его программа SoundStumblr умела соединяться с другими iPhone в рамках одной комнаты по Bluetooth, чтобы узнать, какую музыку слушают люди. Затем Ник представил приложение Facemood , которое подключалось к профилю в социальной сети Facebook , проверяло ленту обновлений, анализировало статусы друзей и выдавало результат в виде матрицы эмоций. Уже тогда Д’Алоизио начал экспериментировать с семантическим анализом информации, что в итоге стало основой программы, принесшей автору десятки тысяч долларов и мировую известность.

Этапы большого пути

История суммирующего информацию алгоритма началась примерно год назад, когда у Д’Алоизио появилась учетная запись в Twitter. Ник заметил, что опубликованные гиперссылки друзей отнимают у него много времени. Понять, стоит ли читать очередной опус, можно далеко не сразу. Еще хуже, если вы просматриваете ленту с мобильного гаджета, ведь загрузка страницы длится достаточно долго. Масла в огонь подлила Google , поисковый движок которой, по версии Д’Алоизио, давно устарел и требует доработки. Разработчик уверен, что на изучение результатов поиска нужно тратить меньше времени, что человек должен понимать примерное содержание предлагаемой страницы до того, как на нее перейдет. Google предлагает умные превью в виде скриншотов страниц, но это не совсем то. Ника такой расклад не устроил, и он задумался о том, как сократить и формализовать информацию в интернете.

[[BULLET]] Подросток уже добился успехов на ниве интернет-технологий, но кто знает — сможет ли Ник вывести свою программу на индустриальный уровень?

Примерно в то же время Д’Алоизио заинтересовался компьютерными алгоритмами — последовательностями программных команд. Алгоритмы настолько захватили его ум, что Ник решил использовать их для фильтрации интернет-контента. Так появилось приложение TrimIt — программа, позволяющая сократить любую статью до пары-тройки строк. TrimIt использовала примитивный искусственный интеллект, который изучал контент предлагаемой страницы вместо того, чтобы анализировать только ключевые слова, как это делают многочисленные индустриальные аналоги.

Приложение скачали 100 000 человек, о молодом разработчике написали в прессе. Упоминания и заметки о Д’Алоизио и его чудо-программе попались на глаза Солине Чау — ключевому инвестору фонда Horizons , принадлежащего одному из богатейших людей планеты, китайцу Ли Ка-Шингу. Ник уже понимал, что без денежных вложений ему не удастся развить программу и превратить TrimIt в индустриальный стандарт, используемый для автоматического сокращения больших текстов и выуживания из них ключевых тезисов. Инвесторы Ли Ка-Шинга, ранее поверившие в успех Facebook, Spotify и Skype , пришлись очень кстати.

[[BULLET]] Простенький интерфейс Summly всего лишь окно к сложным серверам, запрограммированным на облачные расчеты результата.

Сотрудники Horizons вышли на связь, договорились с родителями несовершеннолетнего программиста. В итоге на территории Великобритании была зарегистрирована компания Summly Inc. , а программу переименовали из TrimIt в Summly. Ник Д’Алоизио стал владельцем нового предприятия, в которое инвесторы вложили $250 тысяч.

Получив такой куш, 16-летний подросток не купил себе автомобиль Ferrari и не снял офис на крыше небоскреба. Родители Ника не стали брать на себя роль финансистов, контролеров и бухгалтеров. Разработчик оборудовал домашний офис и нанял профессионального программиста, чтобы усовершенствовать программный код.

Несмотря на то, что теперь детище Д’Алоизио выпускается в рамках собственной компании, раздувать штат Ник пока не намерен. Он хочет вывести эффективность программы на новый уровень, но перед этим предстоит еще много работы.

Парень заканчивает школу, изучает русский и китайский языки, готовится поступить в университет. Забрасывать учебу, как это в свое время сделал его кумир Стив Джобс, Ник не планирует. Он ходит на занятия с интересом, находит время на спортивные соревнования и друзей, которые, с его слов, даже не подозревают о существовании Summly.

[[BULLET]] Перегруженный информацией мир при определенном стечении обстоятельств может свести с ума даже стойких индивидов.

Что касается Summly Inc., судьба компании еще не определена окончательно. Д’Алоизио говорит, что ему очень нравится собственное предприятие, доставляет удовольствие вести разговоры о лицензировании, возможных прибылях, однако превращать небольшую «шарашку» в крупного разработчика он не собирается. Молодой человек хочет полностью контролировать все аспекты производства, а в рамках крупной компании это уже не получится.

Ник не видит свое будущее на месте управляющего Summly Inc. Он больше интересуется внешней стороной продукта, нежели кодингом. Д’Алоизио — сторонник подхода, реализованного все тем же Стивом Джобсом в компании Apple , где во главу всего и вся ставятся эстетические параметры.

Терминатор-анализатор

Все присутствующие на рынке средства автоматического сокращения текста используют доступные ключевые слова для уменьшения объемов статьи. Д’Алоизио уделил много внимания изучению онтологического анализа, систем искусственного интеллекта и написал алгоритм, который задействует совершенно иной метод работы, чем аналогичные продукты на рынке. Программа Ника смотрит на текст, определяет его тематику и использует наиболее подходящий метод сокращения, подходящий для конкретного материала. Иными словами, статья о бизнесе будет сокращена иначе, чем запись в «Википедии».

Алгоритм Д’Алоизио умеет самостоятельно учиться и развиваться. Программа просматривает тысячи текстов в интернете, изучает их сокращенные варианты, сравнивает и анализирует. Затем применяет получившуюся матрицу к статьям, которые предлагают алгоритму пользователи Summly.

Приложение бесплатно доступно через App Store. После установки программа предложит вам открыть браузер Safari , создать закладку, а потом самостоятельно скопирует некоторые строки кода вместо адреса. Summly готова к работе. Чтобы получить сокращенный вариант какого-либо материала, нужно зайти на страницу в браузере, дождаться загрузки, а затем нажать на созданную ранее закладку. Встроенный в нее код возьмет текст с открытой страницы, отправит его на сервер Summly, после чего на экране появится всего три строчки — сокращенный вариант статьи с основными тезисами.

[[BULLET]] Китайский инвестор Ли Ка-Шинг не пропускает самые трендовые интернет-технологии мимо инвесторского портфолио своей компании Horizons.

Мы протестировали программу с различными новостными сайтами и убедились в эффективности подхода. К примеру, из заметки о киберворе программа правильно выделила имя преступника, суть его преступления и приговор суда. Конечно, приложение справляется с работой далеко не всегда. Иногда Summly выдает совсем уж нерелевантные данные. Все это приходится списывать на еще недостаточно хорошо отлаженный код. Впрочем, в большинстве случаев приложение действительно выдает более-менее ценное сокращение, из которого можно выловить суть материала и понять, имеет ли смысл переходить по ссылке. Помимо своей основной функциональности, Summly умеет отсылать полученные сокращения прямо по электронной почте.

Машина времени

В данный момент алгоритм, созданный Д’Алоизио и отшлифованный профессиональными программистами, проходит соответствующие процедуры в патентном бюро. У Summly Inc. есть все шансы получить заветный патент — аналогичные программы для сокращения используют иной принцип работы и, соответственно, не могут считаться полноценными аналогами детища Ника Д’Алоизио.

Дальнейшие действия подростка вполне прогнозируемы: впереди университетские годы. А высшее учебное заведение, как известно, отнимает намного больше времени, чем школа. Автору программы придется постичь все азы временного менеджмента, чтобы не потонуть в делах. В перспективе Ник собирается представить версию программы для операционной системы Google Android , а также браузерную версию для компьютеров. Разработчик хочет, чтобы его детище лицензировали крупные провайдеры сервисов и встраивали в свои виртуальные полки. Summly может ждать большое будущее среди продавцов цифровых книг — программа Д’Алоизио поможет за считанные часы создать все необходимые аннотации к десяткам тысяч литературных произведений. Кроме того, по планам, приложение можно будет использовать для сокращения электронной почты. Переписывать Summly не придется — адаптивные алгоритмы умеют делать все, что нужно, уже сейчас.

Пузыри и фильтры

В то время как Ник Д’Алоизио трудится над программой, сужающей интернет-контент до жалких трех строк, в Сети идут жаркие дискуссии по поводу так называемых фильтрационных пузырей ( Filter Bubble ). Многие аналитики уверены, что схожие методы автоматического сетевого редактирования скорее вредят, чем приносят пользу. Одним из главных активистов движения против информационной фильтрации стал политический и интернет-активист Эли Паризер.

Он заметил, что поиск Google предоставляет разные результаты для разных пользователей по одним и тем же вопросам, и в качестве примера привел простейший запрос « British Petroleum ». Часть посетителей получает выкладку про жуткое нефтяное пятно, главную техногенную катастрофу 2011 года, тогда как другие видят различные инвестиционные документы и рассказы о самой нефтяной компании.

Разница выводимых данных связана с тем, что поисковые механизмы Google собирают статистику от пользователей; данные фильтруются в зависимости от интересов, ранних запросов, географического расположения и так далее. В итоге поисковая система выдает вам то, что, по ее мнению, интересует именно вас. В компаниях такие вещи называют «персонализированным поиском», однако Эли Паризер считает, что подобное незаметное редактирование постепенно приведет к тому, что все мы окажемся в личных фильтрационных пузырях — будем видеть только ту информацию, которая совпадает с нашим личным мнением. Все остальные точки зрения, дискуссионные вопросы и спорные мысли окажутся за границей пузыря.

Компания Google — не единственная, кто подобным образом фильтрует данные. Примерно так же поступает Facebook, где в ленту обновлений попадают далеко не все заметки друзей, а лишь конкретная выборка. Что характерно, все персонализирующие механизмы можно отключать в настройках, но по традиции никто этим не занимается.

Паризер написал книгу The Filter Bubble: What the Internet is Hiding from You, где действия компаний Google и Facebook называют невидимой автоматической пропагандой наших собственных идей и умозаключений. Автор считает, что в мире, где все известно, будет нечему учиться. В чем-то Эли Паризер, безусловно, прав — едва ли вам понравится, если кто-то будет заглядывать в почтовый ящик и сортировать почту. Примерно таким же образом может работать и программа Ника Д’Алоизио — незаметно отсекать множество важных данных. Алгоритмы Summly составят некую выжимку, вы прочитаете ее, решите не переходить к полноценной статье. Но что делать, если выжимка окажется не совсем релевантной? Как мы успели убедиться на собственном опыте, программа работает далеко не во всех случаях, но ведь результаты все равно могут быть похожими на правду!

С другой стороны, многие интернет-эксперты считают, что Эли Паризер преувеличивает опасность сложившейся ситуации. Google фильтрует результаты поиска, но далеко не так жестко, как говорит Эли Паризер. Выкладки изменяются от пользователя к пользователю, но не кардинально.

Редактор Slate Group Джейкоб Вайсбер написал статью в издание Slate Magazine, где попросил нескольких партнеров с разными взглядами проверить ссылки поиска Google по определенному запросу. Система выдала примерно одинаковые результаты с незначительными изменениями.