Содержание
ОГЛАВЛЕНИЕ
ВВЕДЕНИЕ 3
ГЛАВА 1. РЕКОМЕНДАТЕЛЬНЫЕ СИСТЕМЫ И АЛГОРИТМЫ 6
1.1. Рекомендательные системы 6
1.1.1. Введение в рекомендательные системы 6
1.1.2. Принципы построения рекомендательных систем 7
1.2. Обзор современных подходов 9
1.2.1. Коллаборативная фильтрация 9
1.2.2. Анализ содержимого 16
1.2.3. Методы основанные на знаниях 18
1.2.4. Гибридные методы 20
1.3. Выводы по главе 1 22
ГЛАВА 2. ПРИМЕНЕНИЕ ГИБРИДНОГО МЕТОДА В РЕКОМЕНДАТЕЛЬНОЙ СИСТЕМЕ 25
2.1. Постановка задачи для построения рекомендательной системы 25
2.2. Подходы к анализу данных и решению проблем с выработкой персональных рекомендаций 26
2.3. Интерфейс рекомендательной системы 38
2.4. Выводы по главе 2 40
ГЛАВА 3. РЕАЛИЗАЦИЯ СИСТЕМЫ РЕКОМЕНДАЦИЙ 42
3.1. Архитектура системы 42
3.2. Используемые технологии 46
3.3. Методика и результаты тестирования 51
3.4. Выводы по главе 3 57
ЗАКЛЮЧЕНИЕ 59
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ 62
ПРИЛОЖЕНИЯ 65
Выдержка из текста
ВВЕДЕНИЕ
Актуальность темы данного исследования стремительно растет, о чем свидетельствуют такие исследования, как например Big Data, Bigger Digital Shadows and Biggest Growth in the Far East, проведенного «IDC» при поддержке компании «ЕМС». Оно демонстрирует беспрецедентный рост информации в мире, только 0,4% которой, по оценкам «IDC», анализируется. Повсеместное распространение технологий и доступа к Интернету привели к удвоению объема информации за 2 года (по состоянию на 2013 год). Исследование оценило объем сгенерированных данных в 2012 г. в 2,8 зеттабайта и прогнозирует к 2020 г. увеличение объема до 40 зеттабайт, что превосходит прежние прогнозы на 14%.[5] В ближайшей перспективе задача по поиску интересуемого контента из бесконечного множества возможных альтернатив будет настолько трудоемким процессом, что физически потребует автоматизации. Рекомендательные системы призваны решить эту проблему и все больше используются например при выборе тура для путешествия, товара в интернет — магазине или кинофильма. Однако выигрывают при этом не только пользователи сервиса, но и их владельцы т.к. собранные данные помогают провести индивидуальные рекламные компании и заинтересовать товаром, который пользователь может даже и не искал. Такой подход помогает существенно увеличить доход и успешно применяется такими компаниями как Amazon, Alibaba, eBay и другие.
Объектом исследования данной работы выступают системы рекомендации, в чью задачу входит изучение вкусов пользователя путем анализа его действий, оценок и\или персональных данных и выдача потенциально интересного для него контента.
Предметом исследования является применение гибридного метода в разработке системы рекомендаций кинофильмов.
Целью работы является создание системы рекомендаций кинофильмов на основе гибридных методов анализа данных, которая может использоваться в интернет сайте, мобильном приложении или интерактивном телевидении.
Задачами данного исследования являются:
Освоение теории рекомендательных систем
Рассмотрение методов анализа данных для выдачи рекомендации
Выработка алгоритма анализа для рекомендательной системы
Разработка рекомендательной системы
Исследование созданной системы на практическую пригодность
Практическая значимость работы заключается в возможности внедрения результатов данного исследования в интернет сервис для рекомендации кинофильмов или другого видеоматериала. Так же внеся определенные поправки можно с успехом использовать описанный подход для рекомендации иного контента, например книг.
Авторы, труды которых послужили основой для данного исследования:
А.Г. Гомзин, А.В. Коршунов, Е.Е. Пятикоп, Д.И. Игнатов, А.Ю. Каминская, Р.А. Магизов и другие. Работы этих людей описывают современные подходы к анализу данных и выдаче рекомендаций, однако когда дело доходит до практической реализации как в среде киноиндустрии, так и многих других, становится ясно, что использование подходов в их классическом виде малоэффективно. Описываемый в данном исследовании гибридный метод, позволяет нивелировать ограничения использования какого-либо одного подхода и оптимизировать функцию рекомендации кинофильмов.
Работа состоит из 61 страниц, введения, трех глав, заключения, списка литературы из 25 источников и 9 приложений.
Список использованной литературы
СПИСОК ИСПОЛЬЗОВАННОЙ ЛИТЕРАТУРЫ
1. Бен-Ган, И. Microsoft® SQL Server® 2012. Создание запросов. Учебный курс Microsoft: Пер. с англ. / И. Бен-Ган, Д. Сарка, Р. Талмейдж. — М.: Издательство «Русская редакция», 2014. — 720 с.: ил. + CD-ROM
2. Боголюбов А.С.. Простейшие методы статистической обработки результатов экологических исследований. М.: Экосистема, 1998. — 13 с.
3. Гончаров М., DATA MINING: РЕКОМЕНДАТЕЛЬНЫЕ СИСТЕМЫ, PASS SQLRally RUSSIA 2012.
4. Гомзин А., Коршунов А.. Системы рекомендаций обзор современных подходов. 2012. 20 с.
5. Журнал "Технологии и средства связи" #1, 2013. стр. 24.
6. Зудилова Т.В., Шмелева Г.Ю.. Создание запросов в Microsoft SQL Server 2008 — СПб: НИУ ИТМО, 2013. – 149 с.
7. Игнатов Д.И., А.Ю. Каминская, Р.А. Магизов, Метод скользящего контроля для оценки качество рекомендательных интернет сервисов, ГУ-ВШЭ, Москва, 2010. стр. 9.
8. Королева Д.Е., Филиппов М.В. Анализ алгоритмов обучения коллаборативных рекомендательных систем. Инженерный журнал: наука и инновации, 2013, вып. 6.
9. Коршунов А.В.. Извлечение ключевых терминов из сообщений микроблогов с помощью Википедии; Труды Института системного программирования РАН, том 20, 2011.
10. Магдануров Г.И. ASP.NET MVC Framework / Г. И. Магдануров, В. А. Юнев. — СПб.: БХВ-Петербург, 2010. — 320 с.: ил. — (Профессиональное программирование).
11. Нефедова Ю.С., Архитектура гибридной рекомендательной системы GEFEST (Generation–Expansion–Filtering–Sorting–Truncation), Системы и средства информ., 2012, том 22, выпуск 2, стр. 176–196.
12. Петкович Д. Microsoft SQL Server 2012. Руководство для начинающих: Пер. с англ. – Спб.: БХВ-Петербург, 2013. – 861 с.: ил.
13. Пятикоп Е.Е., Исследование метода коллаборативной фильтрации на основе сходства элементов, Наукові праці ДонНТУ Серія “Інформатика, кібернетика та обчислювальна техніка” #2(18), 2013. стр. 109-113.
14. Федоровский А.Н., Логачева В.К.. Архитектура рекомендательной системы, работающей на основе неявных пользовательских оценок, Труды 13й Всероссийской научной конференции «Электронные библиотеки: перспективные методы и технологии, электронные коллекции» — RCDL’2011, Воронеж, Россия, 2011
15. D. Jannach, M. Zanker, A. Felfernig, G. Friedrich; Recommender Systems. An Introduction; Cambridge University Press 32 Avenue of the Americas, New York, NY 10013-2473, USA, 2011; 352 p.
16. Как работают рекомендательные системы. Лекция в Яндексе // Habrahabr – блог компании Яндекс [Электронный ресурс]. URL: http://habrahabr.ru/company/yandex/blog/241455/ (дата обращения: 25.11.2016).
17. Кластерный анализ// Statsoft — электронный учебник по статистике. [Электронный ресурс]. URL: http://www.statsoft.ru/home/textbook/modules/stcluan.html (дата обращения: 25.11.2016).
18. Рекомендательная система: введение в проблему холодного старта // Habrahabr. [Электронный ресурс]. URL: http://habrahabr.ru/company/surfingbird/blog/168733/ (дата обращения: 25.11.2016).
19. Рекомендательные системы: Часть 1. Введение в подходы и алгоритмы. // IBM. [Электронный ресурс]. URL: https://www.ibm.com/developerworks/ru/library/os-recommender1 (дата обращения: 25.11.2016).
20. Item-based коллаборативная фильтрация своими руками// Habrahabr — блог компании ivi. [Электронный ресурс]. URL: http://habrahabr.ru/company/ivi/blog/232843/ (дата обращения: 25.11.2016).
21. Netfliz Prize // Netflix. [Электронный ресурс]. URL: http://www.netflixprize.com (дата обращения: 25.11.2016).
22. OLTP. // OLTP – Wikipedia [Электронный ресурс]. URL: http://habrahabr.ru/company/ivi/blog/232843/ (дата обращения: 25.11.2016).
23. PHP: Hypertext preprocessor // PHP official site [Электронный ресурс]. URL: http://www.php.net/ (дата обращения: 25.11.2016).
24. Responsive Web Design// Alistapart. [Электронный ресурс]. URL: http://alistapart.com/article/responsive-web-design (дата обращения: 25.11.2016).
25. Transact-SQL // Transact-SQL – Wikipedia [Электронный ресурс]. URL: https://ru.wikipedia.org/wiki/Transact-SQL/ дата обращения: 25.11.2016).