Hip-Hop.Ru - Центральный сайт о Хип Хоп культуре в Рунете

Разговоры
  Hip-Hop.Ru Форум Комьюнити Сообщения за день Баня Поиск
 
теперь тоже сми...
Аватар для ozon671games
Сообщения: 2,104
Регистрация: 23.06.2009
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 16:14
  #1 (ПС)
Исследовательская работа по теме: "Сравнение российской рэп сцены, используя Text Mining. Noize Mc, Каста vs Pharaoh, Morgenshtern"
Для анализа я отобрал все студийные официальные альбомы вышедшие у исполнителей:

1. Kasta: «Громче воды, выше травы»; «Быль в глаза»; «Четырёхглавый Орёт»; «Об изъяне понятно» — 74 трека.
2. Noize Mc: «The Greatest Hits Vol. 1»; «Последний альбом»; «Новый альбом»; «Protivo Gunz»; «Неразбериха»; «Hard Reboot 3.0»; «Царь горы»; «Хипхопера: Орфей & Эвридика» — 160 треков.
3. Pharaoh: «Уаджет»; «Phlora»; «Dolor»; «Phosphor»; «Pink Phloyd»; «Phuneral»; «Правило» — 95 треков.
4. Morgenshtern: «До того как стал известен»; «Улыбнись, дурак!»; «Легендарная пыль» — 30 треков.

Для сбора самих слов я использовал сайт genius.com и их API. К счастью, разработчики сервиса предоставляют открытый интерфейс программирования приложений (API) позволяющий достаточно легко извлекать тексты песен (по артистам, альбомам) из базы данных для их последующего анализа.

Весь анализ был произведён с использованием языка программирования R. Для стемминга был использован python.

На рисунке 1 показано, сколько различных слов было использовано исполнителями в перечисленных выше альбомах


Рисунок 1


Интересно, что Фараон и Нойз имеют практически одинаковое количество альбомов, но, как видно из графика, качество альбомов сильно отличается

Для того, чтобы сделать сравнение более корректным и правильным, было подсчитано сколько в среднем слов использует тот или иной артист в одной своей песне:

Noize Mc — 362 слова.
Каста — 388 слов.
Фараон — 254 слова.
Моргенштерн — 273 слова

На рисунке 2 приведен топ 10 слов у каждого из артистов, а также количество упоминаний этих слов:


Рисунок 2

Без специальной обработки «топ-словами» являются предлоги, местоимения и союзы, которые не отражают никаких результатов и не несут особой смысловой нагрузки.

Следующим этапом была обработка и подготовка текстов для анализа. Процесс стеммизации был произведён с помощью программы mystem от Yandex в Python. Данный шаг был проделан для того, чтобы понять сколько уникальных слов используют артисты и насколько широко они задействуют русский язык в своих текстах. Также для того, чтобы получить более репрезентативный результат необходимо избавиться от стоп-слов, которые не несут эмоциональной и смысловой нагрузки (предлоги, местоимения, частицы и др.).

Как видно из рисунка 3, количество слов значительно уменьшилось после стемминга и удаления стоп-слов.


Рисунок 3


Очень важная и интересная информация — это количество уникальных слов у каждого из артистов. У Нойза это 8891 слово, у Касты 5307, у Фараона 3899 и у Моргенштерна 1242. Кто хочет немного расширить свой словарный запас, но не хочет читать книги, может слушать Noize Mc и Касту.

На рисунке 4 приведена информация о наиболее часто используемых словах в исследованных текстах песен



Рисунок 4


Так как артисты для написания своих песен используют один язык, будет интересно посмотреть, какие слова чаще всего встречаются в текстах песен всех 4 исполнителей. Для данного графика (Рисунок 5) была использована функция commonality.cloud из пакета «wordcloud». Размер шрифта соответствует частоте упоминаний слова в текстах.


Рисунок 5


Сентиментальный анализ текста


У каждого фильма, книги или песни есть своё настроение, которое передаётся зрителям или слушателям и воздействует на них. Интересно увидеть какое настроение транслируют своим слушателям исполнители старой и новой школы. Узнать это можно проанализировав, слова из какой категории: «Негативные», «Позитивные», «Нейтральные», преобладают в песнях музыкантов.

Моргенштерн. На рисунке 6 представлены слова с частотой повторения более 10 раз.


Рисунок 6

Довольно сильно выделяется обильное количество красных столбцов, а если разобраться что это за слова, то становится вдвойне печально от того, какой посыл этот исполнитель несет своей аудитории.

Фараон. Лексикон также оставляет желать лучшего. На рисунке 7 представлены слова с частотой повторения более 20 раз.


Рисунок 7


Каста. Яркое преобладание слов с позитивным оттенком. Да и негативные слова не шокируют своей безнравственностью. Частота >= 25


Рисунок 8

Ну и напоследок, мастер рифмы и слова Noize Mc (частота >= 30).


Рисунок 9

Обилие негативно окрашенной лексики, которую используют в своих песнях Моргенштерн и Фараон, сказывается на восприятии их песен и на том настроении, которое они транслируют. Сложно получать приятные эмоции от музыки, когда она изо всех сил навязывает тебе обратное.
Так как используемый словарь с сентиментальным разбором содержит в себе далеко не все слова, трудно сделать стопроцентный и уверенный вывод о настроении песен у артистов, так как многое зависит также и от контекста. Однако, я покажу вам сколько и каких слов используют артисты (из того, что удалось присоединить).


Рисунок 10

Очевидно, что большинство слов у всех артистов имеют нейтральный оттенок, который практически никак не влияет на слушателя. Но, что интересно, Фараон и Моргенштерн используют больше слов с негативным оттенком чем с позитивным. И это, несмотря на неполноценность словаря и отсутствие там множества нецензурных слов и их вариаций


Рисунок 11


У Касты и Нойз Мс также лидируют нейтральные слова, но на втором месте находятся позитивные, которые не вызывают у нас отрицательных эмоций.

Музыкальный вкус дело индивидуальное и каждый сам решает, что ему слушать. Но взгляните еще раз на графики и подумайте, чем вы хотите наполнить свои будни. Музыка сопровождает нас везде и часто очень сильно влияет на наше настроение, так зачем осознанно каждый день делать его хуже?

Учите языки программирования, развивайтесь и слушайте качественную музыку на написание которой уходит более семи дней онлайн времени на ютубе. Для тех кто не в курсе, альбом Моргенштерна «Легендарная Пыль» записывался 6 дней во время онлайн трансляций на ютубе и в итоге стал самым успешным в карьере Моргенштерна, набрав ВКонтакте миллион прослушиваний за первые полчаса релиза и пять миллионов прослушиваний за одиннадцать часов. За первые два дня после релиза альбом прослушали ВКонтакте более 21 миллиона раз, что является рекордом для социальной сети.

Источник https://habr.com/ru/post/501162/

offline
Ответить с цитированием
кырыхапчик
Аватар для Февраль
Сообщения: 559
Регистрация: 15.02.2020
Откуда: Якутск
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 16:26
  #2 (ПС)
Вроде и нехилая статистика собрана, но она не говорит вообще ни о чем, имхо.

offline
Ответить с цитированием
дед внутри
Аватар для тупой урод
Сообщения: 563
Регистрация: 26.12.2009
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 16:36
  #3 (ПС)
орфей 106 раз ну да нос у нас ниебаца эксперт по античности, наверное илиаду на языке оригинала в мозгу у себя носит.
статья охуенная хотелось бы анализ треков участников семнашки или хотя бы оксимироновны вс боб вс дж вс макулатура/нг
всем чича и суки

offline
Ответить с цитированием
шизоид
Аватар для Шломо Шекельштейн
Сообщения: 1,247
Регистрация: 18.04.2011
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 16:39
  #4 (ПС)
-Цитата от Февраль Посмотреть сообщение
Вроде и нехилая статистика собрана, но она не говорит вообще ни о чем, имхо.
потому что она собрана от балды
у Носа возьмем 160 треков, а у Фараона в два раза меньше
еще сравним с Кастой, которая вообще-то группа (и в которой изменения происходили)
к тому же непонятно были ли выброшены гостевые куплеты

делал подобную хуйня для треков с семнашки, но забросил

offline
Ответить с цитированием
кырыхапчик
Аватар для Февраль
Сообщения: 559
Регистрация: 15.02.2020
Откуда: Якутск
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 16:40
  #5 (ПС)
-Цитата от тупой урод Посмотреть сообщение
орфей 106 раз ну да нос у нас ниебаца эксперт по античности
«Хипхопера: Орфей & Эвридика» - целый альбомчик про него

-Цитата от dimethylmercury Посмотреть сообщение
потому что она собрана от балды
у Носа возьмем 160 треков, а у Фараона в два раза меньше
еще сравним с Кастой, которая вообще-то группа (и в которой изменения происходили)
к тому же непонятно были ли выброшены гостевые куплеты

делал подобную хуйня для треков с семнашки, но забросил
Да дело не только в этом. Сам анализ поверхностный очень. Негатив\позитив - что это вообще может сказать о музыке артиста? А количество разных слов? На ютубе видел как литературовед какой-то по часу ролики выпускал и обсуждал в них треки того же оксича например. Вот там да, нихуевенький разбор был.

offline
Ответить с цитированием
/b/
Аватар для мадлу
Сообщения: 1,586
Регистрация: 08.07.2011
Откуда: всё будет да гудда
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 16:52
  #6 (ПС)
ебануться, первая хорошая бакалавровская работа за всю историю университетов

offline
Ответить с цитированием
heh
Аватар для kartisha
Сообщения: 2,554
Регистрация: 15.05.2014
Откуда: оТкуДа
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 16:55
  #7 (ПС)
респект за то труды,но читать не буду..делать нехуй чтоли

offline
Ответить с цитированием
Save the drama 4 yo mama
Аватар для fly4supadupa
Сообщения: 710
Регистрация: 10.07.2011
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 17:03
  #8 (ПС)
Хочу стату по Мастеру Шеффу и Паше Технику

offline
Ответить с цитированием
активный пользователь
Аватар для Eva Kief
Сообщения: 2,768
Регистрация: 07.01.2018
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 17:26
  #9 (ПС)
хе, идея прикольная, интересно было бы почитать результаты добротного семантического анализа, но здесь интерпретация, к сожалению, выполнена на очень слабом уровне.

весь мат у автора отнесен к негативным словам, например. хотя «бухать» и «ебать» вполне позитивный смысл могут иметь, ничуть не хуже, чем слова «видеть» и «спать» (Например: не хочу это больше видеть; не могу теперь спать). «никогда» - вполне нейтральное слово, а не негативное ну и так далее.

Добавлено через 3 минуты 28 секунд
-Цитата от dimethylmercury Посмотреть сообщение
-Цитата от Февраль Посмотреть сообщение
Вроде и нехилая статистика собрана, но она не говорит вообще ни о чем, имхо.
потому что она собрана от балды
у Носа возьмем 160 треков, а у Фараона в два раза меньше
еще сравним с Кастой, которая вообще-то группа (и в которой изменения происходили)
к тому же непонятно были ли выброшены гостевые куплеты

делал подобную хуйня для треков с семнашки, но забросил
количество треков может быть разным, можно взвешивать данные относительно количества всех слов каждого артиста. здесь на мой взгляд нужно добавить к количественному качественный анализ текстов. нужно бы вначале кодировать вручную смысловые куски текста, а уже потом их подсчитывать статистически


Последний раз редактировалось Eva Kief, 10 мая 2020 в 17:43.
offline
Ответить с цитированием
впоряде
Аватар для Вовка
Сообщения: 16,899
Регистрация: 29.12.2010
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 17:39
Отправить сообщение через twitter для Вовка
  #10 (ПС)
вот тебе делать нехуй

offline
Ответить с цитированием
ВИА Просто Молодцы
Аватар для Любопытный Мужик
Сообщения: 5,101
Регистрация: 28.12.2010
Откуда: Из за двери
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 17:46
  #11 (ПС)
знать - , походу ни разу в жизни это слово не использовал в треках

offline
Ответить с цитированием
активный пользователь
Аватар для Рукажоп
Сообщения: 1,587
Регистрация: 01.10.2017
Откуда: Липецк
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 17:57
  #12 (ПС)
ну хз, статистика ради статистики
автор показал, что нойз умнее фараона и моргенштерна и использует больше разных слов в треках
кто-то в этом сомневался до прочтения этой темы

offline
Ответить с цитированием
̡̡͍̮̠̻͙̙̭͔̻͕̟͚̥̣̍̇̓͑̍̅͘͝
Аватар для PostAnonist
Сообщения: 457
Регистрация: 05.02.2020
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 19:32
  #13 (ПС)
ЭТО HUSTLE, УЁБКИ

offline
Ответить с цитированием
активный пользователь
Аватар для Гость из Краснодара
Сообщения: 1,070
Регистрация: 30.03.2018
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 20:50
  #14 (ПС)
автор - хуесос, кто будет читать столько воды про реперов по типу парапоха или эмси квадратная голова

offline
Ответить с цитированием
активный пользователь
Сообщения: 1,868
Регистрация: 30.09.2019
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 23:24
  #15 (ПС)
Сфоткай типа я исследователь

offline
Ответить с цитированием
всего добился сам
Аватар для KAJF
Сообщения: 16,413
Регистрация: 01.03.2007
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 23:32
Домашняя страница ВКонтакте
  #16 (ПС)
Башкир хоть "хуй" 35 раз сказал как нормальный пацан

offline
Ответить с цитированием
активный пользователь
Аватар для ПлавлюМозги
Сообщения: 17,754
Регистрация: 19.03.2007
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 23:38
ВКонтакте Отправить сообщение через twitter для ПлавлюМозги
  #17 (ПС)
Я как понял мы должны были всех уличить в глагол ной рифмовке знать-давать

offline
Ответить с цитированием
нормальный пользователь
Сообщения: 746
Регистрация: 13.01.2013
Старый пост, нажмите что бы добавить к себе блог 10 мая 2020, 23:42
  #18 (ПС)
все эти реперы довольно близко стоят в плане своей культурной ценности
надо было еще окси сделать, чтобы показать, насколько он графоман

offline
Ответить с цитированием
Аватар для vadik_kot
Сообщения: 46,629
Регистрация: 10.05.2009
Старый пост, нажмите что бы добавить к себе блог 11 мая 2020, 00:18
ВКонтакте
  #19 (ПС)
включите меня в статистику, только количество треков и слов в них одинаковое берите, а то хуйня анализ получается

offline
Ответить с цитированием
активный пользователь
Аватар для seRvak
Сообщения: 2,597
Регистрация: 31.03.2007
Старый пост, нажмите что бы добавить к себе блог 11 мая 2020, 03:32
  #20 (ПС)
-Цитата от Февраль Посмотреть сообщение
Вроде и нехилая статистика собрана, но она не говорит вообще ни о чем, имхо.
Я тоже не догнал. Нахуя она нужна.

offline
Ответить с цитированием
rae
активный пользователь
Аватар для rae
Сообщения: 3,394
Регистрация: 23.12.2007
Откуда: Архангельск
Старый пост, нажмите что бы добавить к себе блог 11 мая 2020, 04:12
  #21 (ПС)
ЧИЧА

offline
Ответить с цитированием
активный пользователь
Аватар для Драгобыщенский Цыган
Сообщения: 7,088
Регистрация: 08.05.2014
Старый пост, нажмите что бы добавить к себе блог 11 мая 2020, 04:56
  #22 (ПС)
ну теперь понятно
нос умный
а моргенштерн тупой

offline
Ответить с цитированием
Шурик и его приключения
Сообщения: 10,108
Регистрация: 07.04.2006
Старый пост, нажмите что бы добавить к себе блог 11 мая 2020, 16:25
  #23 (ПС)
Исследовательская работа по теме: без темы.

1. Нос ебаный отрицала, 1707 раз отнекивался
2. Нос дает только друзьям
3. у Носа нет друзей и хочет знать почему
4. Нос бездомный

Не учите языки программирования, не развивайтесь и не слушайте музыку.

offline
Ответить с цитированием
WANNA SEE SOME BOOBS?
Аватар для сплат
Сообщения: 7,479
Регистрация: 01.05.2009
Откуда: Grand Rapids
Старый пост, нажмите что бы добавить к себе блог 11 мая 2020, 18:44
Домашняя страница ВКонтакте Live Journal MySpace LastFm Отправить сообщение для сплат с помощью Yahoo
  #24 (ПС)
Статистика, которую мы заслужили.

offline
Ответить с цитированием
-
Аватар для Паринь Палехче
Сообщения: 7,342
Регистрация: 15.10.2004
Старый пост, нажмите что бы добавить к себе блог 11 мая 2020, 18:55
  #25 (ПС)
это
всё
плохие
реп
певцы
с**а
г***о
е***ое
тырить

offline
Ответить с цитированием
 
Ответ
Тэги темы: noize mc, Каста, моргенштерн, фараон
Здесь присутствуют: 1 (пользователей - 0 , гостей - 1)
 
Похожие темы на: Исследовательская работа по теме: "Сравнение российской рэп сцены, используя Text Mining. Noize Mc, Каста vs Pharaoh, Morgenshtern"
Тема Автор Раздел Ответов Последнее сообщение
Лигалайз "ALI" (24.04.2020) feat. Noize MC, St1m, Sir-J, Каста, Fuze, SunSay, Slimus и др. АНОНС АЛЬБОМА у меня твои почки Русский рэп 22 13 мая 2020
Бродяга(НеЛегало Дело) - "Ты должен знать!" (при участии: Змей "Каста", Lil'Kong "Def Joint", "4аян Famaly", Ramp "НЛД", Пуля "НЛД", Apache, Sergio Dylan, Дэн, D.Z., Света "NUDO") SoundBro Демо-музыка 46 21 сентября 2011
Бродяга "Ты Должен Знать!" (при участии: Змей "Каста", Lil'Kong "Def Joint", "4аян Famaly", Ramp, Пуля "НЛД", Apache, Sergio Dylan, Дэн, D.Z., Света "NUDO") sadness Интернет-релизы: альбомы, микстейпы, сборники 5 6 февраля 2010
Раш (Титаны) - РуРэп (Всем фанатам Российской рэп сцены посвещается!) Васюган Демо-музыка 8 29 ноября 2009
Михаил Фомин - "Контора для торговли подъемом" или Как раскрутить свою музыку используя Интернет (Компьютерра) Pasha Dowbree Разговоры 6 23 июня 2007
Часовой пояс GMT +3, время: 01:40.