Сегодня решил попробовать как искусственный интеллект распознает тексты песен и был несказанно удивлен!
Это штука работает!
Попробовал сразу на сложном тексте Mark Wilson - Feel My Body. Быстрый рэп, самому очень сложно понять. Но я подумал, что быстрый разговор будет все же легче распознать, чем протяжное пение.

В итоге OpenAI выдал вот такой текст:

Get a warning now, let's get funky.
And you forgot you wanna scream.
And you pop out you wanna boom.
Boom, boom, boom, boom, zoom. Boom, boom, zoom,
oh, that's the feeling. You got it healing.
Take off your collar, me take control.
Take off your collar, me take control.
Gotta take you up to you. Let's go.

Feel my body. Feel my body.
I know this rhythm is magic to you.
Hold my body. Hold my body.
That's all you have to do.
Get down on it. Get down on it.

Prejudice, prejudice, blowing up my mind
Wake up, young man, wanna see your body move
Jerking up across my I wanna make you scream, huh?
Give the faith and keep on swinging
Swinging to the right, swinging to the left
Swing, swing, swing, stop, let me turn the color
Flame wave, babe, I'm just like a butterfly
Don't wanna live dead like Popeye
Throw me like a bomb so I go into the core
Where the bomb shells sound I make you wanna dump
Talking about the wave that they talk me around
Make me wanna feel it like I come from the south
Life flows by like I wanna say bye
I'm down noth, I cut a flame with a rim
So you hit me, diss me, I wanna do me
Cause I'm playing with the angels

Наверняка не все верно, но очень близко. Я думал может какие-то места пропустит, не сможет. Но текст куплетов и припева вышел полностью.


Затем попробовал песню с вокалом без рэпа, с протяжным пением. Давно хотел узнать текст вот этой песни на испанском Alberto Añon - Recuerdos.
Я там 2/3 понимал, но не все.

Вот такой текст вышел:
¿Cómo olvidar esos recuerdos?
¿Cómo olvidar lo que yo siento?
Esa mirada llena de amor,
esa sonrisa y tu calor

No puedes verlo, pero me muero,
quisiera tenerte de nuevo aquí
Con esa alegría que prometías,
quisiera decir lo que siento por ti

Cuántos recuerdos y cuántos sueños,
no hay razones para más.
Sólo me quedan esos recuerdos
con tantos sueños y mi soledad.

Aún recuerdo aquellos momentos,
días felices que no volverán.
A veces te escucho en mis sueños
y cuando despierto solo hay silencio.

И тут все распозналось отлично и по моему весь текст верный!

Ну, а как насчёт задач по-сложнее? Типа U-Bett Feat. Natural Lee - Let It Go On или Amadin - Alrabaiye (Take Me Up) ?

p.s. попробовал кстати на одном сайте, вот что выдало по U-Bett Feat. Natural Lee - Let It Go On:

Let the beat go, let the beat go, on and on now Let it go on baby, let it go on, oh Let it go on baby, let it go on Let it go on Wind you up, the girl is coming to the party People just a rock to, inna the party E-Ski, dance, rugby, the party say German and dem a want me Jump around, girl you know what's how you sexy See me just a dance to, how's how you sexy E-Ski, dance, rugby, the girl dem a want me Dance, and we say Let the beat go, let the beat go, on and on now Let the beat go, let the beat go once more time Let the beat go, let the beat go, on and on now Let the beat go, let the beat go Let it go on baby, let it go on, oh Let it go on, baby, let it go on Let the beat go, let the beat go on and on now Let the beat go, let the beat go one more time Let the beat go, let the beat go on and on now Let the beat go, let the beat go Let it go on, baby, let it go on Let it go on, baby, let it go on Me no stop, me no mic, me no I.T.M.C Me no Prince, no Baller, me no Bill Cosby E.S.K. I'ma watch the beat, watch me or watch them or watch them watch me Me no voicemail man neither R.Kelly Me no mrezmomed, voy chase relevy E.S.K. I'ma watch the beat, watch me or watch them or watch them watch me Let the beat go, let the beat go on and on now Let the beat go, let the beat go one more time Let the beat go, let the beat go on and on now Let the beat go, let the beat go Let it go on, baby, let it go on Let it go on, baby, let it go on Let it go on

По Amadin - Alrabaiye (Take Me Up):
I'm a champion I'm a champion I'm a champion I'm a champion I'm a champion I'm a champion I'm a champion I'll be the rapper you beat until tap-up Follow my crew like Simon Says Who make it ever like a bird making naps No stretch just wanting this sun If you wanna have a good time we beat the one I can't get down even jump around Cause I wild, crazy, a loony, six, the la molars Swim, and I'll ride this group like a jockey Not get whips up the box like rocky But I only wanna feel like grass so come on Take me to the top where I want to be Take me to the top where I want to be Take me to the top where I want to be Take me to the top where I want to be Take me to the top where I want to be Take me to the top where I want to be Take me to the top where I want to be Take me out to the top where I wanna be Take me out to the top where I wanna be Take me out to the top where I wanna be So soon Take me up to the world of nothing Take me up to the world of nothing Take me up to the world of nothing Take me up to the world of nothing Oh, say I love you Oh, say I love you Oh, say I love you Oh, say I love you Oh, say I love you

Мне вот интересно, где он там услышал "I'm a champion..." ...

Отдельно вырезал и скормил рэп Амадина ИИ, получил новый результат:
Jibba, jibba, jabba, jabba I be the rapper, you be the toe tapper Follow my crew like Simon says We make it happen like a bird make a nest No stress, just fun in the sun If you wanna have a good time, we be the one Cause I'm hot like James Brown Get down, even jump around Cause I'm wild and crazy, a loony six Till I'm all out, slick And I ride this groove like a jockey Knockin' whips out the box like Rocky But I don't even wanna be like that, so come on!

Долго не понимал что за фразу произносят выбритые пацыки из клипа. ИИ выдал такой текст:
O.K. Defendants, here we come from the town

2-я часть:
And what we call we call from fire brigade, we don't live in any village, we live in any city.

Также поступил с рэпом из U-Bett Feat. Natural Lee - Let It Go On, результат:

When you're a big ale from the nadi party People just are rock too You're nadi party is key Thanks Rockabeat The party is a jamming and demo one It's jump wrong I didn't know what's i as sexy It's just a dance suit I'm trying as sexy is key Thanks Rockabeat The ball number one I in cabbage

У меня получился вот такой текст рэповых куплетов из U-Bett feat. Natural Lee - Let It Go On (01 Radio Mix).

When you party, gotta come inna di party, people just a rock so, inna di party, ee-ski, dance rugby, the party's a jam and dem a want me Jump around, I let no one call you sexy, see me just a dance so, I call you sexy, ee-ski, dance rugby, the girl dem a want me

Me no ice and ski, me no frizzle, me no milk coffee, ee-ski, I'ma watch the beat, watch me, watch dem a watch dem a watch me Me no ice and ski, me no frizzle, me no milk coffee, ee-ski, I'ma watch the beat, watch me, watch dem a watch dem a watch me

Возможно качество распознавания зависит от исходного битрейта и от громкости (после удаления музыки громкость оставшегося вокала уменьшается).
Ray, ты же чистый рэп подставлял, а не вместе с музыкой?

В первом варианте полностью трек загружал, процесс длился довольно долго, более 10 минут, потом решил что надо вырезать рэп и отдельно загрузить. Процесс стал короче, но не всегда распознает все слова, часто выдаёт какой-то укороченный результат, возможно я просто до конца не дожидаюсь, не появляется надписи что процесс закончен. Последующие результаты уже выдают какой-то бред (к примеру выдало один раз такой текст: "Pino, pino, my spino, item, t, mino, frizzo, my larvino, pylgop, b E is key, I'm wadda b, watch me watch, demo watch, demo watch, b Mino, ful, suman, my heart, my livino, my to man, or generality E is key, I'm wadda b, watch me watch, demo watch, demo watch, b").

Ты, кстати, каким сайтом пользовался ?

Кстати, помнится уже пробовали разобрать рэп у U-Bett feat. Natural Lee - Let It Go On в теме Base Department - "You Let Me Down", рагга рэп, или нет ... несколько лет назад. Забавно вернутся вновь к разбору. Во истину, классика не устаревает!

А что, есть такие сайты?
Я распознавание делал сам, программно, используя API c сайта openai.com, это где располагается хайповый ChatGPT.

Это весьма любопытно, я всегда был в этом смысле lyrics junkie, и меня зачастую тексты песен интересовали не меньше, чем сами треки. А тексты есть не ко всему до сих пор.

Я на слух очень даже неплохо воспринимаю даже быстрый речитатив, - так что понятно, что интересуют в первую очередь те треки, где сложно разобрать слова.

Мой опыт с нейросетями в этом плане был так себе: подсунутые нейросетке через веб-интерфейс треки вроде "Flexx – Automatic System" на выходе давали так себе транскрипт , по сути какой-то jibberish, то бишь откровенный шлак. Но это было ещё до ChatGPT.

Andrey_Sv, давай попробуем что-нибудь сложное из Flexx подкинуть AI – и посмотрим, насколько полученное качество транскрипта выше, чем то, что я и сам могу со слуха записать. Что-то есть обоснованные сомнения пока на этот счёт.

Прям идеально транскрибировано то, что и мне тут слышится.


А тут какой-то голимый мусор, качество вменяемого распознавания - процентов 20 от силы. Оригинальный lyrics же откровенно другой.

Вот и думай после этого.

PS Да что гадать, можно подсунуть AI что-нибудь сложное из того же Culture Beat (пусть будет "Mr. Vain") или Magic Affair (Да хотя бы и "Fire"), ну или тот же Activate ("Inside & Outside") - из того, что имеет lyrics на буклете - и посмотрим на result. Почти уверен, что на выходе будет фуфло.

ох, я посмотрел, вломно стало вникать в это, решил какой-нить сайт поискать и нашёл такой

It's me again! Делать-то неxер особо сегодня.
В общем, не поленился, записал со слуха 2й куплет. Итого:

Me no stop, Me no match, me no Ice MC, me no Frythm ?? allow ?? me no frills godspeed
ee, ski, i'm** wanna be - watch me or watch them or watch them watch me

Me no Boy II Men nor Natalie, Me not Muscle Man or General'e B*
ee, ski, i'm wanna be - watch me or watch them or watch them watch me

* На General Base, скорее всего, reference.
** Понятно, что должно быть "I wanna be" - но это же раггамаффин-стайл, so who the hell cares.

Итого: несколько syllables после Frythm неразборчиво. Но в остальном я почти на 100% уверен.
И сравни с тем, что AI понараспознавал. Как я и говорил - мусор.

A long long way to go ещё до того дня, когда подобные распознавалки будут прям на 99% верный текст выдавать.

Ну, имхо спорно, особенно слова типа "ee-ski" и "inna di party", хотя может это какие-то известные выражения, о которых я пока не знаю.

Так где он, этот "Оригинальный lyrics" ? Его вообще кто-то в глаза видел?

С AI такое правило что если он корректно распознал текст в известном треке то он и в малоизвестном будет распознавать корректно, скорее всего, работать не будет. К примеру, если пробовать несколько раз подсовывать один и тот же трек на сайте то он каждый раз может выдавать разный результат. Возможно местами и будет что-то логичное и корректное, но ИИ есть ИИ, они тоже часто неидеально распознают текст.

Вот эта партия рэпа, наверное, одна из самых интересных в евроденсе ибо тут, очевидно, что идёт перечисление музыкальных групп и исполнителей. Мне, например, совершенно отчётливо слышится Boy II Men и Ice MC. Somewhat timid к примеру услышал там Snap, Maxx и ещё ряд других исполнителей. AI опознал там R.Kelly, но зато ни одного из вышеперечисленных исполнителей. В общем версии интересные, но где истина, похоже, никогда не узнаем.

Ну, то, что я записал со слуха - оно и правда намного аутентичней, вслушайся.

Кстати, после повторного прослушивания и 1й речитатив видно, что полон огрехов.
Не "When you party, gotta come inna di party", а "wine you body, gotta come inna di party"
Не "dance rugby" (ну бред же даже по смыслу), а "dance ragga beat"
И так далее.


У меня инглиш прокачан очень сильно, я с начала 00х фильмы только с оригинальной дорожкой смотрю, например.
А уж Eurodance слушаю более 30 лет уже.
Так что ухо натренировано.


Да не, прогресс очень впечатляющ в плане нейросеток. Кто же спорит. ChatGPT - дык просто hands down, как круто. Но всё очень и очень сыро пока что.

О! Вот это в кассу поправка, потому что с Natalie у меня изначально были сомнения (откуда этот чувачок вообще её мог знать, ещё и в те годы).
Конечно же, R.Kelly. И, конечно же, Maxx со Snap'ом.

То есть так:

Me no Snap, Me no Maxx, me no Ice MC, me no Frythm (дальше неразборчиво)
ee, ski, i'm wanna be - watch me or watch them or watch them watch me

Me no Boyz II Men nor R.Kelly, Me not Muscle Man or General'e B
ee, ski, i'm wanna be - watch me or watch them or watch them watch me


Вот так вот, совместными усилиями и познаётся истина.

Ну, как вариант.

p.s. пока пыл "не остыл" давай попробуй распознать рэп из Base Department - You Let Me Down. Я пока AI скормлю первую партию рэпа.

Это прям сложно. Тут такая же фигня как с Future Beat, например - я у них половину речитатива не разбираю.
Попробую, конечно, но хрен проссышь. Впрочем, текст там явно не интеллектуальный аля опусы Culture Beat с альбома
Serenity или Magic Affair с их Omen. Тут типичный безмозглый бумшакалак.

shoob shooby doo some making styli-a
come on to the heat ah oh my mama mia
dance on the track on the part of my drum
super nova makes you jump high
jump ... bump

Да не, ну смысл такое со слуха пытаться записать, там явно же содержание отсутствует чуть менее, чем полностью.
Интересно было бы попробовать такое, где явно есть смысловая нагрузка, такие треки меня всегда завораживали. Скажем, тот же альбом Flexx - слушаешь "The Good, the Bad and the Ugly" - и тебя раздражает то, что буклет без lyrics почему-то.

Тут можно рассуждать философски. Где-то индивидуальность восприятия и личное отношение к жанру, а где-то глубокое знание музыкального дела, истории, языковых особенностей или случайно найденная информация могут привести либо к правильному или откровенно далёкому от истины результату. В любом случае, это поиск и сам процесс поиска истины затягивает. Насчёт типичный безмозглый бумшакалака, возможно да, но лично для меня скорее особенность жанра и это не делает его плохим. А возможно, не тот уровень интеллекта и далёкость от той культуры не даёт осознать, обрести свой Дзен...
Но как бы то ни было, раз пытаемся распознать текст, значит он представляет для нас интерес.
А теперь непосредственно по тексту.
Местами получилось схоже с моей версией 2006 года. Тот сайт с ИИ выдал только 2-ю партию рэпа, и то не полностью:

What's it say? I'm light, ho, silver, silver high, ho Give me the mic, I'm gonna go looter, choke Call me the wizard, say, egg, wack, and dabber Walkin' on mic, I'm flowin' like a rapper, I'm a rapper Just like Max and his, dabber Dunkin' events, gettin' tucked, what the? Check your check, catch your racks, viddy gon' silence Buh bye

Что-то не впечатлил меня уровень опознания его, явно схалтурил, явно знаний не хватает.
Кстати, я тут решил google спросить, вдруг есть lyrics к этому произведению и он меня вывел на сайт www.eurokdj.com. Обратите внимание на текст справа (Lyrics found by a fan, by me, or copied from an unofficial website.

Thanks : Garry H)

Holy shit!
Вот уж не думал увидеть на ED Энциклопедии lyrics к этому треку, да ещё и явно из первоисточника. 100500% это кто-то из original crew и выложил текст. Со слуха такое невозможно записать ну никак. Причём текст добавлен в 2022 году, приятно, что кому-то это интересно. Подтягивались бы уже и остальные, что ли. Кто раньше тексты не выкладывал, чтобы на том же Spotify были и треки, и lyrics. Future Beat, B.G. the Prince of Rap, Flexx.... ну и т.д.

supercalifragilisticexpialidocious
И снова - WoW! Вот это, кстати, круто. Само слово для меня не новое (это из древнего фильма о Мэри Поппинс), в треке Set'um Up от Digital Boy оно тоже есть, да и вроде у Turbo B проскакивало. Но вот тут я что-то его не ожидал встретить. Talking about bias, хехе.


Дык я согласен полностью, это именно что геймификация, элемент превращения старого увлечения в игру, чтобы освежить (как один знакомый выразился: отрефрешить) восприятие своих любимых музыкальных альбомов, узнать что-то новое о них (хотя казалось бы: за столько лет и так всё про ED знаешь) и вообще лекарство против закостенелости мышления, чтобы моск оставался живым и молодым. Так что да, мне нравятся разные треки и простенькие тоже. Но всё равно есть разница, когда, допустим, читаешь lyrics к Culture Beat "Mr. Vain" - и когда читаешь текст какого-нить трека Basic Element. По большому счёту, лирикс к Basic Element даже и читать не интересно, и так ясно, что вряд ли чем-то удивят, кроме стандартного набора из "move you body" и т.д. В общем, я это всё к тому, что пусть текст будет хоть насколько угодно примитивен (одна из моих самых любимых вещей в ED - 2Raff с их "Don't stop the music" - и она как раз не блещет глубиной смыслов, зато офигенна по звучанию), это не умаляет остальных достоинств трека. Но вот ценность непосредственно текста - не высока, что уж там. И, соответственно, его не так интересно и увлекательно распознавать.

Пока немного отклонюсь от темы текстов.
Я тут попробовал другие возможности нейросетей.
Взял фото Tony Dyer, взял текст рэпа с Dance Division - The Evolution и все это вместе анимировал на сайте D-ID.
Вот что получилось:
https://www.youtube.com/shorts/eWJ9NqVvVn4

Он читает вот этот текст:
Thinking about that time back in the good old days,
With all the brothers gettin' down on the new dance craze
I used to tell you brought 'em style, waiting for my chance,
I jump up on the mic, I go down to smooth dance
Talk about the things you used to do and say,
Making up your mind, you'll break it anyway
Toni Tee, but don't forget the double E,
'Cause that's my name and that's important when you talk to me
Always try to step to a beat unknown,
Listen to the rhythm and your thoughts have grown
Lyrics written by the person singing on the mic,
Ask me what I want, when I want it, and what I like
Always try to move, gotta move real quick,
Left-right-left-right, waking up at six
Come on, come on make a move, make a move,
Ask my permission, change your position.

Сначала попробовал взять фото Ray из 2 Unlimited, но сайт сказал, что это лицо реального известного человека, поэтому его брать нельзя, а Tony взять позволил
Там на сайте есть варианты интонации озвучивания, типа грустно, весело, шепотом и т.д. Жаль нет варианта Рэп. И озвучка одним из нескольких голосов. Там даже можно загрузить свой образец голоса, но я что-то поленился вырезать из песен рэп Tony.
Жаль паузы портят рэп. Наверное нужно было весь текст в одну строку написать и без точек, чтобы озвучивало как одно предложение.
Может в следующий раз так и сделаю, заодно и голос его может загружу, надо опробовать.

Вот это термин! Ржал над этим каждый раз как по тексту ответов встречался.

А вот еще вариант. Tony Dyer читает рэп из Future City - Only Love.

https://www.youtube.com/shorts/Dn3mBFK_eL0

А чего стоит рэп Эрика Тринкауса в Clubfish - Numm'n (в других проектах, где он читал - рэп разобрать можно; в том же MAD - I Think Of You)

Благодарю за наводку, копаясь - вышел на веб интерфейс https://replicate.com/openai/whisper

Сразу распознал лирику в http://www.danceforum.ru/index.php?s=&...t&p=1020118
и по рефрену нашел анрелиз, годный инструмент в помощь опознавальщикам, помимо собственного слуха, ведь порой европейские и прочие артисты - поют с акцентом на англ.+дефекты речи

Распознанный текст рэпа из Tuff E Nuff - Yo Yo:

You treat me and I treat you
misunderstood this woman and kid
is an attack of your own expressions
You really wish designs to be fashioned
Dream your dreams, dreams to grow mantas
We throw our cash money tight faction
I'll test you love with slack
You better have a good caption
You're never gonna get it
Sorry I'm in line and change
You keep my heart beating now and you're driving me insane
Yes, get down
No chance for us here to end up again
When I whisper I want you in the kitchen
You're a bio-sexist I guess my lectures are uncompleted
Make you lose your place
1, 2, 3, 4, 5, 6, 7, 8