Skip to content

Latest commit

 

History

History
70 lines (39 loc) · 3.39 KB

README.md

File metadata and controls

70 lines (39 loc) · 3.39 KB

Uniformização/Unificação dos datasets

Pega os datasets IOACAS e MIR e os "mergeia" em um.

Este algoritmo precede a execução de lsh.

Importante: Para o algoritmo funcionar, é preciso ter os dois datasets dentro da pasta deste repositório para o código funcionar. Estes não estão disponibizados neste repositório devido a direitos autorais. Dois deles, podem ser recuperados do site MIREX. Para que possa ocorrer a expansão deste dataset é preciso adicionar um terceiro dataset. Este terceiro dataset, o dataset de ruído, pode ser encontrado em The Lakh MIDI Dataset v0.1 (Baixar o dataset LMD-matched).

Etapas:

A fim de obter um dataset unificado, executar as etapas abaixo: Para ajuda via comando, consulte python main.py --help

  1. Renomear pasta deste repositório para uniformiza_dataset

  2. Recuperar os datasets originais do MIXEX, seção "Data".

    Colocá-los na pasta do reposítório. TODO: verificar pequenas modificações manuais feitas nos datasets antes de executar o algoritmo. Houve uniformização manual do nome das pastas.

  3. Executar a uniformização/unificação

     python main.py -norm True -expand False

    Este comando gera uma pasta contendo as queries, outra as músicas (pasta songs). Gera também os seguintes arquivos:

    • expected_results.list - Contém uma lista que relaciona cada query com o nome (sem extensão) esperado da música dos datasets unificados.
    • ioacas_query_correlation_file.list - Relaciona os nomes das queries do dataset unificado com os do dataset IOACAS.
    • ioacas_song_correlation_file.list - Relaciona os nomes das músicas do dataset unificado com os do dataset IOACAS.
    • midi_songs.list - Lista das músicas em formato MIDI.
    • mir_query_correlation_file.list - Relaciona os nomes das queries do dataset unificado com os do dataset MIR.
    • mir_song_correlation_file.list - Relaciona os nomes das músicas do dataset unificado com os do dataset MIR.

  4. Adicionar músicas de ruído na pasta de músicas

    Para aumentar o dataset e verificar se o algoritmo está funcionando em boa velocidade e acurácia.

    4.1. Criar lista das músicas presentes no dataset de ruído

     grep .*[\.mid]$ -r -l | sort > midi.list

    4.2. Executar comando de expansão do dataset

     python main.py -norm False -expand True

  5. (Opcional) Transformar as queries do formato MID para WAV.

    5.1. Instalar, em seu Sistema Operacional, o programa Timidity.

     sudo apt update
 sudo apt install timidity  # funciona no Ubuntu 18.04

    5.2. Executar a conversão

     python main.py -norm False -expand False -convert $CONVERSION_OPTION
 
 CONVERSION_OPTION válidos:
 	- "only_mirex" - converte apenas os datasets MIR_QBSH e IOACAS do MIREX.
 	- "only_lmd" - converte apenas o datasets vindo do LMD
 	- "all" - converte todos os três datasets envolvidos
 	- "none" - não converte nenhum dataset (opção padrão)

    As músicas convertidas ficarão na pasta songs_wav. NOTA: As opções que envolvem a conversão do dataset LMD trazem consigo um excessivo consumo de memória de disco. Numa das tentativas de conversão, cerca de 7 mil músicas convertidas ocuparam mais de 200 GB.