PAV - P4: reconocimiento y verificación del locutor

Obtenga su copia del repositorio de la práctica accediendo a Práctica 4 y pulsando sobre el botón Fork situado en la esquina superior derecha. A continuación, siga las instrucciones de la Práctica 3 para crear una rama con el apellido de los integrantes del grupo de prácticas, dar de alta al resto de integrantes como colaboradores del proyecto y crear la copias locales del repositorio.

También debe descomprimir, en el directorio PAV/P4, el fichero db_spk.tgz con la base de datos oral que se utilizará en la parte experimental de la práctica.

Como entrega deberá realizar un pull request con el contenido de su copia del repositorio. Recuerde que los ficheros entregados deberán estar en condiciones de ser ejecutados con sólo ejecutar:

  make release
  run_spkid mfcc train test classerr verify verifyerr

A modo de memoria de la práctica, complete, en este mismo documento y usando el formato markdown, los ejercicios indicados.

Ejercicios.

Extracción de características.

• Escriba el pipeline principal usado para calcular los coeficientes cepstrales de predicción lineal (LPCC), en su fichero scripts/wav2lpcc.sh:

# Coeficientes de predicción lineal (LP) en el script wav2lp.sh:
sox $inputfile -t raw - | $X2X +sf | $FRAME -l 400 -p 80 | $WINDOW -l 400 -L 400 |
        $LPC -l 400 -m $lpc_order > $base.lp

# Coeficientes cepstrales de predicción lineal (LPCC) en el script wav2lpcc.sh:
sox $inputfile -t raw - dither -p12 | $X2X +sf | $FRAME -l 200 -p 40 | $WINDOW -l 200 -L 200 |
	$LPC -l 200 -m $lpc_order | $LPCC -m $lpc_order -M $cepstrum_order > $base.lpcc

• Escriba el pipeline principal usado para calcular los coeficientes cepstrales en escala Mel (MFCC), en su fichero scripts/wav2mfcc.sh:

# Coeficientes cepstrales de predicción lineal (LPCC) en el script wav2lpcc.sh:
sox $inputfile -t raw - | $X2X +sf | $FRAME -l 200 -p 40 | $WINDOW -l 200 -L 200 | 
   $MFCC -l 200 -m $mfcc_order -s 8 -w 1 >  $base.mfcc

• Indique qué parámetros considera adecuados para el cálculo de los coeficientes LPCC y MFCC.

Respuesta: Para el cálculo de los coeficientes LPCC hemos considerado adecuado utilizar 8 coeficientes, en el caso de los coeficientes MFCC hemos utilizado 12.

• Inserte una imagen mostrando la dependencia entre los coeficientes 2 y 3 de las tres parametrizaciones para una señal de prueba.

  Parametrización lp

  Parametrización lpcc

  Parametrización mfcc

  • ¿Cuál de ellas le parece que contiene más información?

  Los coeficientes LP son más correlados que los LPCC, y a su vez, estos son más correlados que los MFCC. En definitiva, podemos observar que cuanto más disperso el gráfico, menor es la correlación. En conclusión los MFCC son los más incorrelados, y por lo tanto, los que tienen más información.

• Usando el programa pearson, obtenga los coeficientes de correlación normalizada entre los parámetros 2 y 3, y rellene la tabla siguiente con los valores obtenidos.

  	LP	LPCC	MFCC
  ρx[2,3]	-0.621	0.3804	0.1300

  • Compare los resultados de pearson con los obtenidos gráficamente. Cuánto más cerca de |1| más correlado, por lo tanto, siguiendo la misma línea que los gráficos, MFCC es el menos correlado, LPCC el segundo y LP el más correlado.

Entrenamiento y visualización de los GMM.

• Inserte una gráfica que muestre la función de densidad de probabilidad modelada por el GMM de un locutor para sus dos primeros coeficientes de MFCC.

• Inserte una gráfica que permita comparar los modelos y poblaciones de dos locutores distintos. Comente el resultado obtenido y discuta si el modelado mediante GMM permite diferenciar las señales de uno y otro.

Reconocimiento del locutor.

• Inserte una tabla con la tasa de error obtenida en el reconocimiento de los locutores de la base de datos SPEECON usando su mejor sistema de reconocimiento para los parámetros LP, LPCC y MFCC.

  	LP	LPCC	MFCC
  Error rate (%)	7.01	2.17	13.25

Verificación del locutor.

• Inserte una tabla con el score obtenido con su mejor sistema de verificación del locutor en la tarea de verificación de SPEECON. La tabla debe incluir el umbral óptimo, el número de falsas alarmas y de pérdidas, y el score obtenido usando la parametrización que mejor resultado le hubiera dado en la tarea de reconocimiento.

  	LP	LPCC	MFCC
  Missed	0.78	0.57	0.976
  False Alarm	0.00	0.001	0
  Cost Detection (%)	78.0	67.1	97.6

Test final y trabajo de ampliación.

• Recuerde adjuntar los ficheros class_test.log y verif_test.log correspondientes a la evaluación ciega final.

• Recuerde, también, enviar a Atenea un fichero en formato zip o tgz con la memoria con el trabajo realizado como ampliación, así como los ficheros class_ampl.log y/o verif_ampl.log, obtenidos como resultado del mismo.