Este paper habla acerca del proceso de evaluar los sistemas de recomendación, basado en tres tipos de experimentos: offline, estudio de usuarios y online, describiendo en detalle todos los pasos que se deben realizar para cada experimento y como medir la exactitud de las predicciones de estos sistemas.
Un punto de destaco es el detalle que los autores entregan para las mediciones de la exactitud (accuracy), ya que con eso se puede seleccionar o mejorar el algoritmo usado para las recomendaciones. Existen varias medidas, pero las mas usada son: el RMSE (Root Mean Squared Error) y MAE (Mean Absolute Error), las cuales se basan en el error producido por la predicción del rating versus el rating real de los usuarios.
Un punto que siempre es conflictivo es la confianza, ya que los autores describen primero Confidense, que es la confianza del sistema en sus predicciones y segundo Trust, la cual es la confianza del usuario en la recomendación del sistema, y este segundo concepto es complejo de medir, ya que si bien se pueden realizar varias acciones para que el usuario tenga mayor confianza de las recomendaciones que entrega el sistema, no siempre serán acogidas de buena forma por parte de los usuarios. Los autores mencionan “No está claro cómo medir la confianza (trust) en un experimento fuera de línea (offline), porque la confianza se construye a través de una interacción entre el sistema y un usuario” y esto se debe realizar, por ejemplo, con experimentos online o con estudio de usuarios, para no perder el momento en que se esta obteniendo la nueva información, conocimiento y/o experiencias de los usuarios, mediante cuestionarios u otro medio.
En un punto que no estoy de acuerdo con los autores, es en el experimento de estudios de usuarios, donde mencionan “Las interacciones con usuarios reales pueden aportar información adicional sobre el rendimiento del sistema”. Si bien esto puede ser real en algunos casos, pero todo dependerá del usuario. Además, como se mencionó en la lectura 1 “Collaborative Filtering Recommender Systems” acerca de los malos usuarios, los cuales perjudican al sistema (sesgando la información) y particularmente a las recomendaciones en base a lo que los usuarios pueden calificar los ítems. Esta información, si es errónea por este tipo de usuarios, repercutirá en que las recomendaciones sean malas y para los usuarios que si están comprometidos la confianza disminuirá dejando de usar el sistema.