"Festival" de Pruebas 9.0 (Test Fest)

  • Fecha: 3 de Abril de 2010
  • Hora: 10:00 a 20:00 ART (a confirmar)
  • Lugar: remotamente por #arpug en freenode
  • Coordinación: ver Soporte
  • Tickets: ver Hito

Introducción

En la lista de advocacy Josh Berkus anunció la iniciativa de un día de "fiesta" dedicado a probar la Versión 9.

Básicamente comenta que se necesita que la gente pruebe todo un día Postgres 9 para completar el período Alfa/beta de testing y poder liberar 9.0 según lo estipulado. Sin esta ayuda, muchas características nuevas y complejas... como Hot Standby, Synchronous Replication, DO(), nuevo PL/Perl, parámetros nombrados, nuevo Listen/Notify y más ... simplemente no podrán ser liberadas a tiempo. Hay mucho trabajo de pruebas que excede a los contribuidores principales.

En el correo llama a los grupos de usuarios a organizar su propio Test-Fest, ya sea reuniendose físicamente, o colaborando por internet desde casas y oficinas.

Estado

Desde el ArPug y otros grupos de usuarios, estamos tratando de coordinar las pruebas remotas y posiblemente comunicandonos por IRC (canal #arpug en freenode) el día del evento.

Preparación

Para poder probar PostgreSQL 9.0 es necesario:

  • Una o más computadoras (fisicamente o remotamente accesibles por internet)
    • ... opcionalmente con todas las herramientas requeridas para poder compilar PostgreSQL y módulos a usar.
    • ... para usuarios Windows, tener los paquetes beta instalados (¡probar equipos con Windows!)
  • Bases de datos públicas o personales que ya hayan sido portadas a una versión anterior de PostgreSQL.
  • Aplicaciones de código abierto que funcionan con PostgreSQL, con enfásis en las que tengan pruebas de regresión.

INSTALÁ Alpha4 Alpha5 en tus computatoras. Lo podés descargar de:

Más información sobre compilación, instalación y pruebas:

Si te sentís con muchas ganas de ayudar, puedes instalar la instantanea actual de desarrollo:  http://www.postgresql.org/ftp/snapshot/dev/

Si podés, por favor instalá una copia de la versión 8.4.3 para poder hacer comparaciones.

Si alguien necesita ayuda para compilar PostgreSQL, por favor pregunte en la lista: Soporte.

También, sugerimos instalar sus aplicaciones favoritas para PostgreSQL y así probarlas en 9.0.

Lista de PC para pruebas

Agregarse en esta tabla si pueden colaboran con equipos de prueba:

ResponsableArquitecturaSistema OperativoIP/Dirección:Puerto
MarianoReingartx86 (amd)Debian lennywww.arpug.com.ar:5439

Solicitar usuario y contraseña por email.

Lista de BBDD para pruebas

Agregarse en esta tabla si pueden colaborar con bases de datos de prueba:

ResponsableDescripciónVersión ActualTamaño aprox.Publica/PrivadaURL Descarga

Nota: (*) Proximamente se subirán dumps con datos de ejemplos por si alguien quiere probar y no tiene bases propias (además de dejar preparado pruebas estándar como ejemplo que puedan ser compartidas y reproducidas en caso de ser necesario)

Pruebas específicas para realizar

Se necesitaría que se hagan una serie de test para que el día valga la pena. Por favor, poné tu nombre junto al test que puedes preparar y ejecutar (mientras más personas prueben cada cosa mejor!):

 Cuales son las nuevas features?

Nota: Si es posible crear un Ticket para documentar la prueba y poder reproducirla en caso de ser necesario. Ver Hito para un resumen del avance y estado actual.

¿Como Probar?

  1. Si es la primera vez para una prueba en particular, podría querer comentarlo en pgsql-testers para que otros puedan sugerir ajustes para hacer el test más útil.
  2. Programar un script para poder reproducir la prueba.
  3. Ejecutar la prueba y recolectar los datos a una bitácora (log).
    1. Ejecutar la prueba en una versión anterior para comparación, si es aplicable.
  4. Completar la plantilla de e-mail (ver abajo) y enviar los resultados a pgsql-testers.
  5. Revisar contestaciones sobre la prueba y responderlas.
  6. Esperar la próxima versión liberada y ejecutar la prueba nuevamente.

Si tenés dificultades en con estos pasos, podés consultar en la lista del ArPUG o por IRC.

Reportes

Tener en cuenta la siguiente plantilla para enviar los resultados de las pruebas a pgsql-testers (hacerlo en inglés y respetar puntuación, corchetes, etc.): 

[TEST REPORT] mantener este encabezado para que el script procese correctamente el mail.
[Release]: la versión probada,  preferentemente en formato: "9.0Alpha4". Requerido.
[Test Type]: Install (instalación),  application (aplicación),  performance (rendimiento),  interface (interfaz) or feature (característica). Requerido.
[Test]: Una descripción resumida de la prueba realizada. Por ej.,  "SQLAlchemy Unit Test Suite" o "pgBench" o "Combined DENSE RANK and WITH RECURSIVE". Requerido.
[Platform]: Una descripción resumida de la plataforma donde se realizó la prueba. Por ej.,  "MacBook Snow Leopard" o "Linux 16-core Sun 4600 with NAS storage". Opcional.
[Parameters]: Parámetros de prueba usados,  si aplica. Opcional.
[Failure]: ¿La prueba mostró algun tema de compatibilidad,  error de regresión o rendimiento? Completar: "Yes" o "No". Opcional,  por defecto "No".
[Results]: Una narrativa de como se ejecutó la prueba y que sucedió. Si experimentó errores,  por favor copiar el mensaje de error detallado. Requerido.
[Comments]: Cualquier otra cosa relevante que no fué incluida arriba. Opcional.

Si tenés dificultades en armar el reporte o al enviarlo, podés consultar en la lista del ArPUG o por IRC.

Enlaces: