California State Bar ha admitido que utiliza IA para desarrollar preguntas de prueba

Aproximadamente dos meses después, cientos de posibles abogados de California se quejaron de que sus Las pruebas de barra estaban abrumadas con problemas técnicos e irregularidadesLa compañía de licencias legales del estado ha creado una nueva ira al reconocer que algunas de las múltiples preguntas favoritas se han creado con la ayuda de la inteligencia artificial.

El Colegio de Abogados del Estado de California dice un Comunicado de prensa Le pedirá a la Corte Suprema de California el lunes que ajuste los puntajes de las pruebas para aquellos que han tomado el examen de febrero.

Sin embargo, se ha negado a aceptar problemas significativos con sus preguntas de opción múltiple, incluso se ha revelado que se recicló un subconjunto de preguntas del examen de estudiantes de primer año, mientras que otros fueron desarrollados con la ayuda de IA por la empresa de ACS psicométrica independiente del bar del estado.

«La decepción en el examen de febrero de 2021, la decepción de la habilidad académica de la Facultad de Derecho de la UC Irvin, dijo:» La decepción en febrero de 2021 «.» Estoy casi en silencio. Solo es increíble redactar las preguntas utilizadas por la inteligencia artificial por parte de los no leyes «.

Después de completar la prueba, el residente dijo que algunos testistas se quejaron de que algunas preguntas parecían que escribían AI.

«Guardé el bar», dijo el residente. «‘¡De ninguna manera! ¡No harán eso!»

Basic argumentó: «Se presenta un conflicto de intereses obvio utilizando los psicométricos basados ​​en AI compuestos por psicométricos no principales» porque estos son los mismos psicométricos para establecer «las preguntas son válidas y confiables». «

«Esta es una admisión maravillosa», Katie Muran, profesora asociada de la Universidad de la Escuela de Derecho de San Francisco, que se especializó en la preparación de los exámenes de barra.

«El Colegio de Abogados del Estado ha admitido que han designado a una compañía para usar una IA no legal para redactar las preguntas dadas en las pruebas de barra reales», dijo. «Luego pagaron la misma compañía a la misma compañía para las preguntas de audición del examen y finalmente la aprobación, incluidas las preguntas escritas de la organización».

Las fuerzas administrativas de la Corte Suprema de California, el Colegio de Abogados del Estado, dijo el lunes que las preguntas de opción múltiple fueron creadas principalmente por el Servicio de Examen de Kaplan, una compañía que fue contratada el año pasado con el intento de ahorrar dinero.

De acuerdo Presentación A través del Colegio de Abogados del Estado, Kaplan creó cuestiones de opción múltiple del puntaje 171 y se tomaron 48 estudiantes de derecho de primer año del examen. Las empresas Psychometrician ACS de la barra estatal crearon un pequeño subconjunto de 23 preguntas de puntaje y se desarrolló con inteligencia artificial.

«Tenemos confianza en la validez de las habilidades legales de nuestras (preguntas de opción múltiple) para evaluar adecuadamente y de manera justa las habilidades legales de nuestras (preguntas de opción múltiple)», dijo Lia Wilson, directora ejecutiva del Colegio de Abogados del Estado.

El martes, un portavoz del Colegio de Abogados del Estado dijo a The Times que todos los materiales de preguntas, incluidos 29 puntajes y exploraron preguntas de la agencia desarrollada, con la ayuda de IA, fueron revisados ​​antes del examen con precisión legal, calificación mínima y posibles prejuicios por parte de expertos expertos.

Cuando se midió para la confiabilidad, la barra estatal le dijo a The Times que todas las fuentes combinadas, incluidas las preguntas de opción múltiple, se editan en el «objetivo psicométrico de 0.80».

El estado también ha rechazado la idea del conflicto de intereses.

«El proceso de validar la prueba de preguntas y confiabilidad no es subjetivo», dijo State Bar, «y los parámetros estadísticos utilizados por el psicométrico siguen siendo los mismos con respecto a la fuente de la pregunta».

Alex Chan, un abogado que es el presidente del Comité del Colegio de Abogados de los Exámenes del Colegio de Abogados, dijo a The Times que solo una pequeña pregunta usaba AI, y no necesariamente para crear preguntas.

Chan dijo: «Los profesores sugieren que hemos usado todos los borradores de IA para hacer todas las preguntas preferidas, contra la IA contra su uso», dijo Chan. «No es mi carga».

Chan señaló que la Corte Suprema de California Pedido En octubre, la barra estatal es «la disponibilidad de cualquier tecnología nueva como la inteligencia artificial, que puede innovar y mejorar la confiabilidad y la rentabilidad de esta prueba nacional».

«El tribunal lo ha dado Guía Para considerar el uso de la IA, y vamos a hacer exactamente eso «, dijo Chan.

Sin embargo, un portavoz de la Corte Suprema de California dijo el martes que los jueces solo aprendieron esta semana que el Colegio de Abogados del Estado había usado la IA para desarrollar la pregunta del examen.

«Hasta el bar de estado de ayer presione soltarEl tribunal estaba inconsciente de que AI estaba acostumbrada para redactar cualquiera de las múltiples preguntas favoritas «, dijo un portavoz en un comunicado.

El año pasado, cuando la barra estatal se enfrentó a un déficit de $ 22 millones en sus fondos generales, un sistema utilizado por la mayoría de los estados decidió reducir la conferencia nacional del examen de la barra de múltiples exámenes y redujo el costo del nuevo modelo híbrido en pruebas personales y remotas. Cortar Agencia de preparación de pruebas Kaplan Test Services con un acuerdo de $ 8.25 millones con Alquilar el aprendizaje en Magur para crear y realizar las preguntas de prueba.

Hubo múltiples problemas con el nuevo despliegue de la barra de estado de prueba. Se dice que algunas pruebas dijeron que su plataforma de prueba en línea o pantallas experimentadas se han cerrado que se retrasan y demuestran los mensajes de error. Otros se quejaron de que las preguntas de prueba de opción múltiple contienen tipos, contiene malas preguntas e información importante.

En el examen BOTS, se alentó a algunos estudiantes a presentar un caso federal contra la educación musical. Mientras tanto, la Cátedra Judicial del Senado de California es Thomas J. Umbarg (D-Santa Ana) Barra estatal Y la Corte Suprema de California instruyó a la agencia Tradicional a la manera tradicional de regreso a través de la prueba de julio.El

Sin embargo, la barra estatal está avanzando hacia el nuevo sistema de sus múltiples preguntas favoritas, aunque algunos expertos académicos han marcado repetidamente problemas con la calidad de las preguntas del examen de febrero.

«Muchas personas han expresado su preocupación por la calidad de las preguntas de Kaplan que fueron redactadas con las preguntas y los resultados de esas preguntas», escribieron Basiq y Muran April en un comentario público sobre el comité de los exámenes de abril. «50 preguntas de práctica publicadas, que se editó y se relanzó mucho unas pocas semanas antes del examen, también hay numerosos defectos. Ha reducido aún más nuestra confianza en la calidad de la pregunta».

Muran, dijo que las preguntas escritas por las conferencias nacionales del bar tardaron varios años en desarrollarse.

La bandera roja ha usado algunas de las preguntas de la prueba de ley de primer año, dijo el residente. Argumentó que una persona había aprendido lo suficiente en el primer año de su facultad de derecho para determinar si una prueba adoptada de una ley es mínimamente capaz de practicar.

«Este es un valor muy diferente», dijo. «Eso no está bien, ‘Oye, ¿sabes esta regla?’ Esta es ‘¿Cómo sabes cómo aplicarlo a una situación en la que hay ambigüedad y determinar el curso de acción correcto?’ »

Además, el uso de las preguntas de IA y reciclaje de la prueba de ley del primer año presenta un cambio importante en la preparación del bar, dijo el residente. Argumentó que tal cambio requiere dos años de notificación bajo California Código de negocios y ocupaciónEl

Sin embargo, el Colegio de Abogados del Estado dijo a The Times que las fuentes de las preguntas no desencadenaron esos dos años de previo aviso.

«Hubo múltiples fuentes para el desarrollo de preguntas que no afectaron la preparación de la prueba», dijo el Colegio de Abogados.

El residente dijo que se puso ansioso a principios de marzo, dijo que la barra estatal había cerrado los paneles en sus preguntas y otros expertos académicos.

Dijo que el Colegio de Abogados del Estado había argumentado que estos profesores de derecho trabajaron con las preguntas redactadas por las conferencias nacionales de los examinadores en los últimos seis meses, lo que podría plantear problemas de posibles violaciones de derechos de autor.

«Honestamente, lo que han hecho es la borrador de la cuestión de los no leyes que usan inteligencia artificial», dijo. «El lugar en el que la inteligencia artificial podría obtener su información de su información sería la pregunta de NCBE, porque no hay nada más disponible. ¿Qué usará la inteligencia artificial?»

Desde la derrota del examen de febrero, la barra estatal ha subrayado la idea de que hay suficientes problemas con preguntas de opción múltiple. En cambio, se ha centrado en los problemas de aprendizaje musical.

«Estamos verificando la actuación del vendedor para cumplir con sus obligaciones contractuales», dice en State Bar Documento Enumeró los problemas experimentados por los examinadores y destacando los rendimientos relevantes descritos en el contrato.

Sin embargo, los críticos han acusado al Colegio de Abogados del Estado y argumentaron que no reconoció la gravedad del problema con las preguntas de opción múltiple.

Muran pidió a la barra estatal que publique las 200 preguntas en el examen de transparencia y permitió que los futuros exámenes permitieran acostumbrarse a varias preguntas. También pidió que la barra estatal regresara al examen de la barra de varios estados para el examen de julio.

«Simplemente demostraron que no podían hacer pruebas justas», dijo.

Chan dijo que el comité celebrará una reunión el 7 de mayo para discutir la consistencia y los remedios sin puntaje. Sin embargo, sospechaba que el estado publicaría las 200 preguntas en julio o que el Examinador de Abogados regresaría a la Conferencia Nacional del Examen.

La protección de pruebas de NCBE no permite ninguna prueba remota, dijo, y las encuestas recientes de la barra estatal encontraron que los solicitantes de California Bar desean mantener aproximadamente el 50% de las opciones remotas.

Chan dijo: «No volveremos a la NCBE, al menos en el momento más cercano», dijo Chan.