Uma prática comum no treinamento de assistentes de inteligência artificial pode estar produzindo agentes mais frágeis do que se imaginava.
Segundo um artigo produzido por pesquisadores de universidades como Stanford, Berkeley, Northeastern e Washington, sistemas treinados por reforço usando apenas um simulador de usuário tendem a aprender estratégias excessivamente especializadas, que funcionam bem durante o treinamento, mas falham quando são colocadas diante de pessoas reais ou de novos contextos.
O problema foi batizado de colapso do simulador (“simulator collapse”, do original). Para desenvolver assistentes conversacionais, como testar sistemas com pessoas reais é caro, lento e difícil de escalar, empresas e laboratórios costumam recorrer a modelos de linguagem capazes de simular usuários humanos. O estudo argumenta, porém, que esses simuladores frequentemente apresentam comportamentos repetitivos e pouco diversos.
Leave a Reply