<div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div dir="ltr" class="gmail_attr"><span style="background-color:transparent">The next AI Seminar will be on Friday October 30th, 12-1pm, in the MRB Seminar Room (1st floor).</span></div><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div dir="ltr"><div class="gmail_quote"><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div dir="ltr"><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div dir="ltr"><div class="gmail_quote"><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div dir="ltr"><div class="gmail_quote"><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div dir="ltr"><div dir="ltr"><div class="gmail_quote"><div dir="ltr"><div><br></div><div>*** Pizza and refreshments will be provided ****<br><br>To keep track of the number of attendees, please *register* at:</div><div><a href="https://www.eventbrite.com/e/ai-seminar-series-tickets-2003899932642" target="_blank">https://www.eventbrite.com/e/ai-seminar-series-tickets-2003899932642</a> </div></div><div dir="ltr"><div><br></div><div>The talk will be given by <b>Prof. Xiaoqian Liu</b>, Department of Statistics, UCR<br><br>TITLE: <span style="background-color:transparent">Beyond Average Accuracy: Interpretable Evaluation of Large Language Models at Scale</span></div><div><span style="background-color:transparent"><br></span></div><div>ABSTRACT: </div><div>The rapid proliferation of large language models (LLMs) has created an increasing demand for reliable and efficient evaluation methods. Yet conventional approaches typically rank LLMs based on average accuracy, treating every question as equally informative while revealing little about the benchmarks themselves. Item response theory (IRT), a statistical framework long used in psychometrics, offers a principled alternative: it models each response as a random outcome governed by the model’s latent ability and the question’s difficulty and discrimination. However, standard IRT methods can be computationally expensive and numerically unstable at the scale of modern LLM leaderboards. To address these challenges, we develop an interpretable and scalable framework for LLM evaluation based on the majorization–minimization principle. Our approach recasts IRT estimation as a sequence of constrained matrix factorization problems that admit simple least-squares updates, with theoretical guarantees for identifiability and convergence. Experiments on the Hugging Face Open LLM Leaderboard, involving over 2,000 models and more than 21,000 questions across six benchmarks, demonstrate 41–86× speedups over existing methods. The estimated model abilities are consistent with established scaling laws, and the estimated question difficulties agree with human annotations. Our results also reveal that accuracy-based rankings can be misleading when benchmark questions differ substantially in their ability to distinguish models. Finally, I will briefly discuss our ongoing work on reducing redundancy in benchmarks, paving the way toward more efficient and reliable LLM evaluation.</div><div><br></div><div>Bio:</div><div>Xiaoqian Liu is an Assistant Professor in the Department of Statistics at UC Riverside. She received her Ph.D. in Statistics from NC State University in 2022 and was a postdoctoral fellow at the UT MD Anderson Cancer Center from 2022 to 2024. Her research lies at the intersection of statistical machine learning, computational statistics, and numerical optimization, with applications in artificial intelligence, bioinformatics, and cancer biology. Her recent research focuses on developing interpretable and scalable methods for evaluating large language models, as well as robust methods for transferring knowledge across heterogeneous data sources.</div><div><br></div><div>------------------------------------</div><div>Sponsored by the RAISE@UCR Institute, the <span><span><span>AI</span></span></span> <span><span><span>Seminar</span></span></span> <span><span><span>Series</span></span></span> presents speakers working on cutting edge Foundational <span><span><span>AI</span></span></span> or applying <span><span><span>AI</span></span></span> in their research. The goal of these <span><span><span>seminars</span></span></span> is to inform the UCR community about current trends in <span><span><span>AI</span></span></span> research and promote collaborations between faculty in this emerging field. These <span><span><span>seminars</span></span></span> are open to interested faculty and graduate/undergraduate students. Please forward this email to other colleagues or students in your lab that may be interested. After the <span><span><span>seminar</span></span></span> a discussion will follow for questions, open problems, ideas for possible collaborations etc.<br><br>Sincerely,<br>Vassilis Tsotras<br>Professor, CSE Department<br>co-Director, RAISE@UCR Institute<br><br>Amit Roy-Chowdhury<br>Professor, ECE Department<br>co-Director, RAISE@UCR Institute</div></div>
</div></div>
</div>
</div></div>
</div>
</div></div>
</div></div>
</div>
</div></div>
</div>
</div></div>
</div></div>
</div>
</div></div>
</div>
</div>
</div></div>
</div>
</div></div>
</div>
</div></div>
</div></div>
</div>
</div></div>
</div>
</div></div>
</div>
</div></div>
</div>