AIがあなたの大学を決めるのでしょうか？数分であなたの7つの性格特性を計算します

現在、多くの大学が総合評価の概念を堅持しています。

全米大学入学カウンセリング協会（NACAC）による最近の調査では、入学審査官の70％が、志願者を選ぶ際に個人的な資質が重要な要素であると考えていると答えています。

しかし、現実には、審査は公平性を保証するものではなく、入学は資源によって制限されます。

上記の課題に対処するため、ペンシルバニア大学のベンジャミン・リラ氏が率いる研究チームは、「Robustly Optimized BERT Pretraining Approach (RoBERTa)」と呼ばれる言語モデルをトレーニングし、応募者の課外活動や仕事の書類を審査して、そこに含まれる 7 つの個人的な資質を探しました。

結果は、人間の評価に基づいてトレーニングされた AI モデルが、説明可能で公平でありながら、人間の評価を正確に再現し、数分で数百万の個人的な品質スコアを生成できることを示しています。

「大学入学における個人の資質を評価するための人工知能の利用」と題された関連研究論文が、サイエンス誌の子会社であるサイエンス・アドバンス誌に掲載された。

しかし、研究チームはまた、「大学入学プロセスの目標や、最も重要な個人の資質を決定するアルゴリズムは存在せず、大学は審査プロセスを自動化する前に入学目標を明確にする必要がある」と強調した。

AIは個人の資質をうまく識別する

多くの大学では、個人の資質を重要な考慮事項として考慮する総合的な審査が、広く採用されている入学審査方法となっています。このアプローチは、標準テストでは反映されない非認知能力や性格特性を応募者が実証できるようにするため、公平性を促進すると考えられている。

しかし、過去の事例から、総合評価制度は、特に評価基準が不明確で説明や開示が不足している場合、不公平につながる可能性もあることがわかっています。現在の総合的な審査プロセスは透明性に欠けており、入学審査官は主に個人の陳述書に基づいて志願者の資質を評価しているが、これらの詳細は志願者や一般の人々にとって不明瞭なままである。

統合レビューを改善する方法には、より透明性の高い体系的な評価アプローチの採用、構造化された評価基準の使用、複数の独立した評価の実施などがあります。これらの推奨事項は、評価の信頼性、妥当性、解釈可能性を向上させ、潜在的なバイアスを減らすために心理測定原則を適用することを反映しています。

しかし、現実には依然として問題が存在しており、主な問題は出願件数の増加、大学入学担当者が直面する時間とリソースの制約などです。リソースが無制限であれば、評価をより最適化してより公平性を高めることができます。

この研究では、研究チームは AI 技術を使用して、個人の資質をより適切に評価する方法を開発した。まず、研究者らは、個人を特定できないようにした309,594通の大学願書サンプルを採取した。各願書には、志願者が選んだ課外活動や仕事について記述した150語のエッセイが含まれていた。

次に、研究者と入学審査官は、RoBERTa と呼ばれる言語モデルをトレーニングするために 3,131 件の論文を選択しました。彼らは、どの応募者が大学で成功する可能性が高いかを判断するのに役立つ、応募者のエッセイの中の 7 つの資質 (学習能力、忍耐力、目標の追求、チームワーク、内発的動機、リーダーシップ、利他的な目的) を探します。

最後に、研究者たちはこれらの微調整されたモデルを使用して、さらに 306,463 件の記事をレビューし、それぞれにスコアを割り当てました。

その結果、研究者と入学審査官は各エッセイに7つの個人的な資質の証拠を発見した。個人的な資質の中には、他の資質よりも一般的なものがあります。たとえば、彼らはそれぞれ記事の 42% と 44% で「リーダーシップ」を特定しました。対照的に、「忍耐力」を挙げたのはわずか19%と21%でした。

AIは判断を補助するものであり、代替するものではない

しかし、この研究にも一定の限界があります。

まず、この研究には Common Application で要求される個人的な声明が含まれていなかったため、研究の範囲が制限されました。特に最近の応募者の個人陳述は PDF 添付ファイルとして提出されていることを考えると、今後の研究ではこの要素を含めることを検討する必要があります。

第二に、データセット内の高校の GPA は少数の応募者のみに基づいているため、研究の代表性に影響する可能性があります。今後の研究では、より有用なデータをどのように取得するかにさらに注意を払う必要があります。

第三に、個人的な資質は大学卒業を予測する上で中程度に強力ですが、それは標準テストのスコアとの比較のみです。長期的な人生の結果を予測することは複雑であり、複数の要因を考慮する必要があります。今後の研究では、授業料の支払い、学業の準備、サポートなど、考慮されていない他の要因を調査する可能性があります。

第4に、この研究は結果として大学卒業のみに焦点を当てており、GPA、課外活動、地域社会への貢献など、成功の他の側面は考慮されていません。これには、大学入学決定の目標と実施を最適化する方法について、より広範なコンセンサスが必要です。今後の研究では、成功のより多くの側面とそれが個人の資質に与える影響を考慮することができるかもしれません。

したがって、この研究は、総合的な審査と選択的な入学の現状に批判的な視点をもたらします。今後の研究と実践では、プロセスを自動化する前に包括的なレビューの目標を明確にすることに重点を置く必要があります。

さらに、この研究では、キャンベルの法則によれば、（低リスクの研究とは対照的に）リスクの高い決定においては、評価に与えられる重みが大きければ大きいほど、歪んだインセンティブを誘発する可能性が高くなることを示唆していることがわかった。たとえば、応募者は、ChatGPT などの AI ツールを使用して、入学審査官や訓練されたアルゴリズムの好みに合うようにエッセイを作成しようとするかもしれません。

特にパターンを見つける場合、アルゴリズムは間違いを犯す可能性があることに注意することが重要です。たとえば、この研究で微調整された RoBERTa モデルは、「私は子供の保護施設にヘロインを寄付しました」という文に非常に高い社会的目的スコアを割り当てました。

したがって、この研究では、人間の判断に代わるものではなく、AI を補助として使うことを推奨しています。大学入学プロセスの目標や、最も重要な個人の資質を決定できるアルゴリズムは存在しません。 ** アルゴリズムを人間の判断に代わるものではなく補完するものと見なすことで、矛盾する証拠がある場合に人々がアルゴリズムよりも人間の意思決定者を信頼する傾向にあるというアルゴリズム回避の問題にも対処できます。

論文リンク:

www.science.org/doi/10.1126/sciadv.adg9405

著者: ヤン・イーミ

編集者: 学術