PDFを読み取るにはいくつのAIが必要か？

PDFという普及したフォーマットはAIにとって大きな障害となっており、しばしば不正確なデータ抽出、要約エラー、またはハルシネーションを引き起こします。この困難さは、フォーマットが論理構造よりも視覚的な忠実度を優先するように設計されていることに起因し、複数列レイアウトや表、脚注などの要素を扱う際にOCRのようなAIツールを混乱させます。この問題は、司法省が公開した数百万件の検索不可能なジェフリー・エプスタインの文書を開発者が分析しようとした際に浮き彫りになりました。Reductoのような企業は、ページをヘッダーや表などの構造的要素にセグメント化してから解析する、専門化された複数パスのAIシステムを使用することでこれに対処しており、図表をスプレッドシートに変換するなど高い精度を達成しています。Allen Institute for AIやHugging Faceの研究者も専門のPDF読み取りモデルを開発しており、PDFには大量の高品質なトレーニングデータが含まれていることを認識しています。専門家は、フォーマットの複雑さと現在のAIの確率的な性質により、完全に正確なPDF解析は継続的な課題であるとしながらも、フォーマット自体がなくなる兆候はないと述べています。

(出典：The Verge)