Guide Labsが新しい種類の解釈可能なLLMを発表

Guide Labsは、CEOのJulius Adebayoと最高科学責任者のAya Abdelsalam Ismailによって設立されたサンフランシスコのスタートアップで、本日、新しいアーキテクチャで訓練された80億パラメータのLLM「Steerling-8B」をオープンソース化しました。このアーキテクチャは、モデルが生成するすべてのトークンをLLMのトレーニングデータの起源に遡って追跡できるように設計されており、高い解釈性を実現しています。Adebayo氏は、現在のモデルの解釈が「モデルに対する神経科学」であるのに対し、彼らのアプローチは「最初からモデルを設計する」ことだと説明しています。この手法は事前のデータアノテーションを多く必要としますが、量子コンピューティングのようなモデルが独自に発見した「発見された概念」も追跡可能です。Adebayo氏は、この解釈可能なアーキテクチャは、著作権資料のブロックや、金融における人種のような要因を考慮から除外する必要がある規制産業において不可欠であると主張しています。Guide Labsによると、Steerling-8Bは、その新しいアーキテクチャのおかげで、既存モデルの能力の90%を達成しつつ、より少ないトレーニングデータを使用できるとのことです。同社は今後、より大規模なモデルを構築し、APIおよびエージェントアクセスを提供することを目指しています。

(出典：TechCrunch)