Ungefähr eine Stunde südlich von Frohnleiten stand auf einem Berg einst die stolze Feste Pfannberg. Ein mächtiger Turm und eine verfallene Kapelle ist alles, was heute noch daran erinnert.
Die einstigen Burgherren Bernhard und Heinrich Pfannberg waren zu jener Zeit im Heer des Böhmenkönigs Ottokar II., der damals auch Herzog der Steiermark war. Zu Unrecht des Verrats und der Untreue beschuldigt, wurden sie im Mai 1269 festgenommen und eine Söldnerschar des Königs forderte die Besatzung der Burg – angeführt von Agnes, der Ehefrau Bernhards von Pfannberg – zur Übergabe auf.
Agnes war aber fest zur Gegenwehr entschlossen. So konnten die ersten schweren Angriffe erfolgreich abgewehrt und die Burg verteidigt werden. Daraufhin änderten die Gegner den Plan und beschlossen, die Burg zu belagern und ihre Besatzung auszuhungern. Durch einen unglücklichen Zufall entdeckten sie wenig später am steilen Hang unterhalb der Burg den Eingang zu einem Geheimgang, der direkt in die Festung führte. So konnten sie sich in der Nacht Zutritt zur Burg verschaffen und sie erstürmen.
Agnes von Pfannberg war aber noch immer nicht zum Aufgeben bereit. Mit Schild und Schwert bewaffnet konnte sie die noch verbliebenen Anhänger überzeugen, dass es besser wäre, bei einem Fluchtversuch getötet zu werden, als den Rest seines Daseins in Gefangenschaft zu fristen. Es gelang ihnen auch beinahe, sich den Weg in die Freiheit zu erkämpfen, als die Burgherrin schwer verwundet wurde. Trotz der Verletzung kämpfte sie weiter und tötete noch weitere Feinde bevor sie starb.
Die Feste war also von den böhmischen Soldaten bezwungen worden, und sie feierten ein Fest, bevor sie die Burg plünderten und in Brand steckten. Es gelang ihnen jedoch nicht, Agnes von Pfannberg wie befohlen tot oder lebendig an den Stadthalter König Ottokars auszuliefern, denn die einzigen zwei getreuen Anhänger, denen die Flucht gelungen war, schlichen zurück und brachten den Leichnam ihrer Herrin fort.
Noch heute kann man alljährlich in einer Vollmondnacht im Juni die geisterhafte Gestalt Agnes von Pfannbergs beobachten, die in den Burggemäuern wandelt und nach Feinden und fremden Bedrängern Ausschau hält.