Im Gotthelf-Nachlass der Berner Burgerbibliothek, in den Akten des Staatsarchivs Bern und in weiteren Archiven mit kirchenhistorischen Beständen finden sich zahlreiche Texte und Textfragmente aus dem theologischen Studium, aus dem Vikariat, aus der Tätigkeit als Pfarrer in Lützelflüh sowie aus Zeiten, in denen Bitzius unterschiedliche Funktionen in der Gemeinde, im Kapitel Burgdorf, in der Bernischen Kirchensynode oder in Vereinen und Verbindungen wie dem Emmentalischen Pfarrverein Trachselwald oder dem Predigerverein wahrnahm.