エラーが発しているように、接続オブジェクトに接続文字列を割り当てたことはありません。
con.openの前に接続文字列を設定する行を挿入します。
Con.connectionstring = connection
Con.Open()
または、より良いことに、usingステートメントを次のように変更します
Dim Connection As String = "Data Source=.\SQLEXPRESS;AttachDbFilename=G:\VB Project\Library Catalog System\Library Catalog System\library.mdf;Integrated
Security=True;Connect Timeout=30;User Instance=True"
Using Con As New SqlConnection(connection)