db1 pgsql databases non-responsive
Toshio Kuratomi
a.badger at gmail.com
Sun Apr 15 06:48:27 UTC 2007
On Sat, 2007-04-14 at 23:23 -0500, Matt Domsch wrote:
> At about 11pm CDT, I noticed db1 stopped responding to pgsql database
> connections to either the mirrormanager database or the FAS database.
> One can start to connect to it:
>
> psql -h db1 -d mirrormanager -U mirroradmin -W
> Password for user mirroradmin:
>
>
> but it just hangs at this point. Other apps trying to access it are
> also hanging.
>
> I don't have access to db1, nor do I know enough about pgsql to feel
> comfortable digging. Hopefully someone who has both access and skill
> can take a look?
>
I've just restarted the postgres server. It looks to me as though koji
might have been the culprit. Some output of ps prior to restarting
postgres is attached.
After restarting the db, FASv1 was available. packagedb and
packagedb-devel were runnable (but this could be because they were not
running when the db was restarted and the autostart script started them
fresh.) mirrormanager was down until I restarted the script on
publictest7. koji was down and is still down. If someone who knows
koji could restart it, that would be great.
-Toshio
-------------- next part --------------
10828 ? S 1:08 /usr/bin/postmaster -p 5432 -D /var/lib/pgsql/data
10831 ? S 180:10 postgres: stats buffer process
10832 ? S 140:04 postgres: stats collector process
31373 ? S 0:00 postgres: apache fassession 10.8.34.83 idle
31374 ? S 0:00 postgres: apache fassession 10.8.34.83 idle
5536 ? S 0:00 postgres: apache fedorausers 10.8.34.83 idle
15890 ? S 0:00 postgres: apache fedorausers 10.8.34.50 idle in transaction
22085 ? S 97:30 postgres: koji koji 10.8.34.98 idle in transaction
22349 ? S 89:26 postgres: koji koji 10.8.34.98 idle in transaction
22365 ? S 89:46 postgres: koji koji 10.8.34.98 idle in transaction
23009 ? R 73:47 postgres: koji koji 10.8.34.98 UPDATE
23355 ? S 60:28 postgres: koji koji 10.8.34.98 UPDATE
23431 ? R 59:05 postgres: koji koji 10.8.34.98 UPDATE
24008 ? S 42:30 postgres: koji koji 10.8.34.98 idle in transaction
24031 ? S 41:58 postgres: koji koji 10.8.34.98 idle in transaction
24032 ? S 42:09 postgres: koji koji 10.8.34.98 idle in transaction
24033 ? S 41:29 postgres: koji koji 10.8.34.98 idle in transaction
24193 ? S 34:53 postgres: koji koji 10.8.34.98 idle in transaction
24291 ? R 32:40 postgres: koji koji 10.8.34.98 UPDATE
24429 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 idle in transaction
24430 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 idle in transaction
24431 ? S 0:00 postgres: apache fassession 10.8.34.97 idle
24432 ? S 0:00 postgres: apache fassession 10.8.34.97 idle
24434 ? S 0:00 postgres: apache fedorausers 10.8.34.97 idle
24435 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 idle
24439 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 VACUUM waiting
24446 ? S 0:00 su - postgres /var/lib/pgsql/save-db /var/lib/pgsql/backups/db-backup.new
24512 ? S 0:00 postgres: postgres mirrormanager [local] LOCK TABLE waiting
24513 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 VACUUM waiting
24524 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24525 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24526 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24529 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
24535 ? S 0:00 postgres: apache fedorausers 10.8.34.50 startup waiting
24568 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
24569 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24570 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
24591 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
24614 ? S 0:00 postgres: koji koji 10.8.34.98 startup waiting
24627 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24628 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24643 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24644 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24645 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24658 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24659 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24664 ? S 0:00 postgres: koji koji 10.8.34.98 startup waiting
24665 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
24670 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24673 ? S 0:00 postgres: apache fedorausers 10.8.34.52 startup waiting
24680 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24681 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24682 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24686 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
24689 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24696 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 startup waiting
24744 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24745 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24748 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
24749 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 startup waiting
24750 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24755 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 startup waiting
24756 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 startup waiting
24762 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 startup waiting
24763 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
24764 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
24767 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24768 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24769 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24774 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
24812 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
24813 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
24814 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
24815 ? S 0:00 postgres: apache fedorausers 10.8.34.50 startup waiting
24816 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24817 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
24819 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
24821 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
24822 ? S 0:00 postgres: mirroradmin mirrormanager 10.8.34.97 startup waiting
24830 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24831 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24836 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24844 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24850 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24851 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24852 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24855 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24856 ? S 0:00 postgres: apache fedorausers 10.8.34.52 startup waiting
24864 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24868 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24869 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24870 ? S 0:00 postgres: apache fedorausers 10.8.34.200 startup waiting
24873 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
24878 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24881 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24882 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24883 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24887 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
24888 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24889 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24890 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24891 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24896 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
24897 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24899 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24901 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24902 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24908 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24909 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24919 ? S 0:00 su - postgres /var/lib/pgsql/save-db /var/lib/pgsql/backups/db-backup.new
24953 ? S 0:00 postgres: postgres template1 [local] startup waiting
24955 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24956 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24969 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24972 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24973 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24974 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
24977 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
24978 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
25007 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
25017 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
25018 ? S 0:00 postgres: apache fedorausers 10.8.34.50 startup waiting
25019 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
25020 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
25021 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
25023 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
25024 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
25025 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
25034 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25035 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25040 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
25041 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
25052 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25053 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25054 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25059 ? S 0:00 postgres: apache fedorausers 10.8.34.52 startup waiting
25061 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
25069 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25070 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25075 ? S 0:00 postgres: koji koji 10.8.34.98 startup waiting
25076 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
25079 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25089 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25090 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25091 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25097 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25149 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25152 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25158 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25164 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25165 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25166 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25172 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
25173 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
25179 ? S 0:00 postgres: apache fedorausers 10.8.34.50 startup waiting
25212 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
25213 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
25214 ? S 0:00 postgres: apache fedorausers 10.8.34.51 startup waiting
25215 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
25216 ? S 0:00 postgres: apache fedorausers 10.8.31.59 startup waiting
25218 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
25219 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
25220 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
25221 ? S 0:00 postgres: apache fedorausers 10.8.31.60 startup waiting
25230 ? S 0:00 postgres: apache fedorausers 10.8.34.50 startup waiting
25282 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25283 ? S 0:00 postgres: otrs otrs 10.8.31.60 startup waiting
25343 pts/0 S 0:00 grep post
-------------- next part --------------
A non-text attachment was scrubbed...
Name: not available
Type: application/pgp-signature
Size: 189 bytes
Desc: This is a digitally signed message part
Url : http://lists.fedoraproject.org/pipermail/infrastructure/attachments/20070414/b08fb79b/attachment.bin
More information about the infrastructure
mailing list