Monitorar processo jboss

[adrianoschmidt]

Oi pessoal,

Um JBoss em um cliente parou de funcionar do nada e não saiu nada no log, como se alguém tivesse dado um kill -9

O JBoss está num RHEL.

Como posso descobrir que usuário matou o processo e em qual horário? Acredito que terá que ser por comandos ou log do linux, certo?

estou logado como root.. tentei dar um "history" mas não tinha nada..

fui no /var/log/messages e também não tinha nada..

Caso tenham alguma ideia, ficarei muito feliz : )

Abraços!!

Adriano Schmidt

www.localhost8080.com.br

[mauriciomag]

Fala Adriano blz?

Cara essa é uma boa pergunta!

Estava conversando com um amigo especialista em Linux da RedHat e ele disse que também não sabia mas iria ver como isso funciona para me dizer. Normalmente quando o processo é parado como servico os logs são mais fáceis de serem encontrados mas nesse caso de um kill -9 realmente não saberia dizer.

Se meu amigo descobrir e me dizer eu aviso.

Abraços

[luan.cestari]

Hmm talvez o cara estava logando com o usuário que o próprio JBoss usa. O uptime do server está correto (não foi reiniciado o server inteiro)? Teria que ver o horário do último output do log e associar com algum evento externo, caso não foi um usuário. Só para reforçar: somente algo como kill -9 ou um System.halt ou um crash na JVM faria o JBoss sair sem logar nada, de resto ele tem um shutdownhook que faria ele registrar o evento de shutdown. Gera um sosreport para salvar as informações do seu server e mitigar mais tarde.

[[]]'s

Luan

[rimolive]

Procurou por alguma mensagem no /var/log/messages? Um processo Java parar do nada só pode ter sido porque recebeu um SIGABRT ou um SIGSEGV, o que significa que a JVM "crashou" por algum erro nativo.

Além disso, a versão do java é a mais atual? Pode ser um bug na JVM que o cliente está rodando também...

[adrianoschmidt]

Oi luan.cestari e rimolive,

Luan, eu tinha feito um uptime e a máquina está a mais de 300 dias sem ser reiniciada

Ricardo, no /var/log/messages não tinha nada referente a isso também.. a versão do JVM é um pouco antiga sim:

java version "1.6.0_22"

OpenJDK Runtime Environment (IcedTea6 1.10.9) (rhel-1.28.1.10.9.0.1.el5_8-i386)

O cliente comentou que o JBoss em outra máquina parou do nada também no mesmo dia.. na mesma hora praticamente.. mas essa outra máquina não tenho acesso agora.. Será que pode ser algo louco na rede?

[luan.cestari]

Então, se não tem nenhum indício de quem matou, resta a possibilidade que foi um crash do rpocesso. Nisso é gerado um fatal log file que indicará a causa do erro (muito provavelmente a versão da JVM ser bem antiga e tenha alguns bugs já corrigidos) veja mais em http://www.oracle.com/technetwork/java/javase/felog-138657.html#gbwcy . VOcê pode usar o ShowMessageBoxOnError http://www.oracle.com/technetwork/java/javase/clopts-139448.html#gbmui  para printar o erro. Também é possível que seja problema com falta de memória (embora era para ter dado erro no log) dai o HeapDumpOnOutOfMemoryError pode ajuda-lo http://www.oracle.com/technetwork/java/javase/clopts-139448.html#gbzrr . Da para colocar tb a JVM para executar algum comando quando ocorrer erro com o http://www.oracle.com/technetwork/java/javase/clopts-139448.html#gbmum . Tem algumas outras opções que podem te ajudar com as citadas ( http://www.oracle.com/technetwork/java/javase/clopts-139448.html#gbzza ), mas se essas opções já citadas não ajudarem e mesmo com a versão mais atual persistir o problema, dai teria que ir bem afundo com o core dump do processo e abrir um bug http://www.oracle.com/technetwork/java/javase/crashes-137240.html#gdywn    http://www.oracle.com/technetwork/java/javase/bugreports-140511.html#gbkyp     http://www.oracle.com/technetwork/java/javase/bugreports-140511.html#gbkzk

Mas eu acredito fortemente que a atualização ajude para não ter mais esse problema.

[adrianoschmidt]

Muito obrigado pessoal!

Vou solicitar a atualização da JVM e ficar atento para caso ocorra novamente.

luan.cestari gostei dessas suas dicas!!

Abraço galera, muito obrigado pela força!! Qualquer novidade ou descoberta que eu fizer postarei aqui.

Até mais!

Adriano Schmidt

www.localhost8080.com.br

[luan.cestari]

Opa, pode contar conosco Adriano =) Qualquer coisa sabe onde nós achar =D

[eduardolmedeiros]

Adriano, beleza?

Monitorar ações dos usuários via history é sempre complicado.

Uma forma simples encontramos para deixar o ambiente mais seguro e controlado, foi a utilização do sudo.

De forma macro, segue a configuração utilizada:

1) Criamos um usuário e um grupo para o servidor de aplicação. Ex: user: jboss / group: jboss

2) Configuramos o usuário jboss sem shell (/dev/null) e sem senha.

3) Configuramos dentro do sudoers a seguinte regra: Todos os usuários dos grupos X e Y podem rodar qualquer comando com o usuário jboss.

4) Após configuração, gerenciamos o jboss com usuário pessoal utilizando sudo. (claro esse usuário pessoal precisa estar cadastrado nos grupos citados acima).

Ex de utilização:

sudo -u jboss ./standalone.sh

Feito isso, qualquer comando invocado com o sudo será gravado /var/log/sudo.log.

Ex do arquivo:

Feb 10 14:55:02 2014 : usuario1 : HOST=server01 : TTY=pts/2 ;
    PWD=/app/jboss/jboss-eap-6.1/standalone/deployments ; USER=jboss; COMMAND=/usr/bin/vim ../configuration/standalone.xml

Abraços.

[mauriciomag]

Pow Legal hein!