Dúvida sobre a Base de Dados do SAGE

[Julierme Araújo]

Bom dia pessoal.

Estou fazendo um estudo de como funciona a base de dados do SAGE e de como e onde posso extrair informações.

Meu entendimento pode ser expressado pelo diagrama que está anexado nesta postagem.

Gostaria de saber de vocês, que já são usuários experientes do SAGE, se o mesmo está correto.

Minha dúvida maior e no conceito de BASE QUENTE e BASE FRIA do sistema SAGE.

1 - A Base de Referência é uma base de dados que é atualizada constantemente com dados da Base Tempo-Real? 

2 - Qual a relação entre a Base Fria e a Base de Referência?

3 - Qual a relação entre a Base Fria e a Base Quente?

Vou precisar ter acesso as informação monitoradas pelo SAGE. A princípio estou enxergando que tais informações serão obtidas da Base Histórica.
4 - Gostaria de saber se existe acesso a alguma outra dessas bases.

Sei que não se tem acesso a Base Tempo-Real. A Base Fonte não interessa porque é só a definição dos ativos a serem gerenciados e monitorados.

Agradeço a atenção de todos.

Abraço.

[ricardo olsen]

Bom dia Julierme,

Pelo que entendo:
1- A base referência são os arquivos em disco XDR (quente ou fria);
2- A base fria são os arquivos xdr gerados sem a preservação de dados
de tempo real;
3- A base quente os arquivos xdr gerados com a preservação de dados de
tempo real (limites, anotações, substituições de valor, etc.);
4- O gerador da base histórica pode ser programado para salvar
periodicamente e/ou por exceção as entidades/atributos da base de
tempo real. A base fonte pode ser acessada do SGBD (ex.PostgreSQL,
Oracle) caso este estiver sendo utilizado para gerar a base de
referência.

Espero ter ajudado o amigo.

Atenciosamente
Ricardo Olsen - CEEE-GT

Em 28 de agosto de 2012 06:51, Julierme Araújo
<julierm...@gmail.com> escreveu:

[Daniel Martins]

Prezado Ricardo.

O que você está chamando de base fria ou quente, arquivos com extensão .xdr, são apenas arquivos binários contendo, acredito, apenas uma imagem da estrutura final de armazenamento dos dados do SAGE que vão residir em memória distribuida entre os nós da rede local SAGE. Não sei se poderíamos chamar estes arquivos de base, no sentido de "banco de dados" onde a informação pode ser alcançada por algum mecanismo. Estas informações, isto é, o conteúdo destes arquivos, são copiadas convenientemente para a memória compartilhada durante o lançamento do SAGE, formando então o que se pode chamar de "base tempo-real". Estas informações são, então convenientemente alteradas durante a execução do sistema a partir dos dados provenientes do campo e das ações dos operadores.

É possível sim ter acesso à base de dados tempo-real. O CEPEL disponibiliza uma API (definida em APU.h), biblioteca APU - Aplicações Do Usuário, de acesso às informações da base tempo-real. Por exemplo, o utilitário info-tr é um exemplo de programa que fornece acesso à base tempo-real tanto em leitura quanto em escrita (modificação). Infelizmente o fonte não está disponível para servir de inspiração.

A Eletronorte é um exemplo de empresa que utilizou a biblioteca APU para desenvolver aplicativos particulares que lêem e escrevem na base de dados tempo-real. Dois aplicativos conhecidos são: "Controle Automátido de Tensão - CAT" que implementa uma política de operação pre-estabelecida para manter o nível de tensões de entrega aos consumidores próximo aos níveis contratados e o serviço de acesso às informações em tempo real via browser http://abil.eln.gov.br que oferece a visualização dos diagramas unifilares das telas SAGE via Applet Java a partir de qualquer ponto da internet desde que o servidor tenha instalado o módulo JRE (http://www.sun.com).

Esperando ter contribuido um pouco. Boa sorte.

Daniel Martins

[ricardo olsen]

Caro Daniel,

Excelente explicação, concordo 100%, também acho um pouco forçado
chamar os arquivos XDR de base, mas enfim, está é a nomenclatura
utilizada pelo CEPEL nos próprios manuais do SAGE, o que acho que
motivou a dúvida do Julierme.
Aqui na CEEE-GT também disponibilizamos as telas do SAGE na Intranet,
convertendo as telas do SAGE para o formato SVG, animadas por
Javascript, estas podem ser abertas no browser sem necessidade de
plugin. Para esta aplicação, optei por não utilizar a API do SAGE
apenas para interferir o menos possível no ambiente de tempo real,
utilizei então a base histórica. Mas para um aplicativo tipo o CAT
acho que é o ideal utilizar a API mesmo.

Um grande abraço,

Ricaro Olsen

Em 29 de agosto de 2012 07:32, Daniel Martins
<odaniel...@gmail.com> escreveu:

[Julierme Silva]

Daniel, sua resposta foi muito bem colocada. Agradeço a ajuda.

Você ressaltou que: "O que você está chamando de base fria ou quente, arquivos com extensão .xdr, são apenas arquivos binários contendo, acredito, apenas uma imagem da estrutura final de armazenamento dos dados do SAGE que vão residir em memória distribuida entre os nós da rede local SAGE. "

Então a "base" quente e fria seriam arquivos de uso interno do SAGE para manter as atividades de sistema distribuído?

Em 29 de agosto de 2012 07:32, Daniel Martins <odaniel...@gmail.com> escreveu:

--
Atenciosamente,
Julierme Silva de Araújo.

MSc. Ciências da Computação 
UFPE - Universidade Federal de Pernambuco
Recife - PE, Brasil (2012 - 2014)

[Julierme Silva]

Ricardo agradeço sua ajuda também. Está ajudando bastante.

[Daniel Martins]

Prezado amigo.

Com relação a sua colocação " Então a "base" quente e fria seriam arquivos de uso interno do SAGE para manter as atividades de sistema distribuído? " eu preferiria dizer que os arquivos .xdr são arquivos intermediários entre a base fonte (arquivos .dat) e a estrutura de informação em memória. Até onde sei o CEPEL não disponibiliza informações sobre a estrutura interna destes arquivos
.

Daniel Martins

[Julierme Silva]

Daniel agradeço o esclarecimento.
Entendi o que é base quente e fria.

Minha dúvida agora é, qual a diferença entre base fria e base quente?

E qual a relação entre essas duas bases e a base de Referência?

O Ricardo explicou anteriormente mas não entendi muito bem.

De acordo com ele a base de Referência são as bases quente e fria. 

Mas lendo um documento do CEPEL referente a base do SAGE deu a entender que são três coisas distintas, ou seja, Base de Referência, Base Fria e Base Quente.

Agradeço a atenção,

[Julierme Araújo]

Bom dia pessoal.

Conclusões finais sobre Base de Referência, Base Fria e Base Quente do SAGE.

Eu estou enxergando Base Fria, Base Quente e Base de Referência como sendo três arquivos .xdr com finalidades diferentes para o sistema SAGE.

- A Base de Referência: é um arquivo .xdr residente em disco que auxiliará no processo de distribuição da informação pela rede. Interage com a Base Tempo-Real.

- A Base Fria: são os arquivos .xdr gerados pelo usuário sem a preservação de dados de tempo-real;

- A Base Quente: são os arquivos .xdr gerados pelo usuário com a preservação de dados de tempo real (limites, anotações, substituições de valor, etc.);

De acordo com o documento técnico de autoria da Cepel, o SAGE_ManCfg_SCADA.pdf (anexado nessa postagem) é possível observar na página 154 que o usuário tem o possibilidade de Gerar um Base Quente ou Gerar uma Base Fria por meio de uma interface gráfica.

O que eu não entendo é o porque da necessidade do usuário gerar uma Base Quente ou Fria visto que esses são apenas arquivos binários provavelmente entendidos só pelo sistema SAGE. 

1 - Qual a finalidade de se gerar a Base Quente ou gerar a Base Fria?

Quem já realizou esse procedimento poderia explicar? 

2 - Não sei se essa minha afirmação está correta, mas eu estou entendo que as Bases Quente e Fria são criadas a partir da Base de Referência. É correto afirmar isso?

[Fernando]

Bom dia Julierme,

Resumindo muito e sem entrar em outras questoes, funciona assim:

1. Arquivos dat, dentro da pasta $BD/dados
2. Atualizabd. ...
    etapa 1: dats sao importados para o postgres, verifica consistencia da base, basicamente as referencias entre as tabelas
     etapa 2: verifica os relacionamentos das tabelas com a estrutura do sage, gera os arquivos lst (nao tenho certeza desta sigla mas eh parecido), escreve em disco na linguagem interna do sage
     etapa 3: gera os arquivos xdr, tambem linguagem interna do sage

Nesta etapa 3, que esta a diff entre quente ou fria. Quente, preserva os dados de tempo real, por exemplo, os valores das medidas imediatamente antes de desativar o gcd.

Fria, apaga tudo do tempo real e cria os xdr com os valores iniciais definidos nos dats.

Quando voce ativa gcd, de qq forma  o protocolo vaifazer a integridade e atualizar os valores de todos os pontos. Porem, caso seja utilizado pela operacao, funcoes como anotacoes, ou alteracao de limites de analogicos, ou outras alteracoes de tempo real, estas alteracoes sao perdidas na atualizacao de base fria.

Apenas esta a diferenca, no que eu entendo.

Att,

Fernando P. Santos

[Julierme Silva]

Muito bem Fernando entendi sua explicação.

Você respondeu a primeira pergunta: 1 - Qual a finalidade de se gerar a Base Quente ou gerar a Base Fria?

Resposta: A geração da Base Quente ou Fria faz parte do processo de Atualização da Base de Dados do SAGE.
Foi possível também observar em sua resposta mais uma vez a diferença entre a Base Quente e Fria. Agradeço por reforçar esse ponto.

Para finalizar sua linha de raciocínio, quando você fala: - etapa 3: gera os arquivos xdr, tambem linguagem interna do sage. 

Estais falando que é gerado ou a Base Fria ou a Base Quente, dependendo da escolha do usuário. Ok, entendo esse ponto.

Então, por exemplo, digamos que a escolha foi por atualizar a Base de Dados preservando os dados de tempo real. Gerou-se então uma Base Quente no formato .xdr.

1 - Essa Base Quente agora passará a ser a nova e atualizada Base de Referência do SAGE?

[Luís Cássio Modernel Sarate]

Prezado Julierme,

Acho que a base quente é que reflete a nova base de referência.

Acredito que a base de referência, como diz o próprio nome, é a estrutura da base de dados atualmente sendo utilizada, e não deve conter dados do sistema elétrico. Já a base fria, contempla estes dados, obtidos a partir da base fonte (os arquivos "dat"). E finalmente, a base quente copia a base fria e substitui os dadospelos que são preservados em disco, além de conter as anotações, valores ou limites impostos manualmente, cálculos dinâmicos feitos pelos operadores que sejam preservados, etc.

Assim, base fonte (.dat) -> base referência -> base fria (com os dados do sistema elétrico que estão na base fonte) -> base quente (base fria + preservação).

Atenciosamente,

Luís Cássio Modernel Sarate

lcassio (at) gmail (pt) com

[Julierme Silva]

Estou percebendo muitos pontos de vista sobre a questão entre BASE DE REFERÊNCIA, BASE FRIA, BASE QUENTE e suas influência na atualização da base de Dados do SAGE.

É exatamente esse fluxo relacional existente entre as BASES que estou procurando entender. A definição de cada uma já se tornou clara graças a ajuda de todos vocês.

Mas o relacionamento entre ambas ainda é um problema.

Já está bem claro que:

1 -  A Base FRIA: são os arquivos .xdr gerados pelo usuário sem a preservação de dados de tempo-real. Ela apaga tudo do tempo real e cria o .xdr com os valores iniciais definidos nos .dats.

2 - A Base QUENTE:  são os arquivos .xdr gerados pelo usuário com a preservação de dados de tempo real (limites, anotações, substituições de valor, etc.);

3 - A Base de REFERÊNCIA é: 

             - Uma arquivo que reside em disco no formato .xdr;

             - É utilizado em ambiente off-line;

             - Sem interface de acesso;

             - Criada a partir da Base FONTE;

             - É uma base preenchida com uma lógica específica do sistema SAGE.

             - Ela está sujeita a atualizações. A informações são convenientemente alteradas durante a execução do 

               sistema a partir dos dados provenientes do campo e das ações dos operadores.

             - Possui uma cópia na rede para poder distribuir pelos nós da mesma qualquer alteração realizada na  

               estrutura da base do SAGE;

              

Estou anexando um figura (time-line BD SAGE.jpg) que ilustra como estou entendo o relacionamento entre a Bases. Estejam a vontade para corrigir tal figura. Acho que a partir dela as dúvidas finais serão sanadas.

Lembrando que estou usando o termo "Base" para os arquivos .xdr com o intuito de continuar seguindo a convenção definida pela Cepel.

A figura ilustra um plano cartesiano, e (estado da BD) X t (tempo).

- No ponto (e2,t2) temos uma atualização da Base de Dados onde é necessário preservar os dados de tempo real (limites, anotações, substituições de valor, etc.); 

- No ponto (e2,t3) temos o efeito dessa atualização refletindo na geração de uma nova versão Base de REFERÊNCIA.

- No ponto (e3,t4) foi necessário por algum motivo atualizar a Base de Dados com os valores iniciais definidos nos .dats.  

- No ponto (e3,t5) temos o efeito dessa atualização refletindo na geração de uma nova versão Base de REFERÊNCIA.

[Julierme Silva]

Boa tarde a todos.
O que vocês acharam da imagem anexada na postagem anterior?
O raciocínio está correto?

Abraço.

[Marcos Coutinho]

Prezados Julierme,

o $BD é o diretório onde fica a base (*.xdr) que o sistema, caso o processo dumpbd esteja rodando, grava a base tempo real que está em memória. Ou seja o $BD é o diretório da base quente.
$BD/fria é onde fica a base gerada sem preservação, ou seja, sem olhar o q tinha no $BD.
Base referência é a base xdr.
Base fonte é .dat.

Att,
Marcos.

[Julierme Silva]

Marcos agradeço pelo tempo disponibilizado.

Faz sentido o que você está dizendo.

Então Base de Referência é o conjunto de arquivos .xdr, A mesma é composta por aquivos.xdr que preservam os dados de tempo real, denominada Base Quente e também é composta por aquivos .xdr que preservam a estrutura da Base de Dados sem levar em consideração os dados de tempo real, denominado Base Fria.
A figura que segue em anexo ilustra a minha visão tendo como base a sua explicação. Concordas com ela?
Abraço.

[Marcos Coutinho]

OK Julierme,

isso mesmo.

Abraço,
Marcos.