Em estatística matemática, a divergência de Kullback-Leibler (também chamada de entropia relativa) é uma medida de, como uma distribuição de probabilidades diverge de uma segunda distribuição de probabilidades esperada distribuição. ^[1][2] As aplicações incluem a caracterização da entropia ('teoria da informação') em sistemas de informação, a aleatoriedade, em séries temporais, ganho de informação ao comparar com modelos estatísticos de inferência. Em contraste com a variação de informação, é uma medida 'assimétria' da distribuição e, portanto, não se qualifica como uma métrica estatística. No caso mais simples, se a divergência de Kullback-Leibler for igual a 0, esta indica que podemos esperar um comportamento semelhante, se não o mesmo, entre duas distribuições diferentes, enquanto uma divergência de Kullback-Leibler de 1 indica que as duas distribuições se comportam de maneira diferente. Em termos simplificados, é uma medida com diversas aplicações nas áreas de estatística aplicada, mecânica dos fluidos, neurociência e aprendizado de máquina.

A divergência de Kullback-Leibler foi introduzida por Solomon Kullback e Richard Leibler em 1951 como a divergência, distância entre duas distribuições; Kullback preferiu o termo 'informação de discriminação' . ^[3]

Interpretações[editar | editar código-fonte]

A divergência de Kullback-Leibler de Q para P é frequentemente denotada com D_KL(P‖Q ).

No contexto do aprendizado de máquina, D_KL( P‖Q ) é frequentemente chamado de ganho de informação alcançado se Q for usado ao invés de P. Por analogia com a teoria da informação, também é chamada de entropia relativa de Pem relação a Q. No contexto da teoria de codificação, D _KL(P‖Q) pode ser interpretado como medida do número esperado de bits extras bits necessários para código amostras de P usando um código optimizado para Q ao invés do código optimizado para P.

Na visão de [Inferência Bayesiana]], D_KL (P‖Q) é uma medida da informação obtida quando alguém revê suas crenças da distribuição de probabilidade inicial Q para distribuição de probabilidade final P. Em outras palavras, é a quantidade de informação perdida quando Q é usado para aproximar P. ^[4] Em aplicações, P tipicamente representa a distribuição "verdadeira" de dados, observações, ou uma distribuição teórica precisamente calculada, enquanto Q tipicamente representa uma teoria, modelo , descrição ou aproximação de P. Para encontrar uma distribuição Q mais próxima de P, podemos minimizar a divergência de KL e computar uma projeção de informação.

A divergência de Kullback-Leibler é um caso especial de uma classe mais ampla de divergências chamada divergênciasf assim como a classe de divergência de Bregman. É a única divergência sobre probabilidades que é um membro de ambas as classes. Muitas vezes é intuído pensar como uma forma de medir a distância entre distribuições de probabilidade, a divergência de Kullback-Leibler não é uma verdadeiramente métrica. Ela não obedece à desigualdade triangular e, em geral, D_KL( P‖Q ) não é igual a D_KL( P‖Q ). No entanto, sua forma infinitesimal, especificamente sua Hessiana, fornece um tensor métrico conhecido como informação de Fisher.

Definição[editar | editar código-fonte]

Para uma distribuição discreta de probabilidade P e Q, a divergência de Kullback-Leibler de Q para P 'é definida.^[5] como,

${\displaystyle D_{\mathrm {KL} }(P\|Q)=-\sum _{i}P(i)\,\log {\frac {Q(i)}{P(i)}},}$

x

Δe, ΔM, Δf, ΔE, Δt, Δi, ΔT, ΔC, ΔE,ΔA, ΔD, ΔM......  =
x

sistema de dez dimensões de Graceli.

x

sistema de transições de estados, e estados  de Graceli, 

x

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         D

o que é equivalente a

${\displaystyle D_{\mathrm {KL} }(P\|Q)=\sum _{i}P(i)\,\log {\frac {P(i)}{Q(i)}}.}$

x

Δe, ΔM, Δf, ΔE, Δt, Δi, ΔT, ΔC, ΔE,ΔA, ΔD, ΔM......  =
x

sistema de dez dimensões de Graceli.

x

sistema de transições de estados, e estados  de Graceli, 

x

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         D

Em outras palavras, é a expectativa da diferença logarítmica entre as probabilidades P e Q, onde a expectativa é obtida usando as probabilidades P. A divergência de Kullback-Leibler é definida apenas se para todo i, Q(i) =0 implica P(i)=0 (continuidade absoluta). Sempre que P(i) é zero, a contribuição do i-ésimo termo é interpretado como zero pois ${\displaystyle \lim _{x\to 0}x\log(x)=0}$.

Para as distribuições P e Q de uma variável aleatória contínua, a divergência de Kullback-Leibler é definida como sendo a integral:^[6]

${\displaystyle D_{\mathrm {KL} }(P\|Q)=\int _{-\infty }^{\infty }p(x)\,\log {\frac {p(x)}{q(x)}}\,dx,}$

x

Δe, ΔM, Δf, ΔE, Δt, Δi, ΔT, ΔC, ΔE,ΔA, ΔD, ΔM......  =
x

sistema de dez dimensões de Graceli.

x

sistema de transições de estados, e estados  de Graceli, 

x

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         D

onde p e q denotam as densidades de P e Q.

De mode geral, se P e Q são probabilidade medida sobre um conjunto X, e P é absolutamente contínua em relação a Q, então o Kullback-Leibler divergência de Q para P é definida como

${\displaystyle D_{\mathrm {KL} }(P\|Q)=\int _{X}\log {\frac {dP}{dQ}}\,dP,}$

x

Δe, ΔM, Δf, ΔE, Δt, Δi, ΔT, ΔC, ΔE,ΔA, ΔD, ΔM......  =
x

sistema de dez dimensões de Graceli.

x

sistema de transições de estados, e estados  de Graceli, 

x

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         D

Onde ${\displaystyle {\frac {dP}{dQ}}}$ é a derivada de Radon-Nikodym de P em relação a Q, garantindo dado que a expressão do lado direito exista. Equivalente, isso pode ser escrito como

${\displaystyle D_{\mathrm {KL} }(P\|Q)=\int _{X}\log \!\left({\frac {dP}{dQ}}\right){\frac {dP}{dQ}}\,dQ,}$

x

Δe, ΔM, Δf, ΔE, Δt, Δi, ΔT, ΔC, ΔE,ΔA, ΔD, ΔM......  =
x

sistema de dez dimensões de Graceli.

x

sistema de transições de estados, e estados  de Graceli, 

x

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         D

que é a entropia de P em relação a Q. Continuando neste caso, se ${\displaystyle \mu }$ é uma medida em X para o qual ${\displaystyle p={\frac {dP}{d\mu }}}$ e ${\displaystyle q={\frac {dQ}{d\mu }}}$ existita (o que significa que p e q são absolutamente contínuas em relação a ${\displaystyle \mu }$), então a divergência Kullback–Leibler de Q a P é dada como

${\displaystyle D_{\mathrm {KL} }(P\|Q)=\int _{X}p\,\log {\frac {p}{q}}\,d\mu .\!}$

x

Δe, ΔM, Δf, ΔE, Δt, Δi, ΔT, ΔC, ΔE,ΔA, ΔD, ΔM......  =
x

sistema de dez dimensões de Graceli.

x

sistema de transições de estados, e estados  de Graceli, 

x

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         D

Os logaritmos destas fórmulas são tomados na base 2 se a informação é medida em unidades de bits ou na base e se a informação é medida em nat s. A maioria das fórmulas envolvendo a divergência de Kullback-Leibler são verdadeiras independente da base do logaritmo.

Existem várias convenções para se referir a D_KL(P‖Q) em palavras. Muitas vezes é referida como a divergência entre P e Q; no entanto, isso não consegue transmitir a assimetria fundamental na relação. Às vezes, como neste artigo, pode ser encontrada descrita como a divergência de P a partir de, ou em relação a Q. Isso reflete a assimetria na inferência bayesiana, que inicia de um Q anterior e atualiza para o P posterior.

observação: é usado textos da wikipédia para mostrar as modificações com as variáveis do sistema decadimensional e categorial Graceli.

teoria da relatividade categorial Graceli

ENERGIA, MASSA, FENÔMENOS, ESPAÇO, TEMPO, INTERAÇÕES, TRANSFORMAÇÕES, CONDUTIVIDADE, EMISSÕES, ABSORÇÕES, DIFRAÇÃO, MOMENTUM.

Δe, ΔM, Δf, ΔE, Δt, Δi, ΔT, ΔC, ΔE,ΔA, ΔD, ΔM......  =
x

sistema de dez dimensões de Graceli.

x

sistema de transições de estados, e estados  de Graceli, 

x

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         D

NO SISTEMA CATEGORIAL DE GRACELI TODO TIPO DE MOVIMENTO TEM AÇÃO TRANSFORMADORA  [como os outros elementos, como temperatura, radioatividade, luz, e outros],SOBRE ESTRUTURAS E ENERGIAS, TEMPO E ESPAÇO, INÉRCIA E GRAVIDADE, LUZ .

Estados de Graceli de matéria, energias, momentuns, inércias, e entropias.


Estados térmico.
Estado quântico.
De dilatação.
De entropia.
De potencia de entropia e relação com dilatação.
De magnetismo [correntes, momentum e condutividades]..
De eletricidade [correntes, momentum e condutividades].
De condutividade.
De mometum e fluxos variados.
De potencial inercial da matéria e energia.
De transformação.
De comportamento de cargas e interações com elétrons.
De emaranhamentos e transemaranhamentos.
De paridades e transparidades.
De radiação.
Radioatividade.
De radioisótopos.
De relação entre radioatividade, radiação, eletromagnetismo e termoentropia.
De capacidade e potencialidade de resistir a pressão, a capacidade de resistir a pressão e transformar em entropia e momentum.

De resistir à temperaturas.
E transformar em dilatação, interações entre partículas, energias e campos.
Estado dos padrões de variações e efeitos variacionais.
Estado de incerteza dos fenômenos e entre as suas interações.


E outros estados de matéria, energia, momentum, tipos de inércia [como de inércia potencial de energias magnética, elétrica, forte e fraca, dinâmica, geométrica [côncava, convexa e plana] em sistema.


E que todos estes tipos de estados tendem a ter ações de uns sobre os outros, formando um aglomerado de fenômenos de efeitos na produção de novas causas. E de efeitos variacionais de uns sobre os outros, ou seja, um sistema integrado.



Sobre padrões de entropia.

Mesmo havendo uma desordem, esta desordem segue alguns parâmetros futuros e que dependem de condições dos estados de Graceli, ou seja, a desordem segue alguns padrões e ordens conforme avança e passa por fases e agentes fenomênicos, estruturais e geométricos.


Porem, a reversibilidade se torna impossível, aumenta a instabilidade e as incertezas de posição, intensidade, variações, efeitos e outros fenômenos conforme as próprias intensidades de dilatações, e agentes e estados envolvidos.


Levando em consideração que mesmo havendo ordem não é possível a reversibilidade do estado e condições em que se encontravam a energia, matéria, momentum, inércias, dimensões, e outros agentes.


A temperatura pode voltar ao seu lugar e ao seu ponto inicial, mas não as estruturas das partículas, as intensidades infinitésimas de padrões de energias, e nem o grau de oscilações que a energias, as interações, as transformações que passam estas partículas e suas energias, estruturas e interações, e as interações e intensidades de grau de variação de cada agente.


Porem, a desordem é temporal, ou seja, com o passar do tempo outras ordens e padrões se afirmarão.


Sendo que também a entropia varia conforme intensidade de instabilidade por tempo. E tempo por intensidade de instabilidade.


Assim, segue efeitos variacionais e de incertezas por instabilidade de energia adicionada, e de tempo.


Ou seja, uma grande instabilidade e desordem em pouco tempo vai levar a uma grande e instável por mais tempo uma entropia.


Do que um grande tempo com pequena intensidade de instabilidade e energia adicionada num sistema ou numa variação térmica.


Ou mesmo numa variação eletromagnética, ou mesmo na condutividade.


Princípio tempo instabilidade de Graceli.

Assim, a desordem acaba por encontrar uma ordem se não acontecer nenhuma instabilidade novamente. Pois, as partículas e energias tendem a se reorganizar novamente conforme o passar do tempo,  e esta reorganização segue um efeito progressivo em relação à desordem e tempo. Como os vistos acima.


Ou seja, aquela organização anterior não vai mais acontecer, pois, segue o princípio da irreversibilidade, mas outras organizações se formarão conforme avança o tempo de estabilidade.

as dimensões categorias podem ser divididas em cinco formas diversificadas.

tipos, níveis, potenciais, tempo de ação, especificidades de transições de energias, de fenômenos, de estados de energias, físicos [estruturais], de fenômenos, estados quântico, e outros.

paradox of the system of ten dimensions and categories of Graceli.



a four-dimensional system can not define all the energies, changes of structures, states and phenomena within a structure, that is why there are ten or more dimensions, I have developed and I work with ten, but nature certainly goes beyond ten, with this we move to a decadimensional and categorial universe.



that is, categories ground the variables of phenomena and their interactions and transformations.



and with this we do not have a relationship with mass, but with structure, therefore, a structure carries with it much more than mass, since also mass is related to forces, inertia, resistances and energies.



but structures are related to transitions of physical states, quantum, energies, phenomena, and others.



as well as transitions of energies, phenomena, categories and dimensions.

paradoxo do sistema de dez dimensões e categorias de Graceli.

um sistema de quatro dimensões não tem como definir todas as energias, mudanças de estruturas, estados e fenômenos dentro de uma estrutura, por isto se tem dez ou mais dimensões, desenvolvi e trabalho com dez, mas a natureza com certeza vai alem das dez, com isto caminhamos para um universo decadimensional e categorial.

ou seja, as categorias fundamentam as variáveis dos fenõmenos e suas interações e transformações.

e com isto não se tem uma relação com massa, mas com estrutura, pois, uma estrutura carrega consigo muito mais do que massa, uma vez também que massa está relacionado com forças, inércia, resistências e energias.

mas estruturas está relacionado com transições de estados físicos, quântico, de energias, de fenômenos, e outros.

como também transições de energias, fenômenos, categorias e dimensões.

 = entropia reversível

postulado categorial e decadimensional Graceli.

TUDO QUE ESTÁ RELACIONADO COM ENERGIA, ESTRUTURAS, FENÔMENOS E DIMENSÕES ESTÁ INSERIDO NO SISTEMA DECADIMENSIONAL E CATEGORIAL GRACELI.


todo sistema decadimensional e categorial é um sistema transcendente e indeterminado.

matriz categorial Graceli.

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         D

1] Cosmic space.
2] Cosmic and quantum time.
3] Structures.
4] Energy.
5] Phenomena.
6] Potential.
7] Phase transitions of physical [amorphous and crystalline] states and states of energies and phenomena of Graceli.
8] Types and levels of magnetism [in paramagnetic, diamagnetic, ferromagnetic] and electricity, radioactivity [fissions and fusions], and light [laser, maser, incandescence, fluorescence, phosphorescence, and others.
9] thermal specificity, other energies, and structure phenomena, and phase transitions.
10] action time specificity in physical and quantum processes.

Sistema decadimensional Graceli.

1]Espaço cósmico.

2]Tempo cósmico  e quântico.

3]Estruturas.[isótopos, estrutura eletrônica, elementos químicos, amorfos e cristalinos, e, outros.

4]Energias.

5]Fenômenos.

6]Potenciais., e potenciais de campos, de energias, de transições de estruturas e estados físicos, quãntico,  e estados de fenômenos e estados de transições, transformações e decaimentos.

7]Transições de fases de estados físicos [amorfos e cristalinos] e estados de energias e fenômenos de Graceli.

8]Tipos e níveis de magnetismo [em paramagnéticos, diamagnético, ferromagnéticos] e eletricidade, radioatividade [fissões e fusões], e luz [laser, maser, incandescências, fluorescências, fosforescências, e outros.

9] especificidade térmica, de outras energias, e fenômenos das estruturas, e transições de fases.

10] especificidade de tempo de ações em processos físicos e quântico.

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         D

Matriz categorial de Graceli.

T l    T l     E l       Fl         dfG l   

N l    El                 tf l

P l    Ml                 tfefel 

Ta l   Rl

         Ll

         Dl

Tipos, níveis, potenciais, tempo de ação, temperatura, eletricidade, magnetismo, radioatividade, luminescências, dinâmicas, estruturas, fenômenos, transições de fenômenos e estados físicos, e estados de energias, dimensões fenomênicas de Graceli.

[estruturas: isótopos, partículas, amorfos e cristalinos, paramagnéticos, dia, ferromagnéticos, e estados [físicos, quântico, de energias, de fenômenos, de transições, de interações, transformações e decaimentos, emissões e absorções, eletrostático, condutividade e fluidez]].

trans-intermecânica de supercondutividade no sistema categorial de Graceli.

EPG = d [hc] [T / IEEpei [pit] = [pTEMRLD] and [fao] [itd] [iicee] tetdvd [pe] cee [caG].]

p it = potentials of interactions and transformations.
Temperature divided by isotopes and physical states and potential states of energies and isotopes = emissions, random wave fluxes, ion interactions, charges and energies structures, tunnels and entanglements, transformations and decays, vibrations and dilations, electrostatic potential, conductivities, entropies and enthalpies. categories and agents of Graceli.

h e = quantum index and speed of light.

[pTEMRlD] = THERMAL, ELECTRICAL, MAGNETIC, RADIOACTIVE, Luminescence, DYNAMIC POTENTIAL] ..


EPG = GRACELI POTENTIAL STATUS.

[pTFE] = POTENCIAL DE TRANSIÇÕES DE FASES DE ESTADOS FÍSICOS E DE ENERGIAS E FANÔMENOS [TRANSIÇÕES DE GRACELI]

, [pTEMRLD] [hc] [pI] [PF] [pIT][pTFE] [CG].