como extrair as preposições e complementadores?

[leoalenc]

@lucasrct, parabéns pelo programa extrator de valências. Com as modificações necessárias, será de extrema valia para a construção do léxico da PorGram e de outras gramáticas, inclusive de outras línguas. Infelizmente, receio que eu não vou poder fazer muita coisa com o extrator no estado atual para povoar o léxico da PorGram. De fato, como expliquei nos meus comentários em LR-POR/PorGram#19 (comment), saber que um verbo ocorre com a moldura '<nsubj,VERB,obj>' não é suficiente para atribuí-lo a um dos tipos da gramática, uma vez que eu preciso saber se o objeto é direto ou se é introduzido por meio de uma preposição e qual exatamente é essa preposição. Do mesmo modo, preciso, para xcomp e ccomp, das propriedades listadas nos meus comentários da mencionada issue.
@arademaker, alguma ideia de como fazer isso no estágio atual do programa? @lucasrct, você teria como integrar essas informações?

https://github.com/LR-POR/ud-matrix/blob/master/examples.conllu#L186-L199

Eu preciso da seguinte moldura para codificar esse verbo na gramática:

<nsubj,VERB:act,obj:de>

Observe que incluí act para caracterizar o verbo como forma na voz ativa, ou podemos convencionar que apenas VERB é voz ativa e VERB:pass é voz passiva. Como @arademaker e eu temos comentado em diversos lugares, são vários os indicativos de voz passiva, mas bastaria nsubj:pass ou Voice=Pass ou VerbForm=Part E aux:pass para atribuir a voz passiva.

[lucasrct]

Entendi o ponto @leoalenc! Eu acredito que tenhamos uma funcionalidade parecida atualmente na ferramenta, mas isso ocorre a nível do verbo. Você pode dar um .print() em um objeto do tipo verbo para ver todas as ocorrências dele no bosque, com as informações que discutimos no issue 19. O seu ponto seria então de enriquecer esse objeto <nsubj,VERB,obj> com os valores específicos, como por exemplo adicionando a informação do 'de' no objeto. Isso é possível, mas aumentaria bastante o conjunto de classes no final! Eu escrevi o script para considerar os casos nsubj:pass e aux:pass como um caso diferente também, então pode existir a seguinte construção <nsubj:pass, VERB>, por exemplo.

[lucasrct]

No exemplo do README

situar+Mood:Sub+Number:Sing+Person:3+Tense:Pres+VerbForm:Fin nsubj PRON+se+Acc+Fem+Sing+3+Prs
situar+VerbForm:Inf PRON+se+Acc+Fem+Sing+3+Prs
situar+VerbForm:Ger PRON+se+Acc+Fem+Sing+3+Prs
situar+Mood:Ind+Number:Sing+Person:3+Tense:Pres+VerbForm:Fin nsubj PRON+se+Acc+Fem+Sing+3+Prs
situar+Mood:Ind+Number:Sing+Person:3+Tense:Pres+VerbForm:Fin obj nsubj 
situar+VerbForm:Inf PRON+se+Acc+Masc+Sing+3+Prs
situar+VerbForm:Inf PRON+se+Acc+Masc+Plur+3+Prs
situar+VerbForm:Ger obj 
situar+VerbForm:Inf nsubj PRON+se+Acc+Fem+Sing+3+Prs

É possível gerar essa lista para cada verbo. Essa lista contem, em particular, as informações que você considerou nesse issue.

[leoalenc]

No exemplo do README

situar+Mood:Sub+Number:Sing+Person:3+Tense:Pres+VerbForm:Fin nsubj PRON+se+Acc+Fem+Sing+3+Prs
situar+VerbForm:Inf PRON+se+Acc+Fem+Sing+3+Prs
situar+VerbForm:Ger PRON+se+Acc+Fem+Sing+3+Prs
situar+Mood:Ind+Number:Sing+Person:3+Tense:Pres+VerbForm:Fin nsubj PRON+se+Acc+Fem+Sing+3+Prs
situar+Mood:Ind+Number:Sing+Person:3+Tense:Pres+VerbForm:Fin obj nsubj 
situar+VerbForm:Inf PRON+se+Acc+Masc+Sing+3+Prs
situar+VerbForm:Inf PRON+se+Acc+Masc+Plur+3+Prs
situar+VerbForm:Ger obj 
situar+VerbForm:Inf nsubj PRON+se+Acc+Fem+Sing+3+Prs

É possível gerar essa lista para cada verbo. Essa lista contem, em particular, as informações que você considerou nesse issue.

@lucasrct , obrigado. Mas como temos em vista o artigo, conceitualmente não é adequado como está, pois obj não é igual a obj. O mesmo vale para cccomp e xcomp. O objetivo do algoritmo é exatamente facilitar a extração das valências e isso, no momento, não ocorre. Temo como agregar em obj, cccomp e xcomp as informações que eu listei?

[arademaker]

Eu tenho a impressão de que @leoalenc precisa mesmo de outra agregação, pelas chaves que ele descreveu. Afinal serão estas classes que ele irá tentar manualmente mapear para os tipos definidos na gramática.

Sobre a passiva, não acho que queremos classes distintas como <nsubj:pass, VERB> e <nsubj, VERB:Pass>. Queremos que quando o verbo for identificado como na voz passiva, sempre receba <...VERB:Pass...>.

Sugiro fixarmos a identificação via o AUX ligado por aux:pass:

1. http://match.grew.fr/?corpus=UD_Portuguese-Bosque@dev&custom=617035bb7c1be me retorna >1000 resultados
2. http://match.grew.fr/?corpus=UD_Portuguese-Bosque@dev&custom=617035fdd7b89 me retorna 982 resultados
3. http://match.grew.fr/?corpus=UD_Portuguese-Bosque@dev&custom=617036691e4c0 me retorna >1000 resultados

Ou seja, mesmo que tenhamos erros, temos provavelmente casos de voz passiva sem sujeito. Tanto [1] quanto [2] podem ser usados. Se quiser pode mesmo usar ambos os critérios e saberemos que eventualmente alguns casos serão perdidos, mas ok. Isso é outro issue.

[lucasrct]

Entendi o ponto, mas ainda não está claro exatamente o melhor formato. @leoalenc ou @arademaker, poderiam dar mais um exemplo de uma frase / verbo e o output desejado?

Sobre o caso da voz passiva, os critérios então seriam a existência de nsubj:pass ou ( aux:pass E VerbForm = Part), ou Voice = Pass, é isso?

[arademaker]

Em https://github.com/LR-POR/ud-matrix/blob/master/examples.conllu#L7-L15

Devemos extrair:

<nsubj,perguntar,ccomp>
<obj:que,nsubj,perseguir>

não, o critério é: se tem filho aux:pass e Voice=Pass é passiva!

[lucasrct]

Em https://github.com/LR-POR/ud-matrix/blob/master/examples.conllu#L7-L15

Devemos extrair:

<nsubj,perguntar,ccomp>
<obj:que,nsubj,perseguir>

Obrigado, está mais claro agora, vou trabalhar na mudança, não me parece algo muito complicado de alterar no código. A ideia então é trocar também o VERB pelo verbo específico? Ou criaremos clusteres de todos os verbos que satisfazem obj:que,nsubj,VERB, por exemplo

[arademaker]

@leoalenc vc pode ajudar a completar outros casos e/ou corrigir a entrada que espera. Veja https://github.com/LR-POR/ud-matrix/blob/master/examples.conllu#L4

acho que assim vai ficar super concreto para o @lucasrct

[leoalenc]

Entendi o ponto, mas ainda não está claro exatamente o melhor formato. @leoalenc ou @arademaker, poderiam dar mais um exemplo de uma frase / verbo e o output desejado?

Sobre o caso da voz passiva, os critérios então seriam a existência de nsubj:pass ou ( aux:pass E VerbForm = Part), ou Voice = Pass, é isso?

Precisamos incluir mais informações nas chaves:

So, for instance, the key '<nsubj,VERB,obj>' means every VERB that has only nsubj and obj as sons and the order in the sentence is nsubj -- verb -- obj.

Typing

val['<nsubj,VERB,obj>'][:20]
The output is [situar, continuar, manter ...]

https://github.com/LR-POR/tools/blob/main/etc/valence_script/README.md

@lucasrct , veja agora, novamente, este exemplo de comentário anterior:

http://match.grew.fr/data/616adee240cc5/42.svg

Foi retirado desta query elaborada pelo @wellington36:

http://match.grew.fr/?corpus=UD_Portuguese-Bosque@dev&custom=6168622521909

Para obter o verbo pedir na moldura do exemplo, a chave do dicionário acima deve ser: '<nsubj,VERB:act, iobj:a, ccomp:que+Sub, xcomp:Inf>'. Agreguei o lema da preposição ao iobj e as informações de complementador (SCONJ ligada via mark) e modo verbal do ccomp e forma verbal do xcomp.
Buscando pelo chave '<nsubj,VERB:act, iobj:a, ccomp:que+Sub, xcomp:Inf>', vou obter todos os verbos com essa valência.
É claro que a anotação do exemplo no corpus está errada, mas isso não vem ao caso no presente contexto, que é correção do algoritmo de extração. Mas note-se que é exatamente o fato de que essa moldura foi extraída que vai alertar para erros no corpus. @arademaker, veja que, como essa moldura parece espúria em si mesma, pois um mesmo verbo não pode reger ccomp e xcomp ao mesmo tempo, vou poder extrair todos os verbos anotados de forma igualmente errada.
O verbo empenhar do referido exemplo deve estar na lista que é obtida como valor de '<expl,VERB:act,obj:em>'.
O verbo transformar do referido exemplo deve estar na lista que é obtida como valor de '<VERB:act,obj:em>'.
O verbo surgir do referido exemplo deve estar na lista que é obtida como valor de '<nsubj,VERB:act>'.
Talvez fosse interessante modelar a chave como set, pois a ordem dos elementos não é relevante para a valência (mas talvez haja elementos repetidos?) ou ordenar os elementos de modo a consolidar molduras como

'<nsubj,VERB:act, iobj:a, ccomp:que+Sub>'

'< iobj:a, nsubj,VERB:act,ccomp:que+Sub>'

'<VERB:act, nsubj, iobj:a, ccomp:que+Sub>'

numa única moldura

'<nsubj,VERB:act, iobj:a, ccomp:que+Sub>'

Pode-se convencionar colocar nsubj e VERB no início, os demais em ordem alfabética.

[leoalenc]

@leoalenc vc pode ajudar a completar outros casos e/ou corrigir a entrada que espera. Veja https://github.com/LR-POR/ud-matrix/blob/master/examples.conllu#L4

acho que assim vai ficar super concreto para o @lucasrct

@arademaker , eu acho que fui bastante explícito no meu último comentário sobre as informações que precisam ser agregadas. Prefiro não incluir essas informações lá no outro repositório para não gerar confusão.

[leoalenc]

Em https://github.com/LR-POR/ud-matrix/blob/master/examples.conllu#L7-L15
Devemos extrair:

<nsubj,perguntar,ccomp>
<obj:que,nsubj,perseguir>

Obrigado, está mais claro agora, vou trabalhar na mudança, não me parece algo muito complicado de alterar no código. A ideia então é trocar também o VERB pelo verbo específico? Ou criaremos clusteres de todos os verbos que satisfazem obj:que,nsubj,VERB, por exemplo

@lucasrct e @arademaker , como estava no readme era o formato adequado para mim, busco, por exemplo:

val['<nsubj,VERB,obj>'][:20]

e obtenho os 20 primeiros verbos com a moldura. Como disse, só falta agregar as informações sobre o obj, xcomp, ccomp eiobj e voz do verbo (VERB:act ou VERB:pass). Eu esperaria diversas variantes de '<nsubj,VERB,obj>'. Por exemplo:

val['<nsubj,VERB:act,obj:de>']

retornaria lista com gostar, depender, precisar etc., motivada por exemplos do corpus como

Ele gosta da cidade.
Ele depende do emprego.
Ele precisa do emprego.

val['<nsubj,VERB:act,obj:a>']

retornaria lista com obedecer, ajudar, avisar etc., motivada por exemplos do corpus como

Ele obedece à mãe.
Ele ajuda aos pobres.
Ele avisou ao povo.

val['<nsubj,VERB:pass>']

retornaria lista com devorar, destruir, consertar etc., motivada por exemplos do corpus como

A carne foi devorada pelos cães.
A cidade foi destruída.
O carro foi consertado.

[arademaker]

Entendo, mas o ponto é que fizemos os exemplos simples exatamente para facilitar a compreensão sobre UD e a tradução para a PorGram e usar exemplos das. sentenças complexas do corpus confunde... O fato é que embora esteja claro para você e para mim, não está (ou estava) claro para o @lucasrct

[lucasrct]

@leoalenc e @arademaker

Só para conferir se estamos na mesma página:

As alterações que estou fazendo são:

1. Remoção da ordem relativa na exibiçao das deprels no objeto de Valência, colocando sempre o VERB e o nsubj na frente (caso haja o nsubj).
2. Enriquecimento das informações:

• iobj e obj -- token ligado via ADP ao token iobj/obj
• ccomp - info do SCONJ ligado a ele e modo verbal do token
• xcomp - igual ao ccomp com a exibiçao da forma verbal

3. o verbo será classificado como pass (voz passiva) caso possua um aux:pass ligado a ele E Voice=Pass nas features. Caso contrário, será act (voz ativa)

Como lidar com os tokens nsubj:pass? Coloco no mesmo bolo que os nsubj?

Como lidar com os casos nsubj:pass? Junto no mesmo bolo dos nsubj?