Professional Documents
Culture Documents
Knowledge Science Engineering and Management 11th International Conference KSEM 2018 Changchun China August 17 19 2018 Proceedings Part I Weiru Liu
Knowledge Science Engineering and Management 11th International Conference KSEM 2018 Changchun China August 17 19 2018 Proceedings Part I Weiru Liu
https://textbookfull.com/product/knowledge-science-engineering-
and-management-13th-international-conference-ksem-2020-hangzhou-
china-august-28-30-2020-proceedings-part-i-gang-li/
https://textbookfull.com/product/knowledge-science-engineering-
and-management-12th-international-conference-ksem-2019-athens-
greece-august-28-30-2019-proceedings-part-i-christos-douligeris/
https://textbookfull.com/product/knowledge-science-engineering-
and-management-13th-international-conference-ksem-2020-hangzhou-
china-august-28-30-2020-proceedings-part-ii-gang-li/
https://textbookfull.com/product/user-science-and-
engineering-5th-international-conference-i-user-2018-puchong-
malaysia-august-28-30-2018-proceedings-natrah-abdullah/
Intelligence Science and Big Data Engineering 8th
International Conference IScIDE 2018 Lanzhou China
August 18 19 2018 Revised Selected Papers Yuxin Peng
https://textbookfull.com/product/intelligence-science-and-big-
data-engineering-8th-international-conference-
iscide-2018-lanzhou-china-august-18-19-2018-revised-selected-
papers-yuxin-peng/
https://textbookfull.com/product/natural-language-processing-and-
chinese-computing-7th-ccf-international-conference-
nlpcc-2018-hohhot-china-august-26-30-2018-proceedings-part-i-min-
zhang/
https://textbookfull.com/product/science-of-cyber-security-first-
international-conference-scisec-2018-beijing-china-
august-12-14-2018-revised-selected-papers-feng-liu/
Weiru Liu · Fausto Giunchiglia
Bo Yang (Eds.)
Knowledge Science,
LNAI 11061
Engineering
and Management
11th International Conference, KSEM 2018
Changchun, China, August 17–19, 2018
Proceedings, Part I
123
Lecture Notes in Artificial Intelligence 11061
Bo Yang (Eds.)
Knowledge Science,
Engineering
and Management
11th International Conference, KSEM 2018
Changchun, China, August 17–19, 2018
Proceedings, Part I
123
Editors
Weiru Liu Bo Yang
University of Bristol Jilin University
Bristol Changchun
UK China
Fausto Giunchiglia
Università di Trento
Povo
Italy
This Springer imprint is published by the registered company Springer Nature Switzerland AG
The registered company address is: Gewerbestrasse 11, 6330 Cham, Switzerland
Preface
Publicity Co-chairs
Françoise Fogelman-Soulié Tianjin University, China
Xiangjiu Che Jilin University, China
Organization Co-chairs
Jihong Ouyang Jilin University, China
Daxin Zhang Jilin University, China
Anthony Hunter
1 Introduction
This research is funded by EPSRC Project EP/N008294/1 Framework for Computational Persuasion.
XII A. Hunter
References
1. Dung, P., Thang, P.: Towards (probabilistic) argumentation for jury-based dispute resolu-
tion. In: Proceedings of COMMA’10. FAIA, vol. 216, pp. 171–182. IOS Press (2010)
2. Dung, P.M.: On the acceptability of arguments and its fundamental role in nonmonotonic
reasoning, logic programming and n-person games. Artif. Intell. 77(2), 321–358 (1995)
3. Hunter, A.: Some foundations for probabilistic abstract argumentation. In: Proceedings of
COMMA’12. FAIA, vol. 245, pp. 117–128. IOS Press (2012)
A Brief Introduction to Probabilistic Argumentation XIII
Deep Learning
Symmetric Rectified Linear Units for Fully Connected Deep Models. . . . . . . 291
He Hu
Traffic Flow Fluctuation Analysis Based on Beijing Taxi GPS Data . . . . . . . 452
Jingyi Guo, Xianghua Li, Zili Zhang, and Junwei Zhang
1 Introduction
Sentence compression aims to compress long, verbose sentences into short, con-
cise ones that are grammatical and retain the most important pieces of informa-
tion. Many applications can benefit from sentence compression. For example, it
can be used as a component of a text summarization system [1,7] or to generate
short text which is more suitable for small screens like mobile phones [19].
The task is often expressed as a word deletion problem: Given a sentence
containing a sequence of words, the task can be reduced to deleting a subset of
these words [9]. Later work generally followed this setting [3,11], but most of
the work assumes a supervised setting, utilizing parallel data to learn mappings
between source and compressed sentences [9,11]. However, parallel labeled data
is not always easy to obtain. So in this paper we focus on sentence compression
in an unsupervised setting.
When the task is solved in an unsupervised manner, previous work typi-
cally formulates it as a constrained optimization problem [1,3]. Then Integer
Linear Programming (ILP) is often used to search for the global optimal solu-
tion. Although ILP is guaranteed to find a global optimal solution, this kind of
methods faces two problems: (1) ILP is non-deterministic polynomial-time hard
c Springer Nature Switzerland AG 2018
W. Liu et al. (Eds.): KSEM 2018, LNAI 11061, pp. 3–15, 2018.
https://doi.org/10.1007/978-3-319-99365-2_1
4 L. Wang et al.
(NP-hard), so its complexity would prevent it from being used in some real-time
applications. For example, in our experiments, when we compressed a long sen-
tences with 100 words, it took the ILP method 81 s to finish. When the sentence
length grew to 120 words, it took the ILP method 423 s. (2) The constraints
of ILP method are hard constraints, which would in some cases prevent valid
compression from being considered.
In this study, our target is to design a new unsupervised sentence compres-
sion model which can achieve comparable performance compared with ILP-based
methods but requires less computation time. A secondary goal is to remove the
hard constraints set by ILP method. Specifically, we choose to use deep rein-
forcement learning in this study motivated by [16]. We formulate sentence com-
pression as a Markov decision process, then a special pointer network is designed
to learn the action-value function based on the Deep Q Network (DQN) frame-
work. Besides, hard constraints in ILP method are expressed as soft rewards
in our DQN. In this way, we make a compromise between grammaticality and
expressive power.
We evaluate our method using various publicly available datasets. In terms
of performance, our method achieves comparable result with that of an ILP
method based on accuracy and ROUGE scores. Regarding speed, our method
works much faster than ILP method.
2 Related Work
2.1 Unsupervised Sentence Compression
Since our research does not use any parallel labeled dataset, we review unsu-
pervised methods only. Compared to supervised methods on this task, there
has been less work exploring unsupervised methods. The early work could date
back to [6]. They proposed a model to automatically compress text by scoring
candidate compressions using a language model combined with a significance
score and a score representing the speech recognizer’s confidence in transcribing
a given word correctly. [18] used rules to generate compressions. After that, [1]
formulated the problem as a constrained optimization problem. They proposed
three models, where the first model was totally unsupervised which optimizes a
language model based score with some length constraints. [3] hypothesized that
syntactic features were more suitable for this task so they used an ILP framework
to prune dependency trees.
Compared with these existing studies, to the best of our knowledge, we are
the first to apply reinforcement learning for sentence compression by maximizing
an objective function.
3 Method
In this part, we first formulate this task and then introduce the ILP method
proposed by [1]. After that, we propose our deep reinforcement learning method.
where minLength and maxLength are minimum and maximum lengths for the
compression and δi denotes the binary label of wi in the sentence.
Syntactic constraints are a hard way to force the compressed sentence to sat-
isfy some manually defined rules. For example, if a non-clausal modifier (ncmod)
(such as an adjective or a noun) or determiners (detmod) is included in the
compression, then the head of the modifier must also be included and at least
one verb should be included in the compression. Generally, these constraints are
based on syntactic analyses that are not guaranteed to be correct.
The ILP method searches for the best compression in the space of all possible
compressions. Ideally, the result would be optimal if the computational time is
not a concern. However, for long sentences, efficiency could be important. Fur-
thermore, the length constraints and syntactic constraints are hard constraints,
making it impossible to explore other possible compressions. The situation could
become worse when there are parsing errors. In the following section, we propose
our reinforcement learning framework, which runs faster and uses the length and
syntactic constraints in a soft manner.
Actions. At each step, the agent should perform either a deletei action or a
finish action, where deletei deletes the i-th word from the current state while
finish ends the MDP.
Rewards. The agent receives a reward each time an action has been executed
based on the current state. If the current state is st , after executing action at ,
the agent receives the reward rt as defined below:
⎧
⎨ Sc(st ) + λmRp (at = finish, slen ∈ [minLength, maxLength],
rt = Rp + λmRp (at = finish, slen ∈ / [minLength, maxLength], (2)
⎩
0 (otherwise),
where xi is the i-th word in the current state st . Please note that this objective
function is the same with the previous ILP method shown in Eq. 1.
In the ILP method, syntactic rules are used as hard constraints, making some
possible compressions outside of the search space. In our model, we use reward
8 L. Wang et al.
Fig. 1. The MDP for sentence compression with a specific example: the agent delete
Australian at the first step (index starts from zero), by this analogy, with a sequence
of actions, the sentence “The Australian Treasury believes positive signs are emerging
in the Australian economy” is compressed to“positive signs are emerging”.
Transitions. In each episode, the MDP starts with a state s, i.e., a list of words.
The MDP repeatedly deletes words in the list. The transition function T (s |s, a)
incorporates the current state s with an action a and produces the new state
s . Whenever a is the finish action, the process stops. The MDP for sentence
compression can be illustrated by Fig. 1 with a specific example.
Here, r is the immediate reward after the agent takes action a on state s and
γ is a discounting factor of future rewards.
In our study, we use a DQN [12] to model the value function. For a state
s = W , we assume each word in W is represented by a d-dimensional vec-
tor. A standard bi-directional LSTM model [4] is utilized to encode the word
embeddings sequentially in two directions. We can get a sequence of hidden vec-
tors (h1 , h2 , . . . , hn ) and cell state vectors (c1 , c2 , . . . , cn ), where hi ∈ Rh and
ci ∈ Rh as followings:
− −
→ →
−
h i, →
c = LSTM→ − ( h i−1 , wi ),
Θ
←
− − ←−
h i, ←
c = LSTM← − ( h i+1 , wi ),
Θ
→
− ←
−
hi = h i ⊕ h i ,
c =−
i
→
c ⊕←i
−
c , i
→
− ←
−
where ⊕ represents concatenation of vectors, and Θ and Θ are parameters of
the bi-LSTM model (Fig. 2).
—¡Chitón, chitón por todos los santos del cielo! —dijo don Benigno
poniéndole la mano en la boca para hacerle callar.
Participaba el héroe de aquel noble ardor; pero temía que tales
demostraciones les trajeran a entrambos algún perjuicio. Tembloroso y
ruborizado, Cordero llevó a su amigo fuera del verde laberinto
incitándole a que callara, porque —y lo dijo en la plenitud de la
convicción— si el obispo Abarca y el ministro Calomarde llegaban a
tener noticia de lo que se habló en los jardines, no firmarían ni en tres
siglos. Salvador tranquilizó al buen comerciante sobre aque
endiablado negocio de las firmas, y cuando se separaron invitole a que
comieran juntos aquella tarde. Excusose don Benigno, por sentirse, a
oír la invitación, tocado de aquella misma inquietud o recelo de que
antes hablamos; pero las reiteradas cortesanías del otro le vencieron
al fin. Mientras Cordero entraba en la casa de Pajes pensando en e
convite, en la muerte del rey, en la firma, y, sobre todo, en su familia de
los Cigarrales, Salvador penetró en Palacio y no se le vio más en todo
el día.
Era aquel el 18 de septiembre, día inolvidable en los anales de la
guerra civil, porque si bien en él no se disparó un solo cartucho, fue un
día que engendró sangrientas batallas; un día en el cual se puede
decir figuradamente que se cargaron todos los fusiles y cañones
Desde muy temprano volvió a reinar el desasosiego en Palacio. Su
Majestad seguía muy grave, y a cada vahído del monarca la causa
apostólica daba un salto en señal de vida y buena salud: así es que
cuando circulaban noticias desconsoladoras no se veía el dolo
pintado en todas las caras, como sucede en ocasiones de esta
naturaleza, aun en regios alcázares, sino que a muchos les bailaban
los ojos de contento, y otros, aunque disimulaban el gozo, no lo hacían
tanto que escondieran por completo la repugnante ansiedad de sus
corazones corrompidos.
En medio de esta barahúnda, la reina apuraba sola en el silencio
lúgubre de la alcoba regia el cáliz amargo de la situación más triste y
desairada en que pueda verse quien ha llevado una corona. Los
cortesanos huían de ella; a cada hora, a cada minuto veía disminuir e
número de los que parecían fieles a su causa, y cada suspiro del rey
moribundo producía una defección en el débil partido de la reina. E
día anterior aún tenía confianza en la guardia de Palacio; pero desde
la mañana del 18 las revelaciones de algunos servidores leales la
advirtieron de que, muerto el rey, la guardia y probablemente todas las
fuerzas del Real Sitio abrazarían el partido del infante.
Cristina se vistió en aquellos días el hábito de la Virgen del Carmen
y con la saya de lana blanca estaba más guapa aún que con manto
regio y corona de diamantes. No salía de la real alcoba sino breves
momentos, cuando el rey parecía sosegado y ella necesitaba ver a sus
hijas, o desahogar su pena en llanto amarguísimo, derramado sin
testigos en su cámara particular. Allí también habla bullicio y
movimiento, porque la servidumbre arreglaba las maletas y embaulaba
el ajuar de la reina en previsión de una fuga precipitada.
Por la noche Cristina no dormía. Sentada junto al lecho del rey
vigilaba su enfermedad, atendía a sus dolores, preparaba por sí misma
las medicinas y se las daba, dirigíale palabras de esperanza y
consuelo, no permitía que los criados hicieran cosa alguna que pudiera
hacer ella, esclava entonces de sus deberes de esposa con tanto rigo
como la compañera del último súbdito del tirano enfermo. Haciendo
entonces lo que no suelen ni saben hacer generalmente las reinas
María Cristina se puso una corona de esas que no están sujetas a los
azares de un destronamiento ni a los desaires de la abdicación.
La historia no dice lo que pasó por la mente del atormentador de
España al ver que en pago de sus violencias, de su bárbaro orgullo, de
sus vicios y de su egoísmo brutal, Dios le enviaba aquel ángel en su
última hora para que el autor de tantas agonías viera endulzada la
suya y pudiera morirse en paz, como se mueren los que no han hecho
daño a nadie. Cuando se entraba en la alcoba real, no se podía ver sin
horror el enorme cuerpo del rey en el lecho, hinchado, inmóvil
oprimido por bizmas, ungido con emplastos, que a pesar de sus
virtudes no vencían los dolores; hecho todo una miseria; conjunto
lastimoso de desdichas físicas, que así remedaban la moral más
perversa que ha informado un alma humana.
Su rostro variaba entre el verdoso de la muerte y el amoratado de la
congestión. Ligeramente incorporado sobre las almohadas, su cabeza
estaba inerte, su mirada fija y mortecina, su nariz colgaba cual s
quisiera caer saltando al suelo, y de su entreabierta boca no salía sino
un quejido constante, que en los breves momentos de sosiego era
estertor difícil. Por fin le tocaba a él también un poco de potro. Debía
de estar su conciencia bastante despierta en aquellos momentos
porque no se quejaba desesperado como si en el fondo de su alma
existiese una aprobación de aquel horrible quebrantamiento de huesos
y hervor de sangre que sufría. La cama del rey, por el estado de aque
desdichado cuerpo que desde algún tiempo vivía corrompiéndose
parecía más bien un ensayo de las descomposiciones del sepulcro
Esto solo es un elocuente elogio de la cristiana abnegación de la reina
Había en la alcoba dos o tres crucifijos e imágenes, solicitados po
la piedad de Cristina para que no permitieran que España se quedara
sin rey. Mas por el momento no había síntomas de que tan noble
anhelo fuera atendido, porque Fernando VII se moría a pedazos
Aquella masa inerte, tan solo vivificada por un gemido, no era ya rey
ni siquiera hombre. Hacia el mediodía se temió la pérdida absoluta de
las facultades mentales, y antes que esto llegara se reconoció la
necesidad de dar solución al tremendo conflicto. Una chispa de razón
quedaba en el espíritu del rey. Era urgente, indispensable, que a la
débil luz de esa chispa se resolviese el problema.
Cristina hubiera dilatado aquel momento, ganando algunas horas
para dar tiempo a que llegara su hermana la infanta doña Carlota
mujer de brío y resolución para tal caso. Desde que se agravó Su
Majestad le habían enviado correos al Puerto de Santa María
rogándola que viniese, y ya la infanta debía de estar cerca, quizás en
Madrid, quizás en camino del Real Sitio. Pero el aniquilamiento rápido
del enfermo no permitía esperar más. Entraron, pues, en la rea
cámara tres figuras horrendas: Calomarde, el de la Alcudia y el obispo
de León. La reina y el confesor del rey habían llegado poco antes y
estaban a un lado y otro de Su Majestad, Cristina casi tocando su
cabeza, el clérigo bastante cerca para hablar al oído del pobre
enfermo. Había llegado un momento en que ninguna alma cristiana
podía conservar rencor ante tanta desdicha. No era posible ver a
Fernando VII en aquel trance sin sentir ganas de perdonarle de todo
corazón.
Los tres temerosos figurones se situaron a los pies de la cama
después de besar uno tras otro con apariencia cariñosa aquella mano
lívida que había firmado tantas atrocidades. El obispo estaba grave
imponente, como quien suponiéndose con autoridad divina, se cree
por encima de todas las miserias humanas; el conde de la Alcudia
triste y acobardado por la solemnidad del momento, y Calomarde, e
hombre rastrero y vil, cuya existencia y cuyo gobierno no fueron más
que pura bajeza y engaño, arqueaba las cejas mucho más que las
arqueaba de ordinario, pestañeaba sin cesar y hacía pucheros. Crue
con los débiles, servil con los poderosos, cobarde siempre, este
hombre abominable adornaba con una lagrimilla la traición infame que
a su amo hacía en los umbrales de la muerte.
Quien presenció aquella escena terrible cuenta que la luz de la
estancia era escasa; que los tres consejeros estaban casi en la
sombra; que el rey volvía su rostro hacia la reina, vestida de hábito
blanco; que hubo un momento en que el confesor no hacía más que
morderse las uñas; que la hermosura de Cristina era la única luz de
aquel cuadro sombrío, intriga política, horrible fraude, vil escamoteo de
una corona perpetrado al borde de un sepulcro.
Cuenta también el testigo presencial de aquella escena que e
primero que habló, y habló con entereza, fue el obispo de León
Puesto de pie, parecía que llegaba al techo. Su voz hueca de
sochantre retumbaba en la cámara como voz de ultratumba. Aque
hombre, tan rígido como astuto, principió tocando una fibra del corazón
del rey: habló de las inocentes niñas de Su Majestad y de la virtuosa
reina, que según él corrían gran peligro si no pasaba la corona a las
sienes de don Carlos. Después pintó el estado del reino, en el cual
según dijo, no había un solo hombre que no fuera partidario de la
monarquía eclesiástica representada por el infante.
Fernando dio un gran suspiro y fijó sus aterrados ojos en el obispo
Este se sentó. Puesto en pie, Calomarde dijo que su emoción al ver en
aquel estado al mejor de los reyes, y al mejor de los padres, y al mejo
de los esposos, y al mejor de los hombres, no le permitía hablar con
serenidad; dijo que se veía en la durísima precisión de no ocultar a su
amado soberano la verdad de lo que ocurría; que había tanteado e
ejército, y todo el ejército se pronunciaría por don Carlos si no se
modificaba en favor de este la Pragmática sanción del 29 de marzo de
1830; que los voluntarios realistas, sin excepción de uno solo
proclamaban ya abiertamente como rey de derecho divino al mismo
señor don Carlos, y que para evitar una lucha inútil y el derramamiento
de sangre, convenía a los intereses del reino...
El infame hacía tales pucheros que no pudo continuar la frase
Sintiose que el cuerpo dolorido del rey se estremecía en su cama o
potro de angustia. Oyose luego la voz moribunda, que dijo entre dos
lamentos:
—-Cúmplase la voluntad de Dios.
El confesor silbó en su oído palabras no entendidas por los demás
y entonces la reina Cristina, sin mirar a las tres sombras, volviendo su
rostro al rey y haciendo un heroico esfuerzo para no dar a conocer su
dolor, pronunció estas palabras:
—Que España sea feliz, que en España haya paz.
El rey exhaló un gran suspiro mirando al techo, y después dijo algo
que pareció el mugido de un león enfermo. La reina tomó su pañuelo
y sin decir nada, dejando correr libremente sus lágrimas, limpió e
sudor abundante que bañaba la frente del rey.
Siguió a esto un discursillo del conde de la Alcudia confirmando e
dictamen de los otros dos apostólicos. Aquel famoso triunvirato traía la
comedia bien aprendida, y en el cuarto de don Carlos se habían
estudiado antes detenidamente los discursos, pesando cada palabra
El confesor dijo también en voz alta su opinión, asegurando bajo su
palabra que el Altísimo estaba en un todo conforme con lo expuesto
por los señores allí presentes. ¡Y se quedó tan satisfecho después de
este mensaje...!
Fernando pareció llamar a sí todas sus fuerzas. Claramente dijo:
—¿En qué forma se ha de hacer?
No vacilaron los apostólicos en la contestación, pues para todo
estaban prevenidos. Calomarde, fingiendo que se le ocurría en aque
mismo instante, propuso que el rey otorgase un codicilo-decreto
derogando la Pragmática sanción del 30, y revocando las
disposiciones testamentarias en la parte referente a la regencia y a la
sucesión de la corona.
Después de una pausa, el rey se hizo repetir la proposición de
ministro, y oída por segunda vez, Cristina volvió a limpiar el sudor que
corría por la frente de su marido. Con un gesto y la mano derecha
este mandó a los tres apostólicos consejeros que salieran de la
estancia, y se quedó solo con su esposa y con su confesor, el cua
salió también poco después. Consternados los tres escamoteadores, y
dudando del éxito de su infame comedia, no decían una palabra, y con
los ojos se comunicaban aquella duda y el temor que sentían
Calomarde y el obispo dieron algunos paseos lentamente por la
cámara, esperando que el rey les volviera a llamar, y el conde de la
Alcudia aplicó el oído a la puerta y dijo en voz baja y temerosa:
—Parece que llora Su Majestad.
—No lo creo —murmuró el obispo, acercando también su oído.
Entonces se abrió la puerta y apareció el confesor con las manos
cruzadas y el semblante compungido, imagen exacta de la hipocresía
Los cuatro cuchichearon un momento como viejas chismosas. Media
hora después, Cristina les llamó y volvieron a entrar. Fernando no
estaba ya incorporado en su cama, sino completamente tendido de
largo a largo, fijos los ojos en el techo, rígido, pesado, el resuello lento
y difícil. Sin mirar a los que habían sido sus amigos, sus aduladores
terceros de sus caprichos políticos y servidores de sus gustos con la
lealtad y sumisión del perro, Fernando VII les manifestó en pocas
palabras que aceptaba el sacrificio que se le imponía. Esforzándose
un poco, habló más para exigir secreto absoluto de lo acordado hasta
que él muriese.
Los tres apostólicos bajaron; encerráronse en un gabinete. Entre
tanto, la chusma del cuarto de don Carlos ardía en impaciencias
sobresaltadas y nerviosas, las dos infantas padecían atroz martirio. La
historia, muy descuidada en cierras cosas, no dice el número de tazas
de tila que se consumieron aquel día. El obispo, Calomarde y Alcudia
mostráronse tan reservados aquella tarde, que los carlinos se
impacientaban y aturdían cada vez más. No obstante, algunas
palabras optimistas, aunque enigmáticas, de Abarca al salir de
gabinete en que los tres se encerraron para extender el decreto
codicilo, hicieron comprender a la muchedumbre apostólica que las
cosas iban por buen camino. Finalmente, al llegar la noche, y cuando
se difundía por Palacio, corriendo y repercutiéndose de sala en sala
como un trueno, la voz de el rey ha muerto, el señor Abarca entró
triunfante en la cámara donde la corte del porvenir se hallaba reunida
En su mano alzaba el reverendo un papel, con el cual amenaza
parecía, o que lo tremolaba como estandarte o divisa de una ley