欢迎来到HelpWriting.

net，这里是您提高学术成绩的最佳选择！我们提供优质的论文
写作服务，帮助您轻松完成学校作业和论文。今天就开始订购吧！
《一个好人难寻》的论文陈述
《一个好人难寻》是一部由弗拉纳里·奥康纳创作的短篇小说，讲述了一个家庭在旅行
中遇到的悲惨结局。这部作品引发了许多关于道德和宗教主题的讨论。如果您正在
撰写关于这部小说的论文，那么一个明确的论文陈述是非常重要的。
在HelpWriting.net，我们有经验丰富的作家可以帮助您提出一个强有力的论文陈述。我
们的作家具有优秀的写作能力和深厚的学术背景，可以为您提供高质量的论文服务。
一个好的论文陈述应该能够概括您的论文主题，并提出一个明确的观点。对于《一个
好人难寻》，您可以选择探讨小说中的道德观念，或者探讨宗教主题如何影响故事的
发展。无论您选择哪种论文陈述，我们都可以为您提供专业的帮助。
在HelpWriting.net，我们致力于为客户提供最佳的论文服务。我们的作家将根据您的要
求和学术水平，为您量身定制论文。我们保证所有论文都是原创且不含抄袭，让您放
心使用。
不要再为论文写作而烦恼，现在就来HelpWriting.net订购吧！我们的服务将为您节省时
间和精力，并帮助您获得优异的成绩。立即下单，让我们为您提供最优质的论文帮助！
Human
activity
recognition
(HAR)
has
become
a
popular
topic
in
research
because
of
its
wide
application.
With
the
development
of
deep
learning,
new
ideas
have
appeared
to
address
HAR
problems.
Here,
a
deep
network
architecture
using
residual
bidirectional
long
short-
term
memory
(LSTM)
cells
is
proposed.
The
advantages
of
the
new
network
include
that
a
bidirectional
connection
can
concatenate
the
positive
time
direction
(forward
state)
and
the
negative
time
direction
(backward
state).
Second,
residual
connections
between
stacked
cells
act
as
highways
for
gradients,
which
can
pass
underlying
information
directly
to
the
upper
layer,
effectively
avoiding
the
gradient
vanishing
problem.
Generally,
the
proposed
network
shows
improvements
on
both
the
temporal
(using
bidirectional
cells)
and
the
spatial
(residual
connections
stacked
deeply)
dimensions,
aiming
to
enhance
the
recognition
rate.
When
tested
with
the
Opportunity
data
set
and
the
public
domain
UCI
data
set,
the
accuracy
was
increased
by
4.78%
and
3.68%,
respectively,
compared
with
previously
reported
results.
Finally,
the
confusion
matrix
of
the
public
domain
UCI
data
set
was
analyzed.
作
者
：Kevin
Clark,
Minh-
Thang
Luong,
Christopher
D.
Manning,
Quoc
V.
Le
Unsupervised
domain
adaptation
has
increasingly
gained
interest
in
medical
image
computing,
aiming
to
tackle
the
performance
degradation
of
deep
neural
networks
when
being
deployed
to
unseen
data
with
heterogeneous characteristics. In this work, we present a novel unsupervised domain adaptation
framework, named as Synergistic Image and Feature Alignment (SIFA), to effectively adapt a
segmentation network to an unlabeled target domain. Our proposed SIFA conducts synergistic
alignment of domains from both image and feature perspectives. In particular, we simultaneously
transform the appearance of images across domains and enhance domain-invariance of the extracted
features by leveraging adversarial learning in multiple aspects and with a deeply supervised
mechanism. The feature encoder is shared between both adaptive perspectives to leverage their
mutual benefits via end-to-end learning. We have extensively evaluated our method with cardiac
substructure segmentation and abdominal multi-organ segmentation for bidirectional cross-modality
adaptation
between
MRI and CT images. Experimental results on two different tasks demonstrate that our SIFA method
is
effective in improving segmentation performance on unlabeled target images, and outperforms the
state-of-the-art domain adaptation approaches by a large margin.
作
者
：Han Zhang, Ian Goodfellow, Dimitris Metaxas, Augustus Odena 【机器人抓取】Contact-
GraspNet：在杂乱场景中高效的 6-DoF 抓取生成 个性化推荐是根据用户的兴趣特点
和购买行为，向用户推荐用户感兴趣的信息和商品。本资源整理了最近两年各大AI顶
会中个性化推荐相关的论文，涉及SIGIR 2020, SIGKDD 2020, RecSys 2020, CIKM 2020,
AAAI 2021, WSDM 2021, WWW 2021, SIGIR 2021；并对论文按照推荐系统的细分领域及
主题进行分 Knowledge graphs are structured representations of facts in a graph, where nodes
represent entities and edges represent relationships between them. Recent research has resulted in the
development
of
several large KGs. However, all of them tend to be sparse with very few facts per entity. In the first
part of the thesis, we propose two solutions to alleviate this problem: (1) KG Canonicalization, i.e.,
identifying and merging duplicate entities in a KG, (2) Relation Extraction which involves
automating the process of extracting semantic relationships between entities from unstructured text.
Traditional Neural Networks like CNNs and RNNs are constrained to handle Euclidean data.
However, graphs in Natural Language Processing (NLP) are prominent. Recently, Graph
Convolutional Networks (GCNs) have been proposed to address this shortcoming and have been
successfully applied for several problems. In the second part of the thesis, we utilize GCNs for
Document Timestamping problem and for learning word embeddings using dependency context of a
word instead of sequential context. In this third part of the thesis, we address two limitations of
existing GCN models, i.e., (1) The standard neighborhood aggregation scheme puts no constraints on
the
number of nodes that can influence the representation of a target node. This leads to a noisy
representation of hub-nodes which coves almost the entire graph in a few hops. (2) Most of the
existing GCN models are limited to handle undirected graphs. However, a more general and
pervasive class of graphs are relational graphs where each edge has a label and direction associated
with
it. Existing approaches to handle such graphs suffer from over-parameterization and are restricted to
learning representation of nodes only. 在这项工作中，我们的目标是使用具有一组参数的
单个强化学习代理来解决大量任务。一个关键的挑战是处理增加的数据量和延长的
训练时间。我们开发了一种新的分布式代理IMPALA（重要性加权Actor-Learner架构），
它不仅可以在单机训练中更有效地使用资源，而且可以扩展到数千台机器而不会牺
牲数据效率或资源利用率。我们通过将解耦的行为和学习与称为V-trace的新型离策略
校正方法相结合，以高吞吐量实现稳定学习。我们展示了IMPALA在DMLab-30（来
自DeepMind Lab环境（Beattie等人，2016年）的一组30个任务）和Atari-57（Arcade学习环境
中所有可用的Atari游戏）上的多任务强化学习的有效性（Bellemare等人，2013a))。我们的
结果表明，IMPALA能够在数据较少的情况下获得比以前的代理更好的性能，并且由
于其多任务方法，在任务之间表现出积极的转移。 Methods: We studied several variants of
BERT (Bidirectional Encoder Representations using Transformers) some involving clinical domain
customization and the others involving improved architecture and/or training strategies. We
evaluated these methods using a direct temporal relations dataset which is a semantically focused
subset of the 2012 i2b2 temporal relations challenge dataset. 平台声明：该文观点仅代表
作
者
本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。 Knowledge representation
learning (KRL) aims to represent entities and relations in knowledge graph in low-dimensional
semantic space, which have been widely used in massive knowledge-driven tasks. In this article, we
introduce the reader to the motivations for KRL, and overview existing approaches for KRL.
Afterwards, we extensively conduct and quantitative comparison and analysis of several typical
KRL methods on three evaluation tasks of knowledge acquisition including knowledge graph
completion, triple classification, and relation extraction. We also review the real-world applications
of
KRL, such as language modeling, question answering, information retrieval, and recommender
systems. Finally, we discuss the remaining challenges and outlook the future directions for KRL. 前
言最近正在尝试使用 API 调用 LLM，发现各个大厂的 API 价格都有差异，所以想整理
一下各个大厂的 API 价格对比，方便自己，也方便他人。不包含Embedding 、图片生成
等模型的价格。参考：1M = 1000K = 100 0000 = 1000,000纯手动整理，如有疏漏烦请
指出，谢谢。OpenAI这个不用说，先驱者。它将是我们评定其他大厂的参考标准。官方
的价格页面GPT-3. 作者：Min-Hung Chen, Baopu Li, Yingze Bao, Ghassan AlRegib, Zsolt Kira
AI&R是人工智能与机器人垂直领域的综合信息平台。我们的愿景是成为通往AGI（通
用人工智能）的高速公路，连接人与人、人与信息，信息与信息，让人工智能与机器人
没有门槛。 我们如何才能让机器人具备精确操纵物体的能力，同时还能根据抽象概
念对它们进行推理？最近的操
作
工
作
表明，端到端网络可以学习需要精确空间推理的灵巧技能，但这些方法通常无法推
广到新目标或快速学习跨任务的可转移概念。同时，通过对大规模互联网数据的
训练，在学习视觉和语言的可概括语义表示方面取得了很大进展，但是这些表示缺
乏细粒度操
作
所需的空间理解。为此，我们提出了一个结合了两全其美的框架：具有语义和空间路
径的双流架构，用于基于视觉的操作。具体来说，我们提出了CLIPort，这是一种语言条
件模仿学习代理，它将CLIP[1]的广泛语义理解（什么）与Transporter[2]的空间精度（哪
里）相结合。我们的端到端框架能够解决各种语言指定的桌面任务，从打包看不见的
物体到折叠布料，所有这些任务都没有任何物体姿势、实例分割、记忆、符号状态或
句法结构的明确表示。在模拟和现实环境中的实验表明，我们的方法在少镜头设置
中是数据有效的，并且可以有效地推广到可见和不可见的语义概念。我们甚至为10个
模拟任务和9个现实世界的任务学习了一种多任务策略，它比单任务策略更好或相当。2
）引用的目的仅限于个人学习、研究或欣赏，或
者
为了教学、科学研究、宗教或慈裤事业以及公共文化利益的需要。我们提出了
SpanBERT，这是一种预训练方法，旨在更好地表示和预测文本跨度。我们的方法通过
（1）屏蔽连续的随机跨度而不是随机标记来扩展BERT，以及（2）训练跨度边界表示以预
测被屏蔽跨度的整个内容，而不依赖于其中的单个标记表示。SpanBERT始终优于BERT
和我们更好地调整的基线，在跨度选择任务（如问答和共指解析）上取得了实质性的
进步。特别是，在训练数据和模型大小与BERT-large相同的情况下，我们的单个模型
在SQuAD1.1和2.0上分别获得了94.6%和88.7%的F1。我们还在OntoNotes共指解析任
务(79.6\%F1)上实现了新的最先进技术，在TACRED关系提取基准上表现出色，甚至
在GLUE上也取得了进步。 2）通过夹注、脚注或尾注注明引号范围内的信息来源，诸如
：
作
者
姓名、文章或
者
著
作
的标题、出版商、出版年月和页码等； 知识图是图中事实的结构化表示，其中节点表
示实体，边表示它们之间的关系。最近的研究导致了几个大型KG 的发展。然而，所有
这些都往往是稀疏的，每个实体的事实很少。在论文的第一部分，我们提出了两种解
决方案来缓解这个问题：(1)KG Canonicalization，即识别和合并KG中的重复实体，(2)关
系提取，涉及自动提取实体之间的语义关系的过程来自非结构化文本。CNN和RNN等
传统神经网络受限于处理欧几里得数据。然而，自然语言处理(NLP)中的图很突出。最
近，人们提出了图卷积网络（GCN）来解决这个缺点，并已成功应用于多个问题。在论
文的第二部分，我们利用GCN解决文档时间戳问题，并使用单词的依赖上下文而不是
顺序上下文来学习词嵌入。在论文的第三部分，我们解决了现有GCN模型的两个局
限性，即（1）标准邻域聚合方案对可能影响目标节点表示的节点数量没有限制。这导
致集线器节点的嘈杂表示，它在几跳内几乎覆盖了整个图。(2)大多数现有的GCN模
型仅限于处理无向图。然而，更普遍和普遍的一类图是关系图，其中每条边都有一个
与之相关的标签和方向。处理此类图的现有方法存在过度参数化的问题，并且仅限于
学习节点的表示。 作者：Xiaodong Wang, Junbao Zhuo, Shuhao Cui, Shuhui Wang
作
者
：Rui Liu, Yixiao Ge, Ching Lam Choi, Xiaogang Wang, Hongsheng Li 2020年以来，ViT一直是
研究热点。ViT在图片分类上的性能超过卷积网络的性能，后续发展而来的各种变体将
ViT发扬光大（如Swin-T，CSwin-T等），值得一提的是Swin-T中的滑窗操
作
类似于卷积操作，降低了运算复杂度，使得ViT可以被用做其他视觉任务的骨干网
络，ViT变得更火了。本文探究卷积网络到底输在了哪里，卷积网络的极限在哪里。在
本文中，作者逐渐向ResNet中增加结构（或使用trick ）来提升卷积模型性能，最终
将ImageNet top-1刷到了87.8% 。作者认为本文所提出的网络结构是新一代（2020年代）的
卷积网络（ConvNeXt ），因此将文章命名为“2020年代的卷积网络”。 We introduce
Autoregressive Diffusion Models (ARDMs), a model class encompassing and generalizing order-
agnostic autoregressive models (Uria et al., 2014) and absorbing discrete diffusion (Austin et al.,
2021), which we show are special cases of ARDMs under mild assumptions. ARDMs are simple to
implement and easy to train. Unlike standard ARMs, they do not require causal masking of model
representations, and can be trained using an efficient objective similar to modern probabilistic
diffusion models that scales favourably to highly-dimensional data. At test time, ARDMs support
parallel generation which can be adapted to fit any given generation budget. We find that ARDMs
require significantly fewer steps than discrete diffusion models to attain the same performance.
Finally,
we apply ARDMs to lossless compression, and show that they are uniquely suited to this task.
Contrary to existing approaches based on bits-back coding, ARDMs obtain compelling results not
only on complete datasets, but also on compressing single data points. Moreover, this can be done
using
a
modest number of network calls for (de)compression due to the model's adaptable parallel generation.
作
者
：Jian
Liang,
Dapeng
Hu,
Yunbo
Wang,
Ran
He,
Jiashi
Feng
Unsupervised
domain
adaptation
methods
traditionally
assume
that
all
source
categories
are
present
in
the
target
domain.
In
practice,
little
may
be
known
about
the
category
overlap
between
the
two
domains.
While
some
methods
address
target
settings
with
either
partial
or
open-
set
categories,
they
assume
that
the
particular
setting
is
known
a
priori.
We
propose
a
more
universally
applicable
domain
adaptation
framework
that
can
handle
arbitrary
category
shift,
called
Domain
Adaptative
Neighborhood
Clustering
via
Entropy
optimization
(DANCE).
DANCE
combines
two
novel
ideas:
First,
as
we
cannot
fully
rely
on
source
categories
to
learn
features
discriminative
for
the
target,
we
propose
a
novel
neighborhood
clustering
technique
to
learn
the
structure
of
the
target
domain
in
a
self-
supervised
way.
Second,
we
use
entropy-
based
feature
alignment
and
rejection
to
align
target
features
with
the
source,
or
reject
them
as
unknown
categories
based
on
their
entropy.
We
show
through
extensive
experiments
that
DANCE
outperforms
baselines
across
open-
set,
open-
partial
and
partial
domain
adaptation
settings.
作
者
：Emiel
Hoogeboom,
Alexey
A.
Gritsenko,
Jasmijn
Bastings,
Ben
Poole,
Rianne
van
den
Berg,
Tim
Salimans
Robotic
grasping
of
house-
hold
objects
has
made
remarkable
progress
in
recent
years.
Yet,
human
grasps
are
still
difficult
to
synthesize
realistically.
There
are
several
key
reasons:
(1)
the
human
hand
has
many
degrees
of
freedom
(more
than
robotic
manipulators);
(2)
the
synthesized
hand
should
conform
to
the
surface
of
the
object;
and
(3)
it
should
interact
with
the
object
in
a
semantically
and
physically
plausible
manner.
To
make
progress
in
this
direction,
we
draw
inspiration
from
the
recent
progress
on
learning-
based
implicit
representations
for
3D
object
reconstruction.
Specifically,
we
propose
an
expressive
representation
for
human
grasp
modelling
that
is
efficient
and
easy
to
integrate
with
deep
neural
networks.
Our
insight
is
that
every
point
in
a
three-
dimensional
space
can
be
characterized
by
the
signed
distances
to
the
surface
of
the
hand
and
the
object,
respectively.
Consequently,
the
hand,
the
object,
and
the
contact
area
can
be
represented
by
implicit
surfaces
in
a
common
space,
in
which
the
proximity
between
the
hand
and
the
object
can
be
modelled
explicitly.
We
name
this
3D
to
2D
mapping
as
Grasping
Field,
parameterize
it
with
a
deep
neural
network,
and
learn
it
from
data.
We
demonstrate
that
the
proposed
grasping
field
is
an
effective
and
expressive
representation
for
human
grasp
generation.
Specifically,
our
generative
model
is
able
to
synthesize
high-
quality
human
grasps,
given
only
on
a
3D
object
point
cloud.
The
extensive
experiments
demonstrate
that
our
generative
model
compares
favorably
with
a
strong
baseline
and
approaches
the
level
of
natural
human
grasps.
Our
method
improves
the
physical
plausibility
of
the
hand-
object
contact
reconstruction
and
achieves
comparable
performance
for
3D
hand
reconstruction
compared
to
state-
of-
the-
art
methods.
6、可
以
在
常
用
的
教
科
书
中
很
方
便
地
找
到，或
者
是
被
大
家
所
广
泛
熟
悉
的
知
识
称
为
公
识。公
识
的
引
用
时
不
需
要
注
明
出
处。
这
项
工
作
考
虑
了
在
没
有
通
信
通
道
的
情
况
下，在
具
有
部
分
可
观
察
和
非
平
稳
环
境
的
多
代
理
设
置
中
学
习
合
作
策
略
的
问
题。我
们
专
注
于
改
善
代
理
之
间
的
信
息
共
享，并
提
出
了
一
种
新
的
多
代
理
actor-
critic方
法，称
为
\textit{Multi-
Agent
Cooperative
Recurrent
Proximal
Policy
Optimization}（MACRPO）。我
们
提
出
了
两
种
在
MACRPO中
跨
代
理
和
时
间
集
成
信
息
的
新
方
法
：首
先，我
们
在
评
论
家
的
网
络
架
构
中
使
用
循
环
层，并
提
出
了
一
个
新
框
架
来
使
用
元
轨
迹
来
训
练
循
环
层。这
允
许
网
络
学
习
代
理
之
间
交
互
的
合
作
和
动
态，并
处
理
部
分
可
观
察
性。其
次，我
们
提
出
了
一
个
新
的
优
势
函
数，它
结
合
了
其
他
代
理
的
奖
励
和
价
值
函
数。我
们
在
具
有
连
续
和
离
散
动
作
空
间
的
三
个
具
有
挑
战
性
的
多
智
能
体
环
境、Deepdrive-
Zero、Multi-
Walker和
Particle环
境
中
评
估
我
们
的
算
法。我
们
将
结
果
与
几
种
消
融
和
最
先
进
的
多
智
能
体
算
法
（如
QMIX和
MADDPG）以
及
具
有
智
能
体
之
间
共
享
参
数
的
单
智
能
体
方
法
（如
IMPALA和
APEX）进
行
比
较。结
果
表
明，相
对
于
其
他
算
法
具
有
优
越
的
性
能。
Entity
representations
are
useful
in
natural
language
tasks
involving
entities.
In
this
paper,
we
propose
new
pretrained
contextualized
representations
of
words
and
entities
based
on
the
bidirectional
transformer.
The
proposed
model
treats
words
and
entities
in
a
given
text
as
independent
tokens,
and
outputs
contextualized
representations
of
them.
Our
model
is
trained
using
a
new
pretraining
task
based
on
the
masked
language
model
of
BERT.
The
task
involves
predicting
randomly
masked
words
and
entities
in
a
large
entity-
annotated
corpus
retrieved
from
Wikipedia.
We
also
propose
an
entity-
aware
self-
attention
mechanism
that
is
an
extension
of
the
self-
attention
mechanism
of
the
transformer,
and
considers
the
types
of
tokens
(words
or
entities)
when
computing
attention
scores.
The
proposed
model
achieves
impressive
empirical
performance
on
a
wide
range
of
entity-
related
tasks.
In
particular,
it
obtains
state-
of-
the-
art
results
on
five
well-
known
datasets:
Open
Entity
(entity
typing),
TACRED
(relation
classification),
CoNLL-
2003
(named
entity
recognition),
ReCoRD
(cloze-
style
question
answering),
and
SQuAD
1.1
(extractive
question
answering).
【机
器
人
抓
取】Contact-
GraspNet：在
杂
乱
场
景
中
高
效
的
6-
DoF
抓
取
生
成
【分
布
式
强
化
学
习】IMPALA：具
有
重
要
性
加
权
Actor-
Learner架
构
的
可
扩
展
分
布
式
深
度
强
化
学
习
方
法
：我
们
研
究
了
BERT（使
用
Transformers的
双
向
编
码
器
表
示
）的
几
种
变
体，其
中
一
些
涉
及
临
床
领
域
定
制，另
一
些
涉
及
改
进
的
架
构
和
/
或
训
练
策
略。我
们
使
用
直
接
时
间
关
系
数
据
集
评
估
这
些
方
法，该
数
据
集
是
2012i2b2时
间
关
系
挑
战
数
据
集
的
语
义
集
中
子
集。
经
典
的
可
变
形
配
准
技
术
取
得
了
令
人
印
象
深
刻
的
结
果
并
提
供
了
严
格
的
理
论
处
理，但
由
于
它
们
解
决
了
每
个
图
像
对
的
优
化
问
题，因
此
计
算
量
很
大。最
近，基
于
学
习
的
方
法
通
过
学
习
空
间
变
形
函
数
促
进
了
快
速
配
准。然
而，这
些
方
法
使
用
受
限
制
的
变
形
模
型，需
要
监
督
标
签，或
者
不
保
证
微
分
形
态
（拓
扑
保
留
）配
准。此
外，基
于
学
习
的
注
册
工
具
并
非
源
自
可
以
提
供
不
确
定
性
估
计
的
概
率
框
架。
输
入
RobotriX，这
是
一
个
极
其
逼
真
的
室
内
数
据
集，旨
在
使
深
度
学
习
技
术
能
够应用于各种机器人视觉问题。RobotriX由超逼真的室内场景组成，机器人代理探索
这
些
场
景，
这
些
场
景
也
在
模
拟世界
中
以
视觉
逼
真
的
方
式
与
对
象
进
行
交
互。虚幻
引
擎
将
逼
真
的
场
景
和
机
器
人
渲染到虚拟现实头显中，该头显
可
以
捕捉视线，
以
便
人
类操
作
员
可
以
移
动
机
器
人
并
使
用
机
器
人
手
的
控
制
器
；
场
景
信
息
在
每
帧
的
基础上转储，
以
便
可
以
离
线复
制
以
生
成
原始
数
据
和
地
面实况标签。通过采用这种方法，我们能够生成一个包含38个语义类的数据集，总计
800万个静止图像，以每秒60帧的速度以全高清分辨率记录。对于每一帧，RGB-D和3D
信
息
在
两
个
空
间
中
都提供了完整的注释。由于原始信息和注释的质量和数量都很高，RobotriX将成为使
用
大
规
模
数
据
驱动技术研究2D和3D机器人视觉任务的新里程碑。随着生物医学文档数量的快速增
长，
生
物医
学
文本挖掘
变
得
越
来
越
重
要。随着
自
然
语
言处理(NLP)的进步，从生物医学文献中提取有价值的信息在研究人员中越来越受欢
迎，而
深
度
学
习
推
动
了
有
效
的
生
物医
学
文本挖掘
模
型
的
发展。然而，
由
于
词
分
布
从
一
般
领
域
语
料库转移到
生
物医
学
语
料库，将NLP
的
进
步
直
接
应
用
于
生
物医
学
文本挖掘
通
常
会产
生
不
令
人
满意
的
结
果。在本文中，我们研究了最近引入的预训练语言模型BERT如何适用于生物医学语料
库。我们介绍了BioBERT（来自Transformers for Biomedical TextMining
的
双
向
编
码
器
表
示
），
这
是
一
种
在
大
规
模
生
物医
学
语
料库上预
训
练
的
特
定
领
域
语
言表示模型。凭借几乎相同的跨任务架构，当在生物医学语料库上进行预训练
时，BioBERT在各种生物医学文本挖掘任务中大大优于BERT和以前最先进的模型。虽
然BERT获得了与之前最先进模型相当的性能，但BioBERT在以下三个具有代表性的
生
物医学文本挖掘任务上明显优于它们：生物医学命名实体识别（F1分数提高0.62%）、
生
物医学关系提取（2.80%）F1分数提高）和生物医学问答（MRR提高12.24%）。
我
们
的
分
析结果表明，在生物医学语料库上预训练BERT有助于理解复杂的生物医学文本。作者
：Aleksei Petrenko, Zhehui Huang, Tushar Kumar, Gaurav Sukhatme, Vladlen Koltun Unsupervised
representation
learning algorithms such as word2vec and ELMo improve the accuracy of many supervised NLP
models, mainly because they can take advantage of large amounts of unlabeled text. However, the
supervised
models only learn from task-specific labeled data during the main training phase. We therefore
propose
Cross-View Training (CVT), a semi-supervised learning algorithm that improves the representations
of
a
Bi-LSTM sentence encoder using a mix of labeled and unlabeled data. On labeled examples,
standard supervised learning is used. On unlabeled examples, CVT teaches auxiliary prediction
modules that see restricted views of the input (e.g., only part of a sentence) to match the predictions
of
the
full model seeing the whole input. Since the auxiliary modules and the full model share intermediate
representations, this in turn improves the full model. Moreover, we show that CVT is particularly
effective
when
combined with multi-task learning. We evaluate CVT on five sequence tagging tasks, machine
translation, and dependency parsing, achieving state-
of-
the-
art
results. 作者：Martin Sundermeyer, Arsalan Mousavian, Rudolph Triebel, Dieter Fox 北京农
学
院图书馆 版权所有 Copyright © 2013年11月 我们提出了Cauchy/Lorentzian、Geman-
McClure、Welsch/Leclerc、广义Charbonnier、Charbonnier/pseudo-Huber/L1-L2 和L2损失
函
数
的
概
括。
通
过
将
稳
健
性
作
为
连
续
参
数
引
入，
我
们
的
损失
函
数
可
以
泛
化
围绕
稳
健损失
最
小
化
构
建
的
算
法，从而
提
高
基本视觉任务（例如
配
准
和
聚类）
的
性
能。
将
我
们
的
损失
解
释
为
单
变
量
密
度
的
负
对
数
会产
生
一
般
概
率
分
布，
其
中
包括正
态
分
布
和
柯西
分
布
作
为
特殊情况。
这
种
概
率
解
释
使
神
经
网
络
的
训
练
成
为
可
能，
其
中
损失
的
鲁棒
性
在
训
练
过
程
中
自
动
适应，从而
提
高
了
基
于
学
习
的
任务的性能，例如生成图像合成和无监督单眼深度估计，而无需任何手动参数调整。
2020年以来，ViT一直是研究热点。ViT在图片分类上的性能超过卷积网络的性能，后
续
发展而来的各种变体将ViT发扬光大（如Swin-T，CSwin-T等），值得一提的是Swin-T
中
的
滑窗操
作
类似于卷积操作，降低了运算复杂度，使得ViT可以被用做其他视觉任务的骨干网
络，ViT
变
得
更火了。本文探
究
卷积网络到底输在了哪里，卷积网络的极限在哪里。在本文中，作者逐渐向ResNet中增
加
结
构
（或使用trick）来提升卷积模型性能，最终将ImageNet top-1刷到了87.8% 。
作
者
认为本文所提出的网络结构是新一代（2020年代）的卷积网络（ConvNeXt ），因
此
将
文章命名为“2020年代的卷积网络”。 按AI专业领域分：机器人5篇、机器学习17篇、
计
算
机视觉与模式识别24篇、人工智能应用42篇、基础理论20篇、人工智能数学基础4篇、
数
据
分
析与大数据系统12篇、知识处理与挖掘6篇、智能芯片与系统5篇，自然语言处理6篇，其他
相关领域14篇。 We tackle the problem of producing compact models, maximizing their accuracy
for
a
given
model
size. A standard solution is to train networks with Quantization Aware Training, where the weights
are
quantized during training and the gradients approximated with the Straight-Through Estimator. In
this
paper,
we
extend this approach to work beyond int8 fixed-point quantization with extreme compression
methods
where the approximations introduced by STE are severe, such as Product Quantization. Our proposal
is
to
only
quantize a different random subset of weights during each forward, allowing for unbiased gradients
to
flow through the other weights. Controlling the amount of noise and its form allows for extreme
compression rates while maintaining the performance of the original model. As a result we establish
new
state-
of-
the-
art
compromises between accuracy and model size both in natural language processing and image
classification. For example, applying our method to state-
of-
the-
art
Transformer and ConvNet architectures, we can achieve 82.5% accuracy on MNLI by compressing
RoBERTa to 14MB and 80.0 top-1 accuracy on ImageNet by compressing an EfficientNet-B3 to
3.3MB. 填写文章标题，如果没有确定文章标题，可以写你要写的论文的大概文章标
题。 Despite the recent progress of fully-supervised action segmentation techniques, the performance
is
still
not fully satisfactory. One main challenge is the problem of spatiotemporal variations (e.g. different
people may perform the same activity in various ways). Therefore, we exploit unlabeled videos to
address
this
problem by reformulating the action segmentation task as a cross-domain problem with domain
discrepancy caused by spatio-temporal variations. To reduce the discrepancy, we propose Self-
Supervised Temporal Domain Adaptation (SSTDA), which contains two self-supervised auxiliary
tasks
(binary and sequential domain prediction) to jointly align cross-domain feature spaces embedded
with
local and global temporal dynamics, achieving better performance than other Domain Adaptation
(DA) approaches. On three challenging benchmark datasets (GTEA, 50Salads, and Breakfast),
SSTDA outperforms the current state-of-
the-
art
method
by
large
margins (e.g. for the F1@25 score, from 59.6% to 69.1% on Breakfast, from 73.4% to 81.5% on
50Salads, and from 83.6% to 89.1% on GTEA), and requires only 65% of the labeled training data
for
comparable
performance, demonstrating the usefulness of adapting to unlabeled target videos across variations.
Zhenzhong Lan, Mingda Chen, Sebastian Goodman, Kevin Gimpel, Piyush Sharma, Radu Soricut
We
introduce "talking-heads attention" - a variation on multi-head attention which includes
linearprojections across the attention-heads dimension, immediately before and after the softmax
operation.While inserting only a small number of additional parameters and a moderate amount of
additionalcomputation, talking-heads attention leads to better perplexities on masked language
modeling tasks, aswell as better quality when transfer-learning to language comprehension and
question
answering tasks. 预训练语言模型现在在自然语言处理中无处不在。尽管
取
得
了
成
功，但
大
多
数
可
用
的
模
型
要
么
接
受
过
英
语
数
据
训
练，
要
么
接
受
过
多
种
语
言
数
据
连
接
的
训
练。
这
使
得
这
些
模
型
的
实际使用——除英
语
之
外的所有语言——非常有限。在本文中，我们研究了为其他语言训练基于单语
Transformer的语言模型的可行性，以法语为例，并在词性标注、依赖解析、命名实
体
识
别
和
自
然
语
言推
理
任务上
评
估
我
们
的
语
言模型。
我
们
表
明
使
用
网
络
爬
取
数
据
比
使
用
维基百
科
数
据
更可取。更
令
人
惊讶的是，我们表明相对较小的网络爬取数据集(4GB)产生的结果与使用较大数据集
(130+GB)获得的结果一样好。我们表现最好的模型CamemBERT在所有四个下游任务
中
都达到或改进了现有技术。 This work considers the problem of learning cooperative policies in
multi-agent settings with partially observable and non-stationary environments without a
communication channel. We focus on improving information sharing between agents and propose a
new
multi-agent actor-critic method called
\textit{Multi-
Agent
Cooperative
Recurrent
Proximal
Policy
Optimization} (MACRPO). We propose two novel ways of integrating information across agents
and
time in MACRPO: First, we use a recurrent layer in critic's network architecture and propose a new
framework
to
use
a
meta-trajectory to train the recurrent layer. This allows the network to learn the cooperation and
dynamics of interactions between agents, and also handle partial observability. Second, we propose a
new
advantage function that incorporates other agents' rewards and value functions. We evaluate our
algorithm on three challenging multi-agent environments with continuous and discrete action spaces,
Deepdrive-Zero, Multi-Walker, and Particle environment. We compare the results with several
ablations and state-of-the-art multi-agent algorithms such as QMIX and MADDPG and also single-
agent methods with shared parameters between agents such as IMPALA and APEX. The results
show
superior performance against other algorithms.
作
者
：Xiaodong Wang, Junbao Zhuo, Shuhao Cui, Shuhui Wang In this paper, we build a connection
between
classical and learning-based methods. We present a probabilistic generative model and derive an
unsupervised learning-based inference algorithm that uses insights from classical registration
methods
and
makes use of recent developments in convolutional neural networks (CNNs). We demonstrate our
method
on
a
3D
brain registration task for both images and anatomical surfaces, and provide extensive empirical
analyses. Our principled approach results in state of the art accuracy and very fast runtimes, while
providing diffeomorphic guarantees.
时间序列在现实世界中有着广泛的应用，并且以难以预测而著称。由于其统计特性
随时间变化，其分布也随时间变化，这将对现有方法造成严重的分布偏移问题。
然而，从分布的角度对时间序列进行建模仍然是未知的。在本文中，我们将其称为时
间协变量偏移(TCS)。本文提出了自适应RNN(AdaRNN)，通过构建一个自适应模型来解
决TCS问题，该模型可以很好地泛化未知的测试数据。AdaRNN依次由两种新颖的算法
组成。首先，我们提出了Temporal Distribution Characterization来更好地表征TS中的分布
信息。其次，我们提出了时间分布匹配来减少TS中的分布不匹配，以学习自适应TS模
型。AdaRNN 是一个集成了灵活分布距离的通用框架。在人类活动识别、空气质量预测
和财务分析方面的实验表明，AdaRNN以2.6%的分类准确率优于最新方法，并显着降低
了9.0%的RMSE。我们还表明可以在Transformer结构中扩展时间分布匹配算法以提高其
性能。 文章字数，即为你要一次生成这篇文章或论文的字数，可选
1000，2000，3000，5000字。 word2vec和ELMo等无监督表示学习算法提高了许多有监
督NLP模型的准确性，主要是因为它们可以利用大量未标记的文本。然而，监督模型
仅在主要训练阶段从特定于任务的标记数据中学习。因此，我们提出了交叉视图训练
(CVT)，这是一种半监督学习算法，它使用标记和未标记数据的混合来改进Bi-LSTM句
子编码器的表示。在标记示例上，使用标准监督学习。在未标记的示例上，CVT教授
辅助预测模块，这些模块查看输入的受限视图（例如，仅句子的一部分）以匹配查看
整个输入的完整模型的预测。由于辅助模块和完整模型共享中间表示，这反过来又
改进了完整模型。此外，我们表明CVT在与多任务学习相结合时特别有效。我们在五
个序列标记任务、机器翻译和依赖解析上评估CVT，取得了最先进的结果。 上面是AI
写作大师根据输入的题目和关键词生成的大纲，你可以修改、添加、删除大纲以满足
需求。 AI&R是人工智能与机器人垂直领域的综合信息平台。我们的愿景是成为通往
AGI（通用人工智能）的高速公路，连接人与人、人与信息，信息与信息，让人工智能与
机器人没有门槛。 Economics经济论⽂代写: EssayMin 专业团队帮您⼀招 制敌! 6 、可以
在常用的教科书中很方便地找到，或者是被大家所广泛熟悉的知识称为公识。公识
的引用时不需要注明出处。 知识图是图中事实的结构化表示，其中节点表示实体，边
表示它们之间的关系。最近的研究导致了几个大型KG的发展。然而，所有这些都往往
是稀疏的，每个实体的事实很少。在论文的第一部分，我们提出了两种解决方案来缓
解这个问题：(1)KG Canonicalization，即识别和合并KG中的重复实体，(2)关系提取，涉及
自动提取实体之间的语义关系的过程来自非结构化文本。CNN和RNN等传统神经网
络受限于处理欧几里得数据。然而，自然语言处理(NLP)中的图很突出。最近，人们提出了
图卷积网络（GCN）来解决这个缺点，并已成功应用于多个问题。在论文的第二部分，
我们利用GCN解决文档时间戳问题，并使用单词的依赖上下文而不是顺序上下文来
学习词嵌入。在论文的第三部分，我们解决了现有GCN模型的两个局限性，即（1）标
准邻域聚合方案对可能影响目标节点表示的节点数量没有限制。这导致集线器节点
的嘈杂表示，它在几跳内几乎覆盖了整个图。(2)大多数现有的GCN模型仅限于处理
无向图。然而，更普遍和普遍的一类图是关系图，其中每条边都有一个与之相关的标
签和方向。处理此类图的现有方法存在过度参数化的问题，并且仅限于学习节点的
表示。 在大规模语料库上预训练的BERT等神经语言表示模型可以很好地从纯文本中
捕获丰富的语义模式，并进行微调以持续提高各种NLP 任务的性能。然而，现有的预
训练语言模型很少考虑合并知识图谱（KGs ），它可以提供丰富的结构化知识事实以
更好地理解语言。我们认为KG中的信息实体可以通过外部知识增强语言表示。在本
文中，我们利用大规模文本语料库和KG来训练增强的语言表示模型（ERNIE），该模型
可以同时充分利用词汇、句法和知识信息。实验结果表明，ERNIE在各种知识驱动任
务上取得了显着的改进，同时在其他常见的NLP任务上与最先进的模型BERT相当。 3、
引用要注明作者姓名、作品名称等，这很关键，常为分抄袭与引用的界限。经典的可
变形配准技术取得了令人印象深刻的结果并提供了严格的理论处理，但由于它们解
决了每个图像对的优化问题，因此计算量很大。最近，基于学习的方法通过学习空间
变形函数促进了快速配准。然而，这些方法使用受限制的变形模型，需要监督标签，
或者不保证微分形态（拓扑保留）配准。此外，基于学习的注册工具并非源自可以提
供不确定性估计的概率框架。 万方、维普、Turnitin等论文查重检测入口：https:/
/weic.checkpass.net 博主文章分类：深度学习 We tackle the problem of producing compact
models, maximizing their accuracy for a given model size. A standard solution is to train networks
with Quantization Aware Training, where the weights are quantized during training and the gradients
approximated with the Straight-Through Estimator. In this paper, we extend this approach to work
beyond int8 fixed-point quantization with extreme compression methods where the approximations
introduced by STE are severe, such as Product Quantization. Our proposal is to only quantize a
different random subset of weights during each forward, allowing for unbiased gradients to flow
through the other weights. Controlling the amount of noise and its form allows for extreme
compression rates while maintaining the performance of the original model. As a result we establish
new state-of-the-art compromises between accuracy and model size both in natural language
processing and image classification. For example, applying our method to state-of-the-art
Transformer and ConvNet architectures, we can achieve 82.5% accuracy on MNLI by compressing
RoBERTa to 14MB and 80.0 top-1 accuracy on ImageNet by compressing an EfficientNet-B3 to
3.3MB. 遵循近年来的ACL和ICML等顶会提交主题进行分类，涉及NLP和ML的广泛
领域。分类目录如下： 条件生成对抗网络(cGAN)的目标是在给定输入条件和潜在代码
的情况下合成不同的图像，但不幸的是，它们通常会遇到模式崩溃的问题。为了解决
这个问题，以前的工作主要集中在鼓励潜在代码与其生成的图像之间的相关性，而
忽略了从各种潜在代码生成的图像之间的关系。最近的MSGAN试图鼓励生成图像的
多样性，但只考虑图像对之间的“负面”关系。在本文中，我们提出了一种新颖的DivCo
框架来适当地约束在潜在空间中指定的生成图像之间的“ 正”和“负”关系。据我们
所知，这是第一次尝试将对比学习用于不同的条件图像合成。引入了一种新颖的潜
在增强对比损失，它鼓励从相邻潜在代码生成的图像相似，而从不同潜在代码生成的
图像则不同。所提出的潜在增强对比损失与各种cGAN架构兼容。大量实验表明，在多
个未配对和配对的图像生成任务中，所提出的DivCo可以生成比最先进的方法更多样
化的图像，而不会牺牲视觉质量。 作者：Louis Martin, Benjamin Muller, Pedro Javier Ortiz
Suárez, Yoann Dupont, Laurent Romary, Éric Villemonte de la Clergerie, Djamé Seddah, Benoît
Sagot AI&R是人工智能与机器人垂直领域的综合信息平台。我们的愿景是成为通往
AGI（通用人工智能）的高速公路，连接人与人、人与信息，信息与信息，让人工智能与
机器人没有门槛。 ChatGPT 凭借超强的能力，改变了很多宝子们的生活方式。正确的使
用提示词，才能真正释放ChatGPT的能力。小编在这篇文章中列出的提示词经过精心设
计，通过利用这些提示词，宝子们不仅能简化写作过程，还能提高学术论文研究
质量。看完这篇文章后，希望宝子们不要只停留在看。把这些提示词用起来，亲自见
证一下学术论文写作在ChatGPT的辅助下，如何发光发亮吧。 一共14个方向，宝子们可
以保存后，慢慢消化哦。Despite the recent progress of fully-supervised action segmentation
techniques, the performance is still not fully satisfactory. One main challenge is the problem of
spatiotemporal variations (e.g. different people may perform the same activity in various ways).
Therefore, we exploit unlabeled videos to address this problem by reformulating the action
segmentation task as a cross-domain problem with domain discrepancy caused by spatio-temporal
variations. To reduce the discrepancy, we propose Self-Supervised Temporal Domain Adaptation
(SSTDA), which contains two self-supervised auxiliary tasks (binary and sequential domain
prediction) to jointly align cross-domain feature spaces embedded with local and global temporal
dynamics, achieving better performance than other Domain Adaptation (DA) approaches. On three
challenging benchmark datasets (GTEA, 50Salads, and Breakfast), SSTDA outperforms the current
state-of-the-art method by large margins (e.g. for the F1@25 score, from 59.6% to 69.1% on
Breakfast, from 73.4% to 81.5% on 50Salads, and from 83.6% to 89.1% on GTEA), and requires
only 65% of the labeled training data for comparable performance, demonstrating the usefulness of
adapting to unlabeled target videos across variations. 智元兔写作大师，可以一分钟一气呵
成5000字的文章（论文）；可以一键对文章（论文）续写、扩写、润色、降重。 平台声明：该
文观点仅代表作者本人，搜狐号系信息发布平台，搜狐仅提供信息存储空间服务。
Unsupervised representation learning algorithms such as word2vec and ELMo improve the accuracy
of many supervised NLP models, mainly because they can take advantage of large amounts of
unlabeled text. However, the supervised models only learn from task-specific labeled data during the
main training phase. We therefore propose Cross-View Training (CVT), a semi-supervised learning
algorithm that improves the representations of a Bi-LSTM sentence encoder using a mix of labeled
and unlabeled data. On labeled examples, standard supervised learning is used. On unlabeled
examples, CVT teaches auxiliary prediction modules that see restricted views of the input (e.g., only
part of a sentence) to match the predictions of the full model seeing the whole input. Since the
auxiliary modules and the full model share intermediate representations, this in turn improves the full
model. Moreover, we show that CVT is particularly effective when combined with multi-task
learning. We evaluate CVT on five sequence tagging tasks, machine translation, and dependency
parsing, achieving state-of-the-art results. In this paper, we build a connection between classical and
learning-based methods. We present a probabilistic generative model and derive an unsupervised
learning-based inference algorithm that uses insights from classical registration methods and makes
use of recent developments in convolutional neural networks (CNNs). We demonstrate our method
on a 3D brain registration task for both images and anatomical surfaces, and provide extensive
empirical analyses. Our principled approach results in state of the art accuracy and very fast runtimes,
while providing diffeomorphic guarantees. 1）引用的作品已发表。已经发表的作品是积著作
权人自行或许可他人公之于众的作品。2、在文章（论文）编辑区，您还可以一键续写、
扩写、润色、降低重复率，甚至翻译等功能。 输入RobotriX，这是一个极其逼真的室内
数据集，旨在使深度学习技术能够应用于各种机器人视觉问题。RobotriX 由超逼真的室
内场景组成，机器人代理探索这些场景，这些场景也在模拟世界中以视觉逼真的方
式与对象进行交互。虚幻引擎将逼真的场景和机器人渲染到虚拟现实头显中，该头
显可以捕捉视线，以便人类操作员可以移动机器人并使用机器人手的控制器；场景信
息在每帧的基础上转储，以便可以离线复制以生成原始数据和地面实况标签。通过
采用这种方法，我们能够生成一个包含38个语义类的数据集，总计800万个静止图像，
以每秒60帧的速度以全高清分辨率记录。对于每一帧，RGB-D和3D信息在两个空间中
都提供了完整的注释。由于原始信息和注释的质量和数量都很高，RobotriX将成为使用
大规模数据驱动技术研究2D和3D机器人视觉任务的新里程碑。本文来自 LinkedIn，这
是一篇 NLP 领域 Attention model 的综述文章，论文详细介绍了不同架构的网络
与 Attention 的结合、Attention如何提高模型的可解释性和 Attention 的应用。