keras 使用 self-attention python

keras 使用self-attention

pip install keras-self-attention

使用demo
import keras from keras_self_attention import SeqSelfAttentionmodel = keras.models.Sequential() model.add(keras.layers.Embedding(input_dim=10000, output_dim=300, mask_zero=True)) model.add(keras.layers.Bidirectional(keras.layers.LSTM(units=128, return_sequences=True))) model.add(SeqSelfAttention(attention_activation='sigmoid')) model.add(keras.layers.Dense(units=5)) model.compile( optimizer='adam', loss='categorical_crossentropy', metrics=['categorical_accuracy'], ) model.summary()

郑重说明

本文内容主要来自于https://pypi.org/project/keras-self-attention/
【keras 使用 self-attention】