貪婪搜索是在每個(gè)時(shí)間步中選擇概率最高的單詞，也是我們最常用的一種方法，Beam Search不取每個(gè)標(biāo)記本身的絕對(duì)概率，而是考慮每個(gè)標(biāo)記的所有可能擴(kuò)展。然后根據(jù)其對(duì)數(shù)概率選擇最合適的標(biāo)記序列。

例如令牌的概率如下所示:

在這里插入圖片描述

例如，Pancakes + looks時(shí)間段1的概率等效于：

Pancakes looks so = log（0.2） + log（0.7）= -1.9
Pancakes looks fluffy  = log（0.2） + log（0.3）= -2.8

所以我們需要定義一個(gè)函數(shù)來(lái)完成整句的概率計(jì)算：

import torch.nn.functional as F
def log_probability_single(logits, labels):
    logp = F.log_softmax(logits, dim=-1)
    logp_label = torch.gather(logp, 2, labels.unsqueeze(2)).squeeze(-1)
    return logp_label
def sentence_logprob(model, labels, input_len=0):
    with torch.no_grad():
        result = model(labels)
        log_probability = log_probability_single(result.logits[:, :-1, :],
                                                 labels[:, 1:])
    sentence_log_prob = torch.sum(log_probability[:, input_len:])
    return sentence_log_prob.cpu().numpy()

接下來(lái)，可以將其應(yīng)用于貪婪搜索解碼方法生成的輸出，并計(jì)算生成的序列的對(duì)數(shù)概率。

在此示例中，我將在村上春木的書中簡(jiǎn)要介紹：1Q84。

input_sentence = "A love story, a mystery, a fantasy, a novel of self-discovery, a dystopia to rival George Orwell's — 1Q84 is Haruki Murakami's most ambitious undertaking yet: an instant best seller in his native Japan, and a tremendous feat of imagination from one of our most revered contemporary writers."

max_sequence = 100
input_ids = tokenizer(input_sentence,
                      return_tensors='pt')['input_ids'].to(device)
output = model.generate(input_ids, max_length=max_sequence, do_sample=False)

greedy_search_output = sentence_logprob(model,
                                        output,
                                        input_len=len(input_ids[0]))
print(tokenizer.decode(output[0]))

我們可以看到生成的序列的對(duì)數(shù)概率為-52.31。

在這里插入圖片描述

現(xiàn)在，我們將并比較通過(guò)Beam Search生成的序列的對(duì)數(shù)概率得分，得分越高潛在結(jié)果越好。

我們可以增加n-gram懲罰參數(shù)no_repeat_ngram_size，這有助于減少輸出中的重復(fù)生成的序列。

beam_search_output = model.generate(input_ids,
                                    max_length=max_sequence,
                                    num_beams=5,
                                    do_sample=False,
                                    no_repeat_ngram_size=2)
beam_search_log_prob = sentence_logprob(model,
                                        beam_search_output,
                                        input_len=len(input_ids[0]))
print(tokenizer.decode(beam_search_output[0]))
print(f"\nlog_prob: {beam_search_log_prob:.2f}")

輸出如下：