1
 2
 3
 4
 5
 6
 7
 8
 9
10

1. パリです（確率: 0.3）
2. Paris（確率: 0.2）
3. パリ（確率: 0.15）
4. 首都はパリです（確率: 0.15）
5. ロンドン（確率: 0.05）
6. マルセイユ（確率: 0.05）
7. パリだと思います（確率: 0.05）
8. Parisです（確率: 0.03）
9. パリですね（確率: 0.01）
10. ベルリン（確率: 0.01）

1
2
3
4
5
6
7
8
9

import numpy as np

# クラスタごとの確率
p = [0.89, 0.05, 0.05, 0.01]

# エントロピー = -Σ(p * log(p))
semantic_entropy = -np.sum([pi * np.log(pi) for pi in p if pi > 0])
print(f"セマンティックエントロピー: {semantic_entropy:.3f}")
# 出力: セマンティックエントロピー: 0.412

1
2
3
4
5

# GitHubから最新版をインストール（推奨）
pip install git+https://github.com/klara-research/klarity.git

# または PyPI から安定版をインストール
pip install klarity

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58

from transformers import AutoModelForCausalLM, AutoTokenizer, LogitsProcessorList
from klarity import UncertaintyEstimator
from klarity.core.analyzer import EntropyAnalyzer

# モデルとトークナイザーのロード
model_name = "Qwen/Qwen2.5-0.5B-Instruct"
model = AutoModelForCausalLM.from_pretrained(model_name)
tokenizer = AutoTokenizer.from_pretrained(model_name)

# エントロピーアナライザーの初期化
estimator = UncertaintyEstimator(
    top_k=100,
    analyzer=EntropyAnalyzer(
        min_token_prob=0.01,
        insight_model=model,
        insight_tokenizer=tokenizer
    )
)

uncertainty_processor = estimator.get_logits_processor()

# 質問の準備
prompt = "What is the capital of France?"
inputs = tokenizer(prompt, return_tensors="pt")

# 不確実性分析付きで生成
generation_output = model.generate(
    **inputs,
    max_new_tokens=50,
    temperature=0.7,
    top_p=0.9,
    logits_processor=LogitsProcessorList([uncertainty_processor]),
    return_dict_in_generate=True,
    output_scores=True,
)

# 生成結果の分析
result = estimator.analyze_generation(
    generation_output,
    tokenizer,
    uncertainty_processor
)

generated_text = tokenizer.decode(
    generation_output.sequences[0], 
    skip_special_tokens=True
)

# 結果の表示
print(f"生成テキスト: {generated_text}")
print("\nトークンごとの不確実性分析:")
for idx, metrics in enumerate(result.token_metrics):
    print(f"  Step {idx}: 生エントロピー={metrics.raw_entropy:.4f}, "
          f"セマンティックエントロピー={metrics.semantic_entropy:.4f}")

# 総合的な分析結果
print("\n総合分析:")
print(result.overall_insight)

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16

生成テキスト: What is the capital of France? The capital of France is Paris.

トークンごとの不確実性分析:
  Step 0: 生エントロピー=0.8234, セマンティックエントロピー=0.1523
  Step 1: 生エントロピー=0.3421, セマンティックエントロピー=0.0821
  ...

総合分析:
{
    "scores": {
        "overall_uncertainty": 0.25,
        "confidence_score": 0.85,
        "hallucination_risk": 0.15
    },
    ...
}