1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20

import instructor
from openai import OpenAI
from pydantic import BaseModel

client = instructor.from_openai(OpenAI())

class Company(BaseModel):
    name: str
    location: str

# 非構造化テキストから構造化データを抽出
text = "株式会社サイバーエージェントは東京都渋谷区に本社を置く。"
result = client.chat.completions.create(
    model="gpt-4",
    response_model=Company,
    messages=[{"role": "user", "content": f"Extract company info: {text}"}]
)

print(result)
# Company(name='株式会社サイバーエージェント', location='東京都渋谷区')

1

Company(name='株式会社サイバーエージェント', location='東京都渋谷区')

1
2

# Instructorで抽出
result = {"drug": "アスピリン", "dosage": "100mg"}

1
2
3
4
5
6

result = {
    "drug": "アスピリン",
    "dosage": "100mg",
    "source_position": "カルテ123-145文字目",
    "original_text": "アスピリン100mgを処方"
}

1
2

# Instructorで抽出
result = {"notice_period": "30日前"}

1
2
3
4
5

result = {
    "notice_period": "30日前",
    "source_position": "p.5, 1234-1256文字目",
    "original_text": "解約の場合は30日前までに書面で通知すること"
}

1

pip install langextract

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55

import os
import langextract as lx
from langextract import data

# 抽出対象のテキスト
text = """株式会社サイバーエージェントは、東京都渋谷区に本社を置くインターネット広告代理店です。
代表取締役社長は藤田晋氏で、1998年に設立されました。
主な事業はAbemaTVやAmeba、広告事業などです。"""

# プロンプトと例を定義
prompt = """
テキストから企業名、人名、場所を抽出してください。
正確なテキストを使用し、言い換えないでください。
"""

examples = [
    data.ExampleData(
        text="トヨタ自動車の豊田章男社長は、愛知県豊田市の本社で記者会見を行いました。",
        extractions=[
            data.Extraction(
                extraction_class="企業名",
                extraction_text="トヨタ自動車",
            ),
            data.Extraction(
                extraction_class="人名",
                extraction_text="豊田章男",
            ),
            data.Extraction(
                extraction_class="場所",
                extraction_text="愛知県豊田市",
            ),
        ]
    )
]

# 抽出実行
result = lx.extract(
    text_or_documents=text,
    prompt_description=prompt,
    examples=examples,
    model_id="gemini-2.5-flash",
    api_key=os.environ.get('GOOGLE_API_KEY'),
    extraction_passes=1,
)

# 結果表示（出典ポインタ付き）
for extraction in result.extractions:
    print(f"クラス: {extraction.extraction_class}")
    print(f"テキスト: {extraction.extraction_text}")
    if extraction.char_interval:
        start = extraction.char_interval.start_pos
        end = extraction.char_interval.end_pos
        print(f"位置: {start}-{end}文字目")
        print(f"検証: '{text[start:end]}'")
        print("---")

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76

import langextract as lx
from langextract import data
import psycopg2
from datetime import datetime

# 有価証券報告書のテキスト
yuho_text = """
【経営成績の分析】
当期の売上高は1,200億円（前期比15%増）となりました。
増収の主な要因は以下の通りです。

(1) デジタル広告事業
新規顧客の獲得により300億円の増収となりました。

(2) メディア事業
既存サービスの会員数減少により100億円の減収となりました。

(3) 為替影響
円安進行により50億円の増収効果がありました。
"""

# プロンプト定義
prompt = """
有価証券報告書から売上変動要因を抽出してください。
以下の情報を含めること：
- 事業セグメント名
- 変動理由
- 金額（増減を明示）

正確なテキストを使用し、言い換えないでください。
"""

# Few-shot例
examples = [
    data.ExampleData(
        text="クラウド事業は新規契約の増加により200億円の増収となりました。",
        extractions=[
            data.Extraction(
                extraction_class="売上変動要因",
                extraction_text="クラウド事業は新規契約の増加により200億円の増収となりました",
            ),
        ]
    )
]

# 抽出実行
result = lx.extract(
    text_or_documents=yuho_text,
    prompt_description=prompt,
    examples=examples,
    model_id="gemini-2.5-flash",
    api_key=os.environ.get('GOOGLE_API_KEY'),
    extraction_passes=2,  # 長文なので2パス
)

# PostgreSQLに保存（出典ポインタも記録）
conn = psycopg2.connect("dbname=analytics user=analyst")
cur = conn.cursor()

for extraction in result.extractions:
    cur.execute("""
        INSERT INTO sales_factors 
        (company_code, fiscal_year, extraction_text, 
         source_start, source_end, document_id, extracted_at)
        VALUES (%s, %s, %s, %s, %s, %s, %s)
    """, (
        "4751",  # サイバーエージェント
        2024,
        extraction.extraction_text,
        extraction.char_interval.start_pos if extraction.char_interval else None,
        extraction.char_interval.end_pos if extraction.char_interval else None,
        "yuho_4751_2024.pdf",
        datetime.now()
    ))

conn.commit()

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

-- 2024年に為替影響を受けた企業を抽出
SELECT company_code, extraction_text, source_start, source_end
FROM sales_factors
WHERE fiscal_year = 2024
  AND extraction_text LIKE '%為替%'
ORDER BY company_code;

-- 原文を確認したい場合
SELECT document_id, source_start, source_end, extraction_text
FROM sales_factors
WHERE id = 123;
-- → "yuho_4751_2024.pdfの123-156文字目を見てください"

1
2
3
4
5
6
7

# JSONL保存
lx.io.save_annotated_documents([result], output_name="result.jsonl", output_dir=".")

# HTML可視化
html = lx.visualize("result.jsonl")
with open("visualization.html", "w", encoding="utf-8") as f:
    f.write(html if isinstance(html, str) else html.data)

1
2
3
4
5
6
7
8
9

result = lx.extract(
    text_or_documents=long_document,
    prompt_description=prompt,
    examples=examples,
    model_id="gemini-2.5-flash",
    extraction_passes=3,      # 複数パスで精度向上
    max_workers=10,           # 並列処理数
    max_char_buffer=2000,     # チャンクサイズ
)