Improve Alden knowledge, context and source-preserving retrieval

.gitignore

@@ -1,5 +1,9 @@
 __pycache__/
 *.pyc
+# The Alden menu bundle currently loads these exact CPython 3.11 artifacts.
+!scripts/_auto_reply_menubar_wrapper.cpython-311.pyc
+!scripts/_bujamentor_menubar_overlay.cpython-311.pyc
+!scripts/_bujamentor_menubar_impl.cpython-311.pyc
 *.egg-info/
 dist/
 build/
@@ -9,7 +13,7 @@ build/
 credentials.json
 /tmp/
 
-# Dedicated Jarvis voice interpreter; never Extra's runtime.
+# Dedicated Alden voice interpreter; never Extra's runtime.
 .venv-voice/
 browser/.venv/
 target/
@@ -72,3 +76,14 @@ context.sqlite3
 reply-queue.sqlite3
 model-circuit.sqlite3
 macos/AutoReplyMenu/build/
+
+# Private local review captures and unreleased voice candidates.
+docs/architecture/alden-core-panel.png
+docs/architecture/alden-knowledge-hologram.png
+docs/architecture/alden-live-panel.png
+docs/architecture/alden-live-settings.png
+docs/architecture/alden-settings-panel.png
+docs/architecture/alden-system.architecture.pre-main-*.json
+voice/models/experimental/
+scripts/libalden_audio.dylib
+scripts/libalden_audio.dylib.build-*

CHANGELOG.md

@@ -5,12 +5,105 @@ All notable changes to this project will be documented in this file.
 The format is based on [Keep a Changelog](https://keepachangelog.com/en/1.1.0/),
 and this project adheres to [Semantic Versioning](https://semver.org/spec/v2.0.0.html).
 
+## [0.3.9] - 2026-10-03
+
+- 네이티브 화면 검사기가 정지한 장면도 허용하도록 수정했습니다. 첫 실제 프레임·복원 후 새 프레임·컨텍스트·숨김 중 프레임 중단을 확인하며 지속적인 대기 렌더를 요구하지 않습니다.
+
+## [0.3.8] - 2026-10-03
+
+- 공식 Thinking Orbs 엔진을 지식 그래프 주요 노드·사이드바·메뉴바에 적용합니다. 실제 음성·검색·수집·작업 상태에 연결하고 대기·숨김·중단·모션 감소에서는 정지합니다.
+- 노드를 선택하면 전체 설명·연결 관계·채팅방과 작성자·날짜가 있는 대표 원문을 보여줍니다. 네이티브 브리지에서 빠지던 설명과 출처를 복원하고 동명이인·다른 계정·다른 방의 근거를 제외합니다.
+- 상태별 프레임과 GPU 버퍼를 재사용하고 정지한 라벨의 반복 갱신을 제거합니다. 메뉴·운영 버튼·사이드바 하단 중앙 버전은 유지합니다.
+
+## [0.3.7] - 2026-10-03
+
+- 실제 재생 티켓·커서의 완료된 출력 PCM 구간을 그래프에 연결합니다. 입력·출력 값을 분리하고 아직 재생하지 않은 구간·오래된 값·중단된 턴을 표시하지 않습니다.
+- 유효하지 않은 초기 SDK 시간을 변환할 때 발생하는 오디오 예외를 방지합니다. 네이티브 ABI2를 명시하고 버전이 맞지 않으면 권한 요청 전에 종료합니다.
+- 작은 네이티브 상태 읽기로 음성 반응을 연결하며 Python·모델 호출을 만들지 않습니다. 상태 게시 시에만 출력 커서를 읽고 숨김·종료·빈 그래프에서는 조회를 정리합니다.
+
+## [0.3.6] - 2026-10-02
+
+- 우주 그래프와 메뉴바 팝업에 최근 마이크 입력 크기를 제한된 궤도선으로 연결합니다. 오래된 값·오류·중단·재생 중 입력을 제외하며 조용할 때는 표시하지 않습니다.
+- 진폭 평활화는 128점 버퍼를 재사용하고 안정되면 렌더링을 멈춥니다. 설정 그래프도 보이는 동안만 신호를 읽고, 숨김·복원은 기존 수명주기에 따릅니다.
+- 설치본 연속 음성 8턴과 문맥 질의 12회 근거를 보존합니다. WAV 생성·실제 재생과 ASR 7/8·사람의 청취를 구분하며 측정용 엔진 drain 대기는 명시적인 상한으로 설정합니다.
+
+## [0.3.5] - 2026-10-02
+
+- 지식 그래프·사이드바·팝업을 같은 우주 팔레트로 정리하고 실제 관계를 별자리처럼 표시합니다. 메뉴·운영 버튼·중앙 버전과 지식 ID는 유지합니다.
+- 배경 별은 한 묶음의 고정 버퍼로 그리며 클릭·검색 데이터에 포함하지 않습니다. 멈춘 장면은 프레임을 중단하고 데이터·크기·실제 조작 변화에 다시 그립니다.
+- 구형 노드 경계에서 아주 작은 카메라 오차로 마우스 선택이 빠지는 문제를 수정했습니다. 앞쪽 노드·레이어·거리와 최신 위치를 보존합니다.
+
+## [0.3.4] - 2026-10-02
+
+- 제목이 없는 방은 등록 이름을 ID로 복원하거나 고유한 미확인 표식으로 표시합니다. 같은 이름·Unicode·공백 변형을 검색에 반영하되 방·인물 ID를 합치지 않습니다.
+- 방 이름과 근거는 동일 스냅샷에서 읽고, 인물 표본은 기존 결과를 보존하는 색인 경로로 읽어 복사와 전체 정렬 비용을 줄입니다.
+- 방·인물·기간을 공개 검색 번들까지 적용하고 원본 REAL 시간을 보존합니다. 두 주제를 명시한 질문에서 떨어진 주제가 누락되지 않게 합니다.
+- 합성 27문항을 조정·검증으로 분리하고 로컬 E5로 검색 설정 81개 조합을 평가합니다. 기존 기본값을 유지하고 미해결 후보도 기록합니다.
+
+## [0.3.3] - 2026-10-02
+
+- 취소 신호를 실제 Qwen 음성 디코더의 토큰 생성 단계에 연결합니다. 원래 중단 조건과 메서드는 유지·복원하고, 합성과 해제를 직렬화해 이전 턴의 취소가 다음 턴에 섞이지 않게 합니다.
+- 같은 Qwen3-TTS 1.7B BF16 가중치에서 기본 화자를 한국어 원어 화자 Sohee로 명시하고, 성별 지시 없이 차분한 집사 말투를 유지합니다.
+- 단독 정수 답변은 숫자임을 분명하게 읽으며 화면·대화 기록의 원문은 유지합니다. 날짜·식별자·음수·소수·문장 속 숫자는 기존 의미를 보존합니다.
+
+## [0.3.2] - 2026-10-02
+
+- 원본 관찰 근거의 필수 필드를 보존해 인물·방 노드가 RRF 검색 필터에서 빠지는 문제를 수정했습니다. 숫자 방 ID를 계정 범위의 방 키로 연결합니다.
+- 특정 방의 검색 결과는 해당 방의 원문과 근거 ID로 다시 구성합니다. 전역 인물 노드가 다른 방의 예문을 섞어 보여주지 않습니다.
+- 음성 지식 요청에 로컬 원문·RRF 검색을 연결하고, 같은 주제의 후속 요청만 이전 검색을 이어갑니다. 다른 주제로 전환한 후에는 오래된 검색을 되살리지 않습니다. 동일한 이름의 방은 임의로 선택하지 않으며, 과거 발신 기록은 새 사용자 발화로 넣지 않습니다.
+- 검색 인용 JSON과 맥락 예산을 제한하고, 임베딩 소켓·SQLite 검색에 취소를 전파합니다. 계산 결과는 숫자와 단위를 분명하게 표기하도록 음성 프롬프트를 정리했습니다.
+
+## [0.3.1] - 2026-10-02
+
+- 실제 앱 백그라운드 수집이 macOS 접근 확인 단계의 카카오톡 설정 파일 open()에서 멈추는 것을 샘플링으로 확인했습니다.
+- SQLite를 열기 전 계정 설정 파일 조회에도 3초 상한을 두고, 접근 대기 원인을 DB 갱신 화면에 표시합니다. 기존 캐시로 OS 접근 결정을 우회하지 않습니다.
+- 앱의 자동 원본 수집은 macOS 접근 허용 확인이 남아 있습니다. 완성된 로컬 검색 자료와 범위별 읽기는 별도로 검증됐습니다.
+
+## [0.3.0] - 2026-10-02
+
+- 카카오톡 원본 DB·WAL의 고정 복제본을 재사용해 전체 메시지를 별도 로컬 검색 저장소로 수집합니다. 배치 데이터와 커서를 함께 커밋하며 중단 뒤 이어집니다.
+- 작업 저장소와 공개 검색 저장소를 분리했습니다. 전체 수집과 삭제 반영이 끝나면 SQLite Online Backup으로 만든 저장소를 원자적으로 교체합니다. 이전 검색 저장소는 작업 중에도 유지됩니다.
+- 채팅방·계정·발신자 숫자 ID로 지식을 구분하고, 같은 이름의 방과 사람을 합치지 않습니다. 원본 조회 근거와 의사결정 원장 근거를 구분합니다.
+- 전체 원문을 BM25로 검색하고 인물·방 선택 시 해당 범위의 과거 대화를 인용합니다. 과거 발신 기록을 새로운 사용자 입력으로 취급하지 않습니다.
+- 실제 원본에서 발견한 소수형 시간을 원본 비트까지 보존하고, 전체 대화 기록 읽기도 해당 형식을 지원합니다.
+- 오래 숨겨진 설정 창의 갱신 기록에서 중간 페이지가 빠지던 커서를 수정했습니다. 갱신 타임라인을 가상화하고 읽던 행의 위치를 보존합니다.
+
+## [0.2.1] - 2026-10-02
+
+- 실제 설치본 검사에서 발견한 팝업의 이전 276px 너비와 캔버스 여백 규칙을 제거했습니다. 560×420 창 전체에 그래프가 그려집니다.
+- DB 원본 수집에 별도 90초 상한, 앱의 전체 지식 갱신에 120초 상한을 두고, 대화 기록 읽기는 25초 동안 기다리게 했습니다. 짧은 일반 상태 조회의 상한은 유지합니다.
+- WKWebView의 1/64px 레이아웃 양자화를 허용하되 실제 창 크기와 캔버스 배율은 계속 검사합니다.
+- 네이티브 레이아웃 검사 실패 시 실제 창·캔버스 치수를 기록합니다. 실패한 갱신은 히스토리에 남아 있으며 자동 성공으로 표시하지 않습니다.
+
+## [0.2.0] - 2026-10-02
+
+- 넓은 설정 창에 지식 그래프·카카오톡 대화·음성 대화·DB 갱신·설정 메뉴를 배치했습니다. 별도 설정 아이콘과 모달을 제거했습니다.
+- 설정 페이지를 자동화 등록 목록, 필요할 때 열리는 편집 영역, 답변 방식과 음성 설정으로 전면 개편했습니다. 채팅방 등록 입력이 중복되지 않습니다.
+- 실제 3D 지식 그래프에 회전·확대·계층 탐색을 연결하고 왼쪽 클릭 메뉴바 팝업을 560×420으로 확장했습니다.
+- 카카오톡은 방별 로컬 전체 기록, 음성은 세션별 확정 기록을 원문 그대로 페이지 단위로 탐색합니다. 화면에 그리는 메시지 수는 제한합니다.
+- DB 수집·검색 자료 정리·완료·대기·중지·실패를 구분합니다. 원본 수집량과 검색 인덱스의 범위를 별도로 표시합니다.
+- 사이드바 최하단에 운영 중·일시 중지·재개 버튼 하나와 중앙 정렬된 앱 버전을 표시합니다.
+- 개발 미리보기의 예시 데이터는 명시적으로 표시하며 설치본에서 사용하지 않습니다. 호출어 승인과 서명·공증된 공개 배포는 별도 남은 항목입니다.
+
+## [0.1.9] - 2026-10-02
+
+내부 소스 단계입니다. 별도 설치본이나 공개 릴리스를 만들지 않았습니다.
+
+- 카카오톡 로컬 대화 전체를 고정 커서로 읽는 API와 원본 DB·WAL을 함께 검증하는 수집 API를 추가했습니다. 메시지 원문과 큰 ID를 보존합니다.
+- 확인된 음성 대화와 DB 수집·지식 정리 단계를 별도 로컬 기록에 저장합니다. 취소된 답변은 음성 기록에 확정하지 않습니다.
+- 실제 OSK 4.1.2 API로 카카오톡 아래 대화방·인물·주제를 관리하고 기존 노드 ID와 사용자 편집을 보존합니다.
+- 자동화 등록 CRUD에 이전 설정 백업과 명시적 기능 선택, 변경 후 읽기 확인을 연결했습니다. 기존 전송 조건과 실행 중인 워커는 유지합니다.
+
 ## [Unreleased]
 
 대화 턴 처리와 응답 안정성, 운영 비용을 함께 개선하는 변경 묶음입니다.
 
+### Alden Desktop
+- macOS 메뉴바 앱을 Alden 0.1.5로 전환하고 Tauri v2·Three.js 렌더러, 로컬 MLX 27B 기본 경로, 준비 상태를 확인하는 음성·Browser-Use 소스, 긴급 중단 단축키와 Archify 구조도를 묶었습니다. 설치본과 빌드 번들의 일치, 합성 렌더 검사, 로컬 단일 생성은 확인했습니다.
+- 호출어 후보는 출시 기준을 통과하지 못해 실제 음성 시작이 꺼져 있습니다. Flash-Next 상주, 카카오톡 답변 지연·건너뜀 개선, 설치본의 GPU 절감, 서명·공증된 공개 앱 릴리스는 아직 검증되지 않았습니다.
+
 ### Added
-- **OpenCodex 인증 게이트웨이 연동 및 자동 폴백**: 기존 gjc 프로세스 호출 방식을 로컬 OpenCodex 게이트웨이(`http://127.0.0.1:10100/v1`) 직접 연동으로 교체했습니다. OpenCode Go 사용량 한도 초과 시 0.28초 만에 에러를 감지하고 `google-antigravity/gemini-3.8-flash`(high)로 즉시 자동 전환되어 서비스 중단 없이 답장을 이어갑니다.
+- **레거시 원격 명시 경로의 OpenCodex 게이트웨이 연동 및 자동 폴백**: 기존 gjc 프로세스 호출 방식을 로컬 OpenCodex 게이트웨이(`http://127.0.0.1:10100/v1`) 직접 연동으로 교체했습니다. OpenCode Go 사용량 한도 초과 시 0.28초 만에 에러를 감지하고 `google-antigravity/gemini-3.8-flash`(high)로 전환합니다. Alden의 로컬 MLX 운영 설정에는 이 원격 경로를 사용하지 않습니다.
 - **초보자 친화적 메뉴바 앱 리뉴얼**: 내부 코드 중심의 딱딱한 상태 문구를 직관적인 상태 표기(🟢 정상 작동, 🟡 처리 중, 🔴 확인 필요)와 쉬운 동작 라벨("즉시 답장 보내기", "긱뉴스 바로 전송", "답변 기록 보기", "AI 모델 설정")로 전면 개편했습니다.
 - 재랭커 후보 평가를 **자격(정책 통과)과 순위(랭크)** 두 단계로 분리했습니다. 자격 판정이 내는 거부를 기계 판독 가능한 안정 코드(`policy_rejections`의 `index`/`draft`/`reason`/`codes`/`decision`)로 모으고, 반환 dict에 `fallback`·`policy_rejections`를 **모든 경로에서** 싣습니다. 결정 기록(`rerank_policy_rejections`, `provenance.rerank`)과 영수증(최상위 `policy_rejections`, 최대 8건)에도 같은 목록이 실려 "어떤 초안이 왜 거부됐는지"가 순위 안에 묻히지 않습니다. 인가 발신자는 여전히 스킵하지 않으며(경량 폴백 `lenient_policy`: 빈 답·220자 초과·원문 복사만 금지) 사이드카의 `MAX_DRAFTS=8`/`MAX_DRAFT_CHARS=220` 정렬은 그대로입니다.
 - 응답시간 학습 스타일 tell에 구조 필드를 추가했습니다: `kind`(length/ending/question/caption/ai_detection), `target_phrase`, `scope`(room/recipient), `source`(operator/self-observed), `confidence`, `validity`·`expiry`. 원장 스키마는 v2가 되지만 v1 행은 기본값으로 하위호환 로드되고, 만료된 소프트 tell은 로드 시 건너뜁니다. phrase-only 정규화(단일 토큰 금지, 다어절·4자 이상)와 avoid-only 레지스터는 그대로입니다.

Cargo.toml

@@ -35,7 +35,7 @@ sha1 = "0.10"
 sha2 = "0.10"
 reqwest = { version = "0.12", default-features = false, features = ["blocking", "json", "gzip", "brotli", "deflate", "rustls-tls"] }
 rsa = { version = "0.9", features = ["sha1"] }
-rusqlite = { version = "0.33", features = ["bundled-sqlcipher"] }
+rusqlite = { version = "0.33", features = ["bundled-sqlcipher", "backup"] }
 serde = { version = "1.0", features = ["derive"] }
 serde_json = "1.0"
 tempfile = "3.18"
@@ -66,4 +66,4 @@ core-graphics = { version = "0.25", features = ["elcapitan"] }
 assert_cmd = "2"
 predicates = "3"
 proptest = "1"
-rusqlite = { version = "0.33", features = ["bundled-sqlcipher"] }
+rusqlite = { version = "0.33", features = ["bundled-sqlcipher", "backup"] }