加權卡帕係數（Quadratic Weighted Kappa, QWK）

一、定義與用途

• 定義：加權卡帕係數是 Cohen's Kappa 的加權版本，用於衡量兩組分類結果（通常是預測值與實際值）之間的一致性。
• 用途：
  • 適合用於序數型資料，考慮分類間的距離，例如成績評分或醫學診斷。
  • 評估分類器在排序分類問題上的準確性。

二、特性與公式

• 計算公式：

QWK = 1 - Σ(Wᵢⱼ × Oᵢⱼ) / Σ(Wᵢⱼ × Eᵢⱼ)

• Wᵢⱼ：權重矩陣，表示分類 i 與 j 間的距離。

Wᵢⱼ = (i - j)² / (n - 1)²

• Oᵢⱼ：觀察到的頻率矩陣。
• Eᵢⱼ：期望的頻率矩陣。
• 取值範圍：
• QWK = 1：完全一致。
• QWK = 0：與隨機分類相同。
• QWK < 0：一致性低於隨機分類。
• 權重處理：考慮分類間的距離，更適合排序型問題。

三、優缺點

• 優點：
  • 能考慮分類間的相對距離，對排序問題有更高的解釋力。
  • 提供統一分數，便於模型比較與優化。
• 缺點：
  • 計算較為複雜，尤其在類別數量較多時。
  • 對數據分佈敏感，需謹慎解讀結果。

舉例應用

假設評分範圍為 1-5，評審員給出實際值 [1, 2, 3, 4, 5]，模型預測值為 [1, 3, 3, 4, 4]。使用 QWK 評估模型性能，會考慮到模型在接近實際值的分類上是否更準確，而非單純的準確率。

AlphaTensor-Quantumの深層強化学習アーキテクチャの革新点

Source :  https://arxiv.org/pdf/2402.14396

AlphaTensor-Quantumは、深層強化学習に基づくテンソル分解手法であり、テンソルの低ランクWaring分解を探索し、量子回路のTゲート数（T-count）を最適化することを目的としています。標準的なAlphaTensorや他の既存のT-count最適化手法と比較して、AlphaTensor-Quantumの深層強化学習アーキテクチャには以下の革新点があります：

• 対称テンソルランクの最適化：AlphaTensor-Quantumは、強化学習環境とアクションを修正し、テンソルの対称分解（Waring分解）を提供します。これにより、アクションの探索空間が縮小され、標準的なAlphaTensorよりも大きなテンソルを処理できるようになります。
• 大規模テンソルへのスケーラビリティ：AlphaTensor-Quantumは、対称化層を含む革新的なニューラルネットワークアーキテクチャを採用しており、より大きなテンソルへのスケーラビリティを実現しています。サイズが30のテンソルの場合、同じ層数で対称化軸方向のアテンション演算速度は約4倍速く、メモリ消費は3倍減少します。
• ドメイン知識の活用：AlphaTensor-Quantumは、「ガジェット」と呼ばれる量子ゲートの代替実装を活用することで、ドメイン知識を統合しています。これらのガジェットは、追加の補助量子ビットや操作（例：Cliffordゲートや測定に基づく修正）を導入することで、Tゲートの数を減少させます。AlphaTensor-Quantumは、強化学習環境にToffoliガジェットや制御S（CS）ガジェットを活用する効果的な手法を組み込んでいます。
  • 各アクションを実行する際、AlphaTensor-Quantumは、それが直前の6つのアクションと組み合わせてToffoliゲートを形成するか、直前の2つのアクションと組み合わせてCSゲートを形成するかを確認します。Toffoliゲートが完成した場合、7つのアクション全体で-7の報酬（Tゲート7つに相当）ではなく、-2の報酬（Tゲート2つに相当）を与えることで、正の報酬を割り当てます。CSゲートが完成した場合、3つのアクション全体で-2の報酬を与えるように報酬を調整します。
  • AlphaTensor-Quantumは、これらのアクションパターンを識別し活用する方法をデータから学習し、ガジェットを使用するアクションと使用しないアクションの間で適切なバランスを見つけます。

総じて、AlphaTensor-Quantumの深層強化学習アーキテクチャは、対称テンソルランクの最適化、大規模テンソルへのスケーラビリティ、ドメイン知識の活用を通じて、量子回路のTゲート数の最適化において顕著な進展を遂げています。これらの革新により、量子計算分野でさらなるブレークスルーが期待される強力な自動化回路最適化手法となっています。

Machine Learning 三種演算法比較 : Random Forest、Bagging、Boosting

Machine Learning 三種演算法比較 

演算法	核心概念	優點	缺點	適用場景
Random Forest	結合多個決策樹，每棵樹使用不同的子樣本和特徵。最終通過多數投票（分類）或平均（回歸）進行預測。	- 抗過擬合能力強 - 對高維數據表現穩定 - 可評估特徵重要性	- 訓練和預測時間較長 - 無法處理不平衡數據集表現較差	- 高維數據分析 - 特徵重要性評估 - 泛化性能要求高的場景
Bagging	通過對原始數據進行有放回抽樣，生成多個子數據集，並在每個子數據集上訓練弱模型。最終對結果進行平均或投票。	- 降低模型的方差 - 增加穩定性 - 易於並行化計算	- 偏差可能無法顯著減少 - 對單個弱模型依賴較強	- 高方差模型（如決策樹） - 注重穩定性的場景
Boosting	按序列方式訓練多個弱分類器，每次迭代關注前一輪錯誤分類的樣本，逐步提升模型性能。	- 偏差大幅降低 - 對小樣本和不平衡數據集表現好 - 生成高準確率模型	- 訓練時間較長 - 對噪聲敏感 - 易過擬合（尤其是弱分類器過強時）	- 小樣本數據集 - 不平衡數據場景 - 高準確性要求

大型語言模型（LLM）的使用優化概念整理

紀錄一下 2024/Q3 的進度

大型語言模型（LLM）的使用優化

依照業務需求、數據可用性、應用場景及系統設計考量，採用多種方式運用大型語言模型 (LLM)。

優化層級

提示工程 (Prompt Engineering)

使用提示直接應用預訓練模型，適合簡單需求。

檢索增強生成 (RAG)

通過外部知識增強生成，適用於需要額外資訊的場合。

微調 (Fine-tuning)

使用特定領域的數據進行優化預訓練模型，以應用於特定需求。

預先訓練 (Pre-training)

訓練模型從頭開始，適用於高度定制化的應用場景。

---

提示工程 (Prompt Engineering) 的特性與優勢

協作與共享見解

善於處理邊緣案例。

可以利用不同描述做實驗，避免偏見與不恰當內容的生成。

精確輸入與回應

使用提示作為輸入示例。

可包含上下文來提升模型表現。

使用完整句子生成更準確的回應。

利用提示進行微調。

輸出格式與持續優化

指定輸出格式，達到結果明確而具體。

設定適當的長度並進行測試和改進。

---

檢索增強生成 (RAG) 的工作原理

定義與目的

RAG 是將檢索方法與生成模型結合的混合技術。

模型在回答過程中運用外部知識資源，如資料庫、文件或預先存儲的知識。

工作流程

問題提出：用戶輸入問題後，RAG 系統利用智慧檢索器查詢相關資料。

資料檢索：從特定資料來源查詢文件和訊息。

生成回答：檢索到的資訊與問題一起送到語言模型，重組成為有條理的回答。

回答特性

明確引用外部資訊來源，回答具上下文關聯和準確性。

---

RAG とは何ですか？

定義

RAG (Retrieval-Augmented Generation) 是一種資料擴展生成模型的應用方法。

能利用檢索到的文檔進行資料擴展。

理論挑戰

將整份文件直接提供給模型參考不切實際，可能超出模型處理能力。

運作步驟

資料切片量化：資料切成小片段後量化儲存。

檢索生成：從量化後片段中找出最相似的片段，提升準確性。

---

RAG 資料切片量化

1. 載入資料

支援多種文件格式：CSV、PDF、JSON、DOCX、HTML 等。

2. 分割資料

將資料分割成較小的內容單位，便於處理。

3. 嵌入資料

將分割後資料轉換為向量表示。

4. 向量資料庫

儲存向量於資料庫，例如 FAISS、Chroma、Pinecone 等。

---

RAG 檢索生成流程

1. 將問題轉成向量

問題轉為向量格式。

2. 向量比對

在向量資料庫中檢索相似資料。

3. 檢索相關資料

找出最相關的多筆資料。

4. 語言模型生成

將相關資料和問題送入語言模型進行回答生成。

5. 得出結果

生成有條理且精確的回答。

---

實作雲端 LLM + RAG by n8n 課程

使用 n8n 平台整合 LLM 和 RAG，進行資料處理與對話功能。

Vector 資料庫準備

從 GitHub 獲取數據，提取資料並轉換為向量嵌入，儲存在 Qdrant 向量資料庫中。

對話功能

接收聊天訊息後，通過 OpenAI Chat Model 回應，並用「窗口緩衝記憶」儲存對話上下文。

組合區

工作流觸發器執行推薦嵌入、數據提取與合併，經推薦 API 分割與聚合，最終篩選出與 AI 代理最相關的字段。

2024/11/07

Intel 處理器世代概況

一般來說，Intel 的技術更新週期如下：

1. 微架構更新

   - 每兩年更新一次。

   - 這些更新通常包含了處理器內部的架構改進，以提升效率和性能。

2. 製程工藝更新

   - 大約每三到四年更新一個新製程。

   - Intel 不斷縮小製程工藝（如從 10nm 到 7nm），以實現更高的效能和更低的功耗。

3. 全新技術突破

   - 大約每五到六年會有一次重大技術突破。

   - 這些突破通常包括了新材料的應用、新封裝技術或新的製造技術，推動整體行業進步。

以下用表格整理：

Intel 已發布處理器世代概況

代數	代號	發布年份	製程技術	主要特點
第 1 代	Nehalem	2008年	45nm	引入集成內存控制器、超執行緒技術
第 2 代	Sandy Bridge	2011年	32nm	改進圖形性能、加入 AVX 指令集
第 3 代	Ivy Bridge	2012年	22nm	首次採用 3D 晶體管技術，提升能效
第 4 代	Haswell	2013年	22nm	增強圖形處理、優化功耗
第 5 代	Broadwell	2014年	14nm	提升效能、減少功耗，適合筆記型電腦
第 6 代	Skylake	2015年	14nm	更高效能，支援 DDR4 記憶體
第 7 代	Kaby Lake	2016年	14nm	改進多媒體處理和 4K 支援
第 8 代	Coffee Lake	2017年	14nm	核心數增加，效能提升
第 9 代	Coffee Lake Refresh	2018年	14nm	提升時脈速度、支援更多核心
第 10 代	Ice Lake/Comet Lake	2019年	10nm / 14nm	引入 10nm 製程、提升 AI 能力
第 11 代	Tiger Lake	2020年	10nm	更高效能的圖形和 AI 支援
第 12 代	Alder Lake	2021年	Intel 7	首次採用混合架構（P-core + E-core）
第 13 代	Raptor Lake	2022年	Intel 7	增強混合架構和多核心效能
第 14 代	Raptor Lake Refresh	2023年	Intel 7	提升時脈速度和能效

Intel 未來計畫中的處理器世代

代號	預計發布時間	主要特點
Arrow Lake	2024年	採用 Intel 20A 製程，提升效能與能效，並整合人工智慧與 GPU 設計
Lunar Lake	2025年	採用 Intel 18A 製程，進一步提升效能，並強化人工智慧處理能力
Panther Lake	2025年下半年	預計採用更先進的製程技術，專注於高效能與高能效的平衡
Nova Lake	2026年	預計採用全新架構設計，進一步提升處理器性能與能效

怎麼樣，是不是很厲害 ?

Embedding 概念有哪些演算法 ?

以下是常見的Embedding 概念演算法 

演算法名稱	商業授權情況	功用	Python Library 名稱
Word2Vec	開源（Apache 2.0）	將詞語轉換為語義相似的向量，常用於詞嵌入	gensim, tensorflow
GloVe	開源（Apache 2.0）	基於詞共現矩陣生成詞嵌入，適合大規模語料庫	gensim, torchtext
FastText	開源（MIT License）	將詞拆分為子詞進行嵌入，可處理拼寫變化、少見詞	fasttext, gensim, torchtext
Doc2Vec	開源（MIT License）	文本或文件嵌入，用於段落或文件的語義表示	gensim
Universal Sentence Encoder	開源（Apache 2.0）	生成高效的句子嵌入，用於文本相似度、分類等 NLP 任務	tensorflow-hub
BERT	開源（Apache 2.0）	雙向 Transformer 模型，生成上下文語義嵌入，適用於多種 NLP 任務	transformers (Hugging Face)

速読 アンドリュー・エヌの新刊『How to Build Your Career in AI』

AI業界でキャリアを築くための実践ガイド

昨年末、AIの技術カンファレンスに参加した際、500人以上が会場を埋め尽くしており、皆がAI分野でのキャリア形成に関心を寄せていました。自分がAIの道に足を踏み入れた時の経験を思い出し、この目まぐるしい業界で足場を築く難しさを改めて実感しました。

AIは未来の必須スキル

AIは「新時代の電力」と称され、まるで100年前の電力革命のように私たちの生活を変えています。特に重要なのは、AIプログラミングが新たな「リテラシー」になり得ることです。

• 普及化：未来においてAIプログラミングが読書や書き取りのように一般的になる可能性があります。
• コミュニケーションツール：コードは人と機械の深層言語です。機械が私たちの生活で重要な役割を果たすにつれ、効果的なコミュニケーション手段がますます重要になります。
• 新しいパラダイム：AI、機械学習、データサイエンスは、データから知識を学び取る全く新しい方法を提供します。

例えば、ピザ店の店長さえAIとデータサイエンスで利益を享受できるようになります。

AI業界で成功するための3ステップ

AIの世界で足場を築くには、以下の3つの段階をクリアすることが重要です：

• 学ぶ：基本的なスキルを習得し続けること。技術の進化が速いため、最新技術を把握することが大切です。
• 実践する：プロジェクトを通じてスキルを磨き、特に非AI分野との協力やプロジェクト管理における独自の課題を理解することが必要です。
• 働く：適切なAI関連の職を見つけ、仕事を通じて成長を続けることが求められます。

AI業界で成功するために必要なスキル

AI業界でキャリアを築くには、以下のスキルが求められます：

• 数学の基礎：線形代数、確率・統計、微積分など、AIの基盤となる数学の理解が必要です。
• ソフトウェア開発スキル：プログラミングの基礎、データ構造、アルゴリズム、ソフトウェア設計、Pythonや主要なライブラリ（TensorFlow、PyTorchなど）に習熟することが求められます。
• 探索的データ分析（EDA）：データの可視化を通じて洞察を得るスキルも非常に重視されています。

最後に

AIの世界で長期的に成功するためには、継続的な学習とプロジェクト経験の積み重ね、業界での人脈作りが不可欠です。また、AIの倫理意識や国際的な視点も大切な要素です。

AIがもはや難解な技術ではなく、誰もが活用できるツールとなる日もそう遠くありません。好奇心と学び続ける意欲さえあれば、あなたもきっとこの分野で成功を掴むことができるでしょう。2024年、AIの冒険の第一歩を共に踏み出しませんか？