-->

whaust

2025年3月5日 星期三

Red Hat 離線安裝 Kubernetes 1.32 步驟

在 Red Hat 上離線安裝 Kubernetes 1.32

1. 準備工作

  • 下載 Kubernetes 二進位檔案:

    從 Kubernetes 官方下載 kubeadm、kubelet 和 kubectl,然後傳輸到 Red Hat 系統。

  • 設置本地 YUM 儲存庫:

    將所有必要的 RPM 套件下載到本地,然後建立 YUM 儲存庫:

    [kubernetes]
    name=Kubernetes
    baseurl=file:///path/to/your/local/repo
    enabled=1
    gpgcheck=0
                

2. 安裝 Docker

下載並安裝 Docker RPM 套件,然後啟用 Docker。

3. 安裝 Kubernetes 套件

使用以下命令安裝 kubelet、kubeadm 和 kubectl:

sudo yum install -y kubelet kubeadm kubectl --disablerepo=* --enablerepo=kubernetes
    

啟用並啟動 kubelet:

sudo systemctl enable --now kubelet
    

4. 安裝 CNI 插件

下載並安裝 CNI 網路插件:

CNI_PLUGINS_VERSION="v1.3.0"
ARCH="amd64"
DEST="/opt/cni/bin"
sudo mkdir -p "$DEST"
curl -L "https://github.com/containernetworking/plugins/releases/download/${CNI_PLUGINS_VERSION}/cni-plugins-linux-${ARCH}-${CNI_PLUGINS_VERSION}.tgz" | sudo tar -C "$DEST" -xz
    

5. 初始化 Kubernetes 叢集

使用 kubeadm 初始化叢集:

sudo kubeadm init --pod-network-cidr=10.244.0.0/16
    

設定 kubectl:

mkdir -p $HOME/.kube
sudo cp -i /etc/kubernetes/admin.conf $HOME/.kube/config
sudo chown $(id -u):$(id -g) $HOME/.kube/config
    

6. 部署 Pod 網路

選擇並部署適合的 Pod 網路插件,例如 Flannel 或 Calico。

備註: 離線安裝前,請確保所有必要的套件與依賴已準備就緒。

2025年2月27日 星期四

技術通報:Kubernetes 1.31.7 のサポートと HSPC マルチパス設定ガイド

技術通報:Kubernetes 1.31.7 のサポートと HSPC マルチパス設定ガイド

一、通報の目的

Kubernetes 1.31.7 のアップグレード計画および Hitachi HSPC の最新サポート戦略に対応するため、システムアップグレードの注意点と正しい SAN マルチパス設定方法を提供し、システムの安定運用とマウント失敗問題の回避を目的としています。

二、影響範囲

  • Hitachi HSPC を利用してストレージリソースを管理している Kubernetes クラスター環境
  • Hitachi HSPC ストレージドライバーを展開し、SAN 経由でストレージにアクセスしているユーザー

三、技術ガイド

1. アップグレード順序の推奨

以下の順序でアップグレードを実施してください:

  1. Hitachi HSPC を Kubernetes 1.31.7 をサポートするバージョンにアップグレード
  2. Kubernetes クラスターを 1.31.7 にアップグレード

2. Multipath 設定の要求

SAN 環境でのストレージデバイスのマウントの安定性を確保するため、/etc/multipath.conf ファイルに以下の設定を行ってください:

find_multipaths no

3. 禁止設定(マウント失敗の原因)

以下の設定値は使用しないでください。 使用すると、マウントエラーが発生する可能性があります:

  • find_multipaths: yes
  • find_multipaths: smart

4. Trident のサポートポリシー

Trident はリリース以来、find_multipaths: no 設定を推奨しており、これによりマルチパス処理ロジックとの互換性が確保されます。

四、今後の対応提案

  • システム管理者は現在の multipath 設定ファイルを直ちに確認してください
  • すべてのアップグレードプロセスが本通報の推奨手順に従っていることを確認してください
  • 問題が発生した場合、内部 IT サポートチームまたはシステムインテグレーターに連絡してください

📌 技術連絡先

  • 三井ユナイテッド海外営業所

本體論(Ontology)介紹

一. 本體論(Ontology)介紹

1. 一般定義

本體論(Ontology)是研究存在、事物的本質及其相互關係的學科,最初起源於哲學,但現已廣泛應用於電腦科學、人工智慧(AI)和資訊科學等領域。

2. 本體論在電腦科學與AI中的應用

在技術領域,本體論指的是一種結構化框架,用來定義特定領域內的概念、分類及其關係,主要用於知識表示、語意網技術和人工智慧推理

  • 本體論的組成要素

    • 概念(Classes):代表特定領域內的事物或物件。
    • 屬性(Attributes):描述概念的特徵或性質。
    • 關係(Relationships):定義不同概念之間的聯繫。
    • 實例(Instances):概念的具體實例。
  • 應用領域

    • 語意網(Semantic Web):幫助機器理解與處理人類知識,提高數據互通性。
    • 人工智慧與機器學習:增強AI的推理能力,使其更好地理解上下文資訊。
    • 醫療與生物領域:應用於醫學本體論(如疾病分類、基因數據),幫助研究與診斷。

3. 例子

以「汽車」為例,簡單的本體論可能包括:

  • 概念:汽車(Car)、引擎(Engine)、輪胎(Wheel)、製造商(Manufacturer)
  • 屬性:汽車具有引擎、輪胎與品牌。
  • 關係:製造商生產汽車、引擎為汽車提供動力。

總結

本體論提供了一種結構化的知識表示方式,幫助不同系統之間的數據互通,提高機器推理能力,並在人工智慧、醫療、語意網等領域發揮重要作用。

2024年11月30日 星期六

加權卡帕係數(Quadratic Weighted Kappa, QWK)

加權卡帕係數(Quadratic Weighted Kappa, QWK)

一、定義與用途

  • 定義:加權卡帕係數是 Cohen's Kappa 的加權版本,用於衡量兩組分類結果(通常是預測值與實際值)之間的一致性。
  • 用途:
    • 適合用於序數型資料,考慮分類間的距離,例如成績評分或醫學診斷。
    • 評估分類器在排序分類問題上的準確性。

二、特性與公式

  • 計算公式:
  • QWK = 1 - Σ(Wᵢⱼ × Oᵢⱼ) / Σ(Wᵢⱼ × Eᵢⱼ)

    • Wᵢⱼ:權重矩陣,表示分類 i 與 j 間的距離。
    • Wᵢⱼ = (i - j)² / (n - 1)²

    • Oᵢⱼ:觀察到的頻率矩陣。
    • Eᵢⱼ:期望的頻率矩陣。
  • 取值範圍:
    • QWK = 1:完全一致。
    • QWK = 0:與隨機分類相同。
    • QWK < 0:一致性低於隨機分類。
  • 權重處理:考慮分類間的距離,更適合排序型問題。

三、優缺點

  • 優點:
    • 能考慮分類間的相對距離,對排序問題有更高的解釋力。
    • 提供統一分數,便於模型比較與優化。
  • 缺點:
    • 計算較為複雜,尤其在類別數量較多時。
    • 對數據分佈敏感,需謹慎解讀結果。

舉例應用

假設評分範圍為 1-5,評審員給出實際值 [1, 2, 3, 4, 5],模型預測值為 [1, 3, 3, 4, 4]。使用 QWK 評估模型性能,會考慮到模型在接近實際值的分類上是否更準確,而非單純的準確率。

2024年11月22日 星期五

AlphaTensor-Quantumの深層強化学習アーキテクチャの革新点

Source :  https://arxiv.org/pdf/2402.14396


AlphaTensor-Quantumは、深層強化学習に基づくテンソル分解手法であり、テンソルの低ランクWaring分解を探索し、量子回路のTゲート数(T-count)を最適化することを目的としています。標準的なAlphaTensorや他の既存のT-count最適化手法と比較して、AlphaTensor-Quantumの深層強化学習アーキテクチャには以下の革新点があります:

  • 対称テンソルランクの最適化:AlphaTensor-Quantumは、強化学習環境とアクションを修正し、テンソルの対称分解(Waring分解)を提供します。これにより、アクションの探索空間が縮小され、標準的なAlphaTensorよりも大きなテンソルを処理できるようになります。
  • 大規模テンソルへのスケーラビリティ:AlphaTensor-Quantumは、対称化層を含む革新的なニューラルネットワークアーキテクチャを採用しており、より大きなテンソルへのスケーラビリティを実現しています。サイズが30のテンソルの場合、同じ層数で対称化軸方向のアテンション演算速度は約4倍速く、メモリ消費は3倍減少します。
  • ドメイン知識の活用:AlphaTensor-Quantumは、「ガジェット」と呼ばれる量子ゲートの代替実装を活用することで、ドメイン知識を統合しています。これらのガジェットは、追加の補助量子ビットや操作(例:Cliffordゲートや測定に基づく修正)を導入することで、Tゲートの数を減少させます。AlphaTensor-Quantumは、強化学習環境にToffoliガジェットや制御S(CS)ガジェットを活用する効果的な手法を組み込んでいます。
    • 各アクションを実行する際、AlphaTensor-Quantumは、それが直前の6つのアクションと組み合わせてToffoliゲートを形成するか、直前の2つのアクションと組み合わせてCSゲートを形成するかを確認します。Toffoliゲートが完成した場合、7つのアクション全体で-7の報酬(Tゲート7つに相当)ではなく、-2の報酬(Tゲート2つに相当)を与えることで、正の報酬を割り当てます。CSゲートが完成した場合、3つのアクション全体で-2の報酬を与えるように報酬を調整します。
    • AlphaTensor-Quantumは、これらのアクションパターンを識別し活用する方法をデータから学習し、ガジェットを使用するアクションと使用しないアクションの間で適切なバランスを見つけます。

総じて、AlphaTensor-Quantumの深層強化学習アーキテクチャは、対称テンソルランクの最適化、大規模テンソルへのスケーラビリティ、ドメイン知識の活用を通じて、量子回路のTゲート数の最適化において顕著な進展を遂げています。これらの革新により、量子計算分野でさらなるブレークスルーが期待される強力な自動化回路最適化手法となっています。



2024年11月21日 星期四

Machine Learning 三種演算法比較 : Random Forest、Bagging、Boosting

Machine Learning 三種演算法比較 

演算法 核心概念 優點 缺點 適用場景
Random Forest 結合多個決策樹,每棵樹使用不同的子樣本和特徵。最終通過多數投票(分類)或平均(回歸)進行預測。 - 抗過擬合能力強
- 對高維數據表現穩定
- 可評估特徵重要性
- 訓練和預測時間較長
- 無法處理不平衡數據集表現較差
- 高維數據分析
- 特徵重要性評估
- 泛化性能要求高的場景
Bagging 通過對原始數據進行有放回抽樣,生成多個子數據集,並在每個子數據集上訓練弱模型。最終對結果進行平均或投票。 - 降低模型的方差
- 增加穩定性
- 易於並行化計算
- 偏差可能無法顯著減少
- 對單個弱模型依賴較強
- 高方差模型(如決策樹)
- 注重穩定性的場景
Boosting 按序列方式訓練多個弱分類器,每次迭代關注前一輪錯誤分類的樣本,逐步提升模型性能。 - 偏差大幅降低
- 對小樣本和不平衡數據集表現好
- 生成高準確率模型
- 訓練時間較長
- 對噪聲敏感
- 易過擬合(尤其是弱分類器過強時)
- 小樣本數據集
- 不平衡數據場景
- 高準確性要求



2024年11月7日 星期四

大型語言模型(LLM)的使用優化概念整理

紀錄一下 2024/Q3 的進度

大型語言模型(LLM)的使用優化

依照業務需求、數據可用性、應用場景及系統設計考量,採用多種方式運用大型語言模型 (LLM)。

優化層級

提示工程 (Prompt Engineering)

使用提示直接應用預訓練模型,適合簡單需求。

檢索增強生成 (RAG)

通過外部知識增強生成,適用於需要額外資訊的場合。

微調 (Fine-tuning)

使用特定領域的數據進行優化預訓練模型,以應用於特定需求。

預先訓練 (Pre-training)

訓練模型從頭開始,適用於高度定制化的應用場景。



提示工程 (Prompt Engineering) 的特性與優勢

協作與共享見解

善於處理邊緣案例。

可以利用不同描述做實驗,避免偏見與不恰當內容的生成。

精確輸入與回應

使用提示作為輸入示例。

可包含上下文來提升模型表現。

使用完整句子生成更準確的回應。

利用提示進行微調。

輸出格式與持續優化

指定輸出格式,達到結果明確而具體。

設定適當的長度並進行測試和改進。



檢索增強生成 (RAG) 的工作原理

定義與目的

RAG 是將檢索方法與生成模型結合的混合技術。

模型在回答過程中運用外部知識資源,如資料庫、文件或預先存儲的知識。

工作流程

問題提出:用戶輸入問題後,RAG 系統利用智慧檢索器查詢相關資料。

資料檢索:從特定資料來源查詢文件和訊息。

生成回答:檢索到的資訊與問題一起送到語言模型,重組成為有條理的回答。

回答特性

明確引用外部資訊來源,回答具上下文關聯和準確性。



RAG とは何ですか?

定義

RAG (Retrieval-Augmented Generation) 是一種資料擴展生成模型的應用方法。

能利用檢索到的文檔進行資料擴展。

理論挑戰

將整份文件直接提供給模型參考不切實際,可能超出模型處理能力。

運作步驟

資料切片量化:資料切成小片段後量化儲存。

檢索生成:從量化後片段中找出最相似的片段,提升準確性。


RAG 資料切片量化

1. 載入資料

支援多種文件格式:CSV、PDF、JSON、DOCX、HTML 等。

2. 分割資料

將資料分割成較小的內容單位,便於處理。

3. 嵌入資料

將分割後資料轉換為向量表示。

4. 向量資料庫

儲存向量於資料庫,例如 FAISS、Chroma、Pinecone 等。



RAG 檢索生成流程

1. 將問題轉成向量

問題轉為向量格式。

2. 向量比對

在向量資料庫中檢索相似資料。

3. 檢索相關資料

找出最相關的多筆資料。

4. 語言模型生成

將相關資料和問題送入語言模型進行回答生成。

5. 得出結果

生成有條理且精確的回答。



實作雲端 LLM + RAG by n8n 課程

使用 n8n 平台整合 LLM 和 RAG,進行資料處理與對話功能。

Vector 資料庫準備

從 GitHub 獲取數據,提取資料並轉換為向量嵌入,儲存在 Qdrant 向量資料庫中。

對話功能

接收聊天訊息後,通過 OpenAI Chat Model 回應,並用「窗口緩衝記憶」儲存對話上下文。

組合區

工作流觸發器執行推薦嵌入、數據提取與合併,經推薦 API 分割與聚合,最終篩選出與 AI 代理最相關的字段。


2024/11/07

Popular