Karen
25 位追蹤者
分享一些自學的程式筆記，紀錄自己的成長歷程軌跡，對於 AI 科技與金融感興趣
27會員
33內容數
歡迎來到《桃花源記》專欄。這裡不僅是一個文字的集合，更是一個探索、夢想和自我發現的空間。在這個專欄中，我們將一同走進那些隱藏在日常生活中的"桃花源"——那些讓我們心動、讓我們反思、讓我們找到內心平靜的時刻和地方
由新到舊
覺得學習新技術很難?
因為 AI 領域的技術不斷地迭代更新，無法避免的是需要一直去追新的技術 並且需要在一個有限的時間學會，或是實作應用導入到專案之中。
那我覺得在學習新技術可通過以下步驟:
1. 找一個讀得懂的教學資源
現在網路上的教學資源很多，或是書籍的資源也很豐富， 同時也有像是 chatgpt 的 AI
2024-07-25
15
【邁向圖神經網絡GNN】Part4: 實作圖神經網路訊息傳遞機制透過這篇文章，我們將瞭解如何使用PyTorch實作圖神經網絡中的訊息傳遞機制，從定義消息傳遞的類別到實作消息傳遞過程。我們也探討了各種不同的消息傳遞機制，並通過對單次和多次傳遞過程的結果，可以看到節點特徵如何逐步傳遞與更新。
2024-07-24
10
【邁向圖神經網絡GNN】Part3: 圖神經網絡的核心-訊息傳遞機制本篇文章專注於消息傳遞（message passing）在圖神經網絡（GNN）中的應用，並以簡單的例子解釋了消息傳遞的過程和機制。
2024-07-24
4
【邁向圖神經網絡GNN】Part2: 使用PyTorch構建圖形結構的全過程本文主要筆記使用pytorch建立graph的幾個概念與實作。在傳統的神經網路模型中，數據點之間往往是互相連接和影響的，使用GNN，我們不僅處理單獨的數據點或Xb，而是處理一個包含多個數據點和它們之間連結的特徵。GNN的優勢在於其能夠將這些連結關係納入模型中，將關係本身作為特徵進行學習。
2024-07-24
5
【邁向圖神經網絡GNN】Part1:圖數據的基本元素與應用GNN發展背景
傳統的深度學習模型如在計算機視覺（CV）和自然語言處理（NLP）領域中極為成功，主要是處理結構化數據如影像和文本。這些數據類型通常具有固定且規律的結構，例如影像是由有序的像素點組成。然而，在真實世界中，許多數據是非結構化的，如化合物結構（原子和分子）。這些數據雖然具有一定的規則性，
2024-07-22
8
推薦系統算法：監督式學習、分群和相似度本文探討了監督式學習、分群和相似度這幾個推薦系統算法，分別討論了它們的優點、缺點以及適用場景。這些算法在推薦系統中扮演著重要角色，並透過特徵選擇與預處理、相似度度量和鄰居的選擇等關鍵因素進行深入分析。文章最後提出在選擇推薦系統算法時應該考慮的因素，以及未來的研究方向。
2024-04-03
23
初探 Kafka：理解其特點、通訊模式與應用場景Kafka是一個先進的分佈式流處理平臺，具有高吞吐量、可擴展性、容錯性和低延遲特性，提供瞭解耦、非同步和削峰特點。本文介紹了Kafka的通訊模式、適合的應用場景和未來發展趨勢，旨在幫助使用者更好地理解和應用Kafka。
2024-03-28
5
Pandas 資料處理: 如何處理數據型態自動推斷的問題？本文探討了在使用 pandas 處理資料時應注意的幾個關鍵點，以及如何減少因資料型態問題而產生的錯誤，確保資料的原始意義得以保留。主要包括Pandas 資料處理深入解析，尋找CSV之外的數據儲存方案，以及優化資料處理策略。
2024-03-06
6
【圖論Graph】Part3：最短路徑演算法 - Dijkstra 介紹與實作上篇進一步認識基本的圖形架構與三大 Graph 算法，那首先從 shortest path 開始，我們會陸續去理解這些算法，以及可能的應用，如果還沒有看過上一篇的，可以點以下連結～那我們就開始吧！
【圖論Graph】Part1：初探圖形與圖形演算法之應用
2024-02-27
6
【圖論Graph】Part2：深入認識Graph的基本概念、組成和應用本篇文章深入介紹了圖形的基本概念、組成和應用。從圖形的基本組成，到圖的類型與種類，再到圖形演算法的三大類型，本文將接續圖形領域的深入學習，並分享了對圖形的初步認識和學習方向的小心得。希望對正在學習圖形的人有所幫助。
2024-02-25
4
【圖論Graph】Part1：初探圖形與圖形演算法之應用圖形演算法在資料處理上扮演重要角色。本文介紹圖形的歷史、定義、技術用途，以及為什麼我們要關心圖形演算法。文末還提及圖形演算法在機器學習領域的應用。下次將介紹更詳細的圖形演算法內容。
2024-02-21
4
Leetcode 30 天 Pandas 挑戰分享參加Leetcode的30 Days of Pandas挑戰，除了是學習的機會，更是練習熟悉pandas功能的機會。文章分享了挑戰簡介、題目描述、關鍵技術以及參加挑戰的心得。適合新手學習pandas，也可提升熟練度。
2024-01-30
8
解決 NVIDIA GPU 驅動 libnvidia-ml.so 錯誤訊息這篇文章將分享最近遇到 NVIDIA GPU driver 的問題，並提供瞭解決步驟，以及證實問題解決的測試方法。當您遇到類似問題時，可以參考這篇文章進行解決。文章中包含了定位庫文件目錄、備份和替換文件以及測試修改的步驟。
2024-01-29
3
將RAG與Semantic Search融入LLM：提升準確性與效率前言
前幾篇分享了 IBM Watsonx.ai 平台，以及在平台上使用 LLM 完成客戶體驗分析、與LLM串連處理較複雜的問題。在這一篇中，我們想來嘗試使用檢索增強生成（RAG）的技術，RAG 通過整合外部數據來增強基礎模型的回答能力，這不僅能解決模型訓練數據的局限性問題，還可以提供更精準和相關
2023-12-18
4
LLM 串連：利用不同模型的優勢完成更複雜和多樣的任務前言
在先前的文章中，我們探討了 IBM Watsonx 在客戶滿意度分析中的應用。今天，我們將利用 Google 的兩款大型語言模型（LLM）— flan-ul2 和 flan-t5-xxl，展示它們如何串聯起來生成關於特定主題的隨機問題和回答。
在這篇文章中，將使用 SimpleSequen
2023-12-18
2
利用 IBM Watsonx.ai 與 Python SDK :應用 LLM 在客戶滿意度分析前言
在上一篇文章中，分享了第一次使用 IBM Watsonx 的經歷，以及我對 Prompt lab 功能的初步探索。繼續這個話題，本文將探討 Watsonx 平台對 Python SDK 的支持，以及實作幾個 LLM 的應用，這一特性為開發者提供了極大的便利，使得在此平台上進行開發和應用大型語
2023-12-17
4
我的IBM Watsonx之旅：初次體驗 Prompt Lab 與 LLM 的應用前言
在這個迅速變化的技術世界裡，AI 已成為推動創新和效率的主要動力之一，最近很幸運得參加了IBM Watsonx 的 workshop，對我來說是一個很好的機會認識企業對於快速導入AI和整合AI應用的平台。IBM Watson 作為AI領域的先驅之一，長久以來一直在智慧型系統和認知計算方面處於
2023-12-03
10
距離2023年末的最後六週，想跟自己說的話當你在人生的旅途中感到疲憊時，記得每一次的日落都不是結束，而是另一個開始的預告。黃昏的柔和光線照亮了你的路途，提醒你，無論今日有多艱難，明天總會帶來新的希望與機會。
每一個夕陽的背後，都隱藏著一個黎明的承諾。讓這個承諾成為你的動力，讓你在困難中保持堅韌，不屈不撓。每當感到力不從心時，抬頭看看天空，
2023-11-19
14
機器學習實用技巧：用多進程加速你的特徵工程在數據科學和機器學習中，特徵工程是提高模型性能的關鍵步驟之一，通過創建新特徵或轉換現有特徵，我們可以更好地捕捉數據中的信息，提高模型的預測能力。然而，當處理大數據集時，特徵工程可能變得耗時，而且若是在研發階段，特徵其實是需要快速迭代去產生並且做後續的實驗，這也是近期遇到的問題，因此想在這篇文章實作多
2023-10-30
10
特徵工程前的三大核心準備！1. 問題定義
每一個成功的模型都始於明確的問題定義！
核心思考：你的模型想要達到什麼目的？
例如：是要偵測每一筆交易是否涉及洗錢，還是要從大量資料中找出可能的洗錢關聯戶？
2. 數據檢查
數據是模型的基石，但不是所有數據都是有用的！
核心思考：你的數據夠嗎？時間分佈如何？正負樣本
2023-10-09
8
國泰金控技術年會：AI 的最新發展與趨勢今年的國泰金控技術年會，關於 AI 有幾個主題覺得很有趣、也受到一些啟發:
1. 可解釋 AI : AI 的可解釋性一直是一個很被關注的題目，尤其是發生在模型要準備落地應用，需要驗證黑盒子是不是依照正確的邏輯、人類的邏輯去判斷問題，我自己很喜歡這個部分，算法是用一套最基本的SHAP，SHAP基於博
2023-09-20
6
最近的生活反思: 工作的熱情與挑戰最近這一兩個月來，我完全沉浸在 coding 的世界中。每一天，從早到晚，我的腦海中充滿了code、data、model 和各種開發的挑戰。白天我的工作桌前總是亮著螢幕的光，顯示著那些我正在開發的專案。而當下班後的生活，我仍舊專心在開發額外接的案子，以及最近參與的技術競賽燒腦。
這樣的生活模式已經
2023-09-14
8
[Solved] Centos 移除 Podman 和安裝 Docker最近有採購幾台 server ，正在進行一些設定的作業，把這些過程都保留下來，之後要再設定就可以回來查看了～～～
目標
在 Centos Linux 主機上移除 Podman ，並安裝 Docker
解決
首先先確認 Centos 的版本，是 Debian or Fedora
cat /
2023-09-02
6
尋找工作與生活的平衡：一個有意義的人生之旅壓力的多重來源
最近，我感到生活壓力逐漸增加，來自多方面的因素。一方面，工作的需求和期限讓我感到壓力山大；另一方面，參與的各種活動和項目也讓我喘不過氣來。我的智能手錶甚至也顯示出我的壓力指數從平時的50幾升高到了70幾。這段時間的睡眠質量也受到了影響，但我相信一旦這一切忙碌過去，情況會有所改善。我
2023-09-02
14
大幅提升執行效率：解析Python多執行緒和多進程的效能差異與使用情境最近在調整跟優化效能時，又來複習了 Multi-threading 和 Multiprocessing 的概念，在面對大數據時，能夠有效利用多核心處理器的能力，對於提升程式執行效能至關重要。
Python 提供多線程(Multi-threading) 和多進程 (Multiprocessing)
2023-08-15
11
如何運用批次輸入、多處理技術加速特徵工程How to utilize batch input and multi-processing techniques to accelerate feature engineering?
問題
在進行特徵工程的過程中，我們通常需要處理各種各樣的數據，並轉換它們成有意義的特徵，以供後續的模型訓練
2023-08-14
10
探索 XGBoost：如何查看訓練模型中的特徵名稱 How to access feature names in a trained XGB model ?
故事是這樣的...
在接手某個專案中，取得了一份已經訓練好的 pickle 檔案記載著 XGBoost model weight ，但因為 feature engineering 的程式碼交
2023-08-09
5
[Solved] Python matplolib mac 電腦中文字不能顯示matplotlib 無法顯示中文，看了很多篇教學文都無效
mac 解法可以參考這篇...
2023-07-31
5
雙帳號輕鬆切換！在同一台電腦上切換多個Github帳號在進行開發工作時，可能會使用不同的 Git 帳號做登入和推送的情形，例如: 公司的 Git 帳號和個人的帳號，這樣做的好處是為了確保開發工作能清楚劃分，所以需要做切換帳號的動作，特別是在不同的專案間切換 commit 的對象，因此有了這篇文紀錄這個過程。
2023-07-31
3
Python 爬蟲入門範例：建立簡易抓取網路資料的爬蟲程式網路爬蟲(web crawler)，也叫網路蜘蛛（spider） 是一個強大的自動化工具，可以自由瀏覽、擷取訪問網頁的各項資訊，例如:新聞文章、電商商品價格，當專案中需要添加外部數據或進行大量資料收集時，網路爬蟲就是一個非常實用的工具。
2023-07-31
4
淺談 Docker，讓搭建資料科學環境更高效上篇我們在安裝 VirtualBox 練習使用虛擬化切割出獨立空間做開發，那除了使用 VM 達到虛擬化外，另一個輕量級的虛擬化技術 - 容器化。
要使用容器，那就不能不認識 Docker
2023-07-31
3
三步驟在 Windows 電腦上安裝 VirtualBox 啟動 Ubuntu 虛擬機「我只有 Windows 電腦也可以操作 Linux 指令嗎?」
「想試試看其他作業系統，需要移除作業系統再重灌嗎?」
「想了解虛擬化，快來試試看 VirtualBox」
今天就來實作 VirtualBox 安裝 Linux ubuntu 作業系統吧!
2023-07-31
2
