vibeos
vibe-os is an integrated RISC-V 32-bit QEMU browser OS. 我覺得我一直在測試ai的極限哈哈，三天把之前做過的專案揉成一個作業系統 Lineage: Original project: cccriscv/mini-riscv-os Referenced fork/base: x213212/mini-riscv-os This…
CATEGORY
DevOps & Cloud
43 posts
nix build system
nix 學一下cicd常用的套件 https://github.com/x213212/nix-project-test 最近也用chatgpt 用rust 寫了一套 build-system 應該可以搭配服用 https://github.com/x213212/minibuildsystem install code Copy 1. Installing and Confi…
git command
git merge ex 假設兩個分支master 和 a 有個文件為test.log code Copy a code Copy git add ./test.log git commit -m 'add test.log' 切到 branch a code Copy git checkout a code Copy a b code Copy git add ./test.…
Creating jenkins tasklets to k8s
vm using static ip 上次沒考慮好，我的vm又是吃網卡，所以斷線ip會浮動 這邊直接建立一張 VirtualBox Host-Only Ethernet Adapter #2 之後在每一台server都要多一張網卡 照理說應該會多出一個網卡enp0s8 這邊在linux 要額外設定一下 code Copy cp /etc/sysconfig/network-sc…
install k8s on centos7
install k8s 整體還是在vm 上面centos 模擬集群 先在master 上先裝好環境再複製兩個node1 , node2 VirtualBox 上面用以前的方式背景執行 code Copy C:\Program Files\Oracle\VirtualBox>VBoxManage.exe startvm "centos" --type headless maste…
gitlab autodevops
gitlab Auto DevOps 在上一次實驗中有發現這個Auto DevOps大概來測試一下 .gitlab-ci.yml code Copy stages: - test run_my_tests: stage: test script: - echo "Running custom test script..." - ./run_test…
jenkins gitlab 環境搭建與實驗
jenkins code Copy docker pull jenkins/jenkins:lts docker run -d -p 8080:8080 -p 50000:50000 --name jenkins jenkins/jenkins:lts docker logs jenkins gitlab code Copy docker run --detach \ --…
Use a docker file to create a separate site for the frontend and backend
Use a docker file to create a separate site for the frontend and backend https://github.com/x213212/test_report/tree/main test_report Use a docker file to create a separate site for the fron…
Install Bugzilla
Bugzilla 來學習一下安裝Bugzilla ,參考 https://cloudinfrastructureservices.co.uk/how-to-install-bugzilla-bug-tracker-on-ubuntu-server-20-04-tutorial/ 最近剛透過 VirtualBox 裝 Ubuntu 23.04 ,參考下面網址來達到背景模式執行 h…
gcp loadblance setting & gcp armor
gcp loadblance setting & gcp armor 前幾天開了一台linux 本來要做後台作品集的，結果第一天晚上因為想說應該沒人那麼無聊結果就有一個大陸人用tomcat弱密碼就被入侵了，它們透過tomcat 的 manager，上傳自己的war 包，去執行真他們的java 程式，被它們拿來挖礦，記得排查apache2 的log ip就不碼了 直接被放這隻 莫…
Kubernetes auto scaling
Kubernetes auto scaling 整體在Hyper-v 上實作，可以把我們之前的 service 部屬到 container pod 管理很多 service 可以配合 k8s 去進行集群的控管，因為負載不同也可以自行擴容等等，可能後續會再加入 aws 進行其他研究， 基本上跟以前hadoop 差不多灌完環境在複製一份虛擬機就好 master node 個別下指令…
初探 DEVOPS 本地 CICD 部屬 自動化 Build Image (七)
實現自動化 build image 其實說白了就是封裝後的 Docker Images，具有以下特性: 共享: 可用於公司不同團隊，或提供開源使用。 重複使用。 目標: 客製化個人 Drone Plugin，並帶入自定義的 HELLO 參數，取代原本的 default 值。 GitHub 範例 Drone 階段我們將會做下列的事情 clone project (drone de…
初探 DEVOPS 本地 CICD 部屬 編寫 Drone Plugin (六)
Drone Plugin 其實說白了就是封裝後的 Docker Images，具有以下特性: 共享: 可用於公司不同團隊，或提供開源使用。 重複使用。 add ./update.sh 輸入參數作為環境變數傳遞至 Drone Plugin 內部，需要加上 PLUGIN_ 前綴詞。 sh Copy if [ -z ${ PLUGIN_HELLO } ] ; then PLUGIN_…
初探 DEVOPS 本地 CICD 部屬 Gitlab 觸發 Drone 執行 pipeline 事件 (五)
Gitlab 觸發 Drone 執行 pipeline 事件。 構建 project 這邊測試設為 demo 開啟本地端 hook 如果是「本機」環境測試用，記得要開啟 Gitlab 本地端的 webhook 「Settings --> Network --> Outbound requests」 勾選Allow requests to the local network fr…
初探 DEVOPS 本地 CICD 部屬 使用 Docker 快速架設 Drone (四)
使用 Docker 快速構建 Drone 填入我們上一回寫的 id 和key .env code Copy DRONE_SERVER_HOST=172.24.229.236:8090 DRONE_SERVER_PROTO=http DRONE_GITLAB_CLIENT_ID=b59ab915725beaa7332cbf93fc0c0a15f11332b6d6d2fa2bfd2…
初探 DEVOPS 本地 CICD 部屬 使用 Docker 快速架設 GitLab (三)
使用 Docker 快速構建 GitLab .env code Copy # setting gitlab GITLAB_SERVER=172.24.229.236 GITLAB_WEB_PORT=10080 GITLAB_SSH_PORT=10022 # setting postgresql DB_USER=gitlab DB_PASS=x12345 DB_NAME=git…
初探 DEVOPS 本地 CICD 部屬 wsl2 直上 Harbor 架設私有 Docker 倉庫 (二)
架設私有 Docker 倉庫 在用wsl直上一次Harbor 由於呢，不想再開VM 所以也找不到有 wsl 架設的目前只是測試用，不過可以順利RUN 起 WSL 安裝 harbor https://github.com/goharbor/harbor/releases 目前是下載 wget https://github.com/goharbor/harbor/releases/…
初探 DEVOPS 本地 CICD 部屬 Docker& DockerCompose 快速入門到發布 DockerHub (一)
初探 DEVOPS 本地 CICD 部屬 怎麼麼說呢，在上一章 的 到 部屬到 GCP 的 CICD，這假設在一年的前端在大陸地區落地計畫肯定是行不通的，那麼我們可能就要採用 私有 本地的方式架設 CICD 可以學習到 docker & docker-compose gitlab Drone Kubernetes 詳細相關概念參考與實作 https://ithelp.ithom…
使用 CircleCI 部署 Node.jS App 到 GCP App Engine CICD (二)
使用 CircleCI 部署 Node.jS App 到 GCP App Engine (二) GCP 我們將使用功能十分強大的 Google App Engine(GAE)進行部署，GAE 在處理大流量(load)時，例如訂票系統或是物流系統時非常適合。不但不用自己管理 load balance 的問題。Google 還會幫你自動開關 instances，使用者付費原則，用多…
使用 CircleCI 部署 Node.jS App 到 GCP App Engine CICD (一)
使用 CircleCI 部署 Node.jS App 到 GCP App Engine (一) CI ( Continuous Integration ) 中文為「持續性整合」，目的是讓專案能夠在每一次的變動中都能通過一些檢驗來確保專案品質。CD ( Continuous Deployment ) 中文則為「自動化佈署」，讓專案能夠自動在每次變動後能以最新版本呈現。 首先要改成…
Google Cloud Platform 快速小紀錄 sshfs 掛載 gcp vm
install GCP Cloud Sdk gcloud init https://cloud.google.com/sdk/docs/downloads-interactive?hl=zh-tw#mac 輸入密碼 ssh instance-1.asia-east1-b.hale-mantra-28171 https://stackoverflow.com/questions/…
Google Cloud Platform 快速小紀錄 ssh 到 gcp vm
Google Cloud Platform 快速小紀錄 windows 簽證ssh linux 簽證 ssh shell Copy sudo vim ~/.ssh ssh-keygen ssh-keygen 產生金鑰 取得金鑰 複製到我們的 gcp 靜態 ip set 連線 test 測試 ok 改天來部屬 我們的 前陣子的 spring cloud 東西到上雲!
WSL2 docker run pxc server + haporxy 負載平衡
wsl2 docker run pxc server + haporxy code Copy docker swarm init docker network create -d overlay --attachable pxc-network docker run -d -p 9001:3306 -e MYSQL_ROOT_PASSWORD=abc123456 -…
MYSQL PXC (docker for windows) 待續...
MYSQL PXC (docker for windows) 常用的mysql集群設計方案 Replication 速度快 弱一致性 低價值 場景：日誌、新聞、帖子 PXC 速度慢 強一致性 高價值 場景：訂單、帳號、財務 PXC大致原理為：當有寫入修改操作時，將該操作在集群內所有機器上都執行一遍，只有所有機器都確認完成後，這條操作才算成功。大致可以總結為以下幾個特點： 強一致…
Logstash 同步 MySQL 到 Elasticsearch
Logstash 同步 MySQL 到 Elasticsearch 下載 logstash-7.6.2 mysql-connector-java-8.0.20 /bin/logstash -f logstash-es-mysql.conf code Copy input{ stdin { } jdbc { # 驅動方式…
常用分布式追蹤整理
最近在整理一些常用文章做一整個歸納比較清楚方便索引，再來整理過後會再改良我們的目前分布式架構補足並加強! 分布式调用链跟踪系统通常有几个设计目标 低侵入性 – 作为非业务组件，应当尽可能少侵入或者无侵入其他业务系统，对于使用方透明，减少开发人员的负担； 灵活的应用策略 – 可以（最好随时）决定所收集数据的范围和粒度； 时效性 – 从数据的收集和产生，到数据计算和处理，再到最终展…
Spring Cloud 微服務入門 (十二) restemplete 多層服務呼叫 docker - compose 構建 (二)
目前架構 可以看到我們下面 服務好像有固定的資料庫可能是集群或是什麼 在前面的學習好像沒看到更複雜的呼叫，分布式很多問題，像是數據不同步，光是鎖就有一大堆，就以認證中心設計成微服務的話， 資料庫就會變成多個，這樣就不能判斷你到底是到底在哪一台呼叫，而出現你有雙重的登入資料快取在分散的資料庫解決方式可能有 一 分布式鎖 二共用同一個資料庫 這部分先以後有空再弄，目前就是先拓展為多…
Spring Cloud 微服務入門 (十一) ELk 日誌中心搭建與執行 rabbitmq 模式 docker - compose 構建 (一)
本來想用kafka 看看的，睡醒在弄看看吧，我在想接下來是不是要通通移到docker 上了，乾脆上雲好了xd在看個aws 目前整個架構就這樣 初步介紹 查看日誌的傳統方法是：登錄操作系統，使用命令工具如cat、tail、sed、awk、grep等等進行過濾輸出後分析，處理少量日誌還好，日誌量大處理效率就沒那麼高了。而且很多情況下開發人員需要查看並分析日誌進行排錯，但他們對Lin…
Spring Cloud 微服務入門 (十) Zipkin 追蹤鏈 rabbitmq 模式
當服務擴增到一定的程度時，併發時候，因為 zipkin 預設 是靠 http 去做傳輸，所以怕 耗到這部份的效能，也不能保證我們的 zipkin server 會不會 掛掉所以我們要一個中間層也就是rabbitmq，所以可以先把 log 發送到 rabbitmq 佇列裡等待被派送到 由他來判斷我們的 zipkin server 狀態是否可以接收我們的 log 因為 rabbit…
Spring Cloud 微服務入門 (九) Zipkin 分布式追蹤鏈
zipkin zipkin是分佈式鏈路調用監控系統，聚合各業務系統調用延遲數據，達到鏈路調用監控跟踪，當服務多起來要追蹤調用method可能會異常困難，這邊引入了 zipkin 針對各個服務進行調用追蹤。 執行 zipkin linux code Copy wget -O zipkin.jar 'https://search.maven.org/remote_content?g…
Spring Cloud 微服務入門 (七) Zuul + Spring Security 完成 獨立認證中心 Service 之 token +不專業 壓力測試
這邊呢我打算就乾脆拿我們上次已經做好的 Spring Security 範例來直接進行結合。 Spring Security 稍微研究了一下他在 JwtAuthenticationFilter 裡面繼承了UsernamePasswordAuthenticationFilter 在裡面有一段是 super(new AntPathRequestMatcher("/login", “…
從 高可用 到 微服務 初探 (一) 架構演變
建立 高可用 集群 nginx + keepalived + tomcat https://www.javazhiyin.com/33054.html 自己如果大概實作也可以(我是懶了xd 這邊如果要自幹的話當然也可以，比較常見就是兩台伺服器自行編寫程式碼去監測服務有沒有掛掉，就是成本有點貴這樣，好像也不能解決問題，在之前教學文章我之前有嘗試過用兩層 nginx 去做(沒意義…
websocket 達到百萬連接?(三) 端口 驗證
連接埠重複使用? 假象? https://colobu.com/2019/02/23/1m-go-tcp-connection/ 在看了下數據後 最下面貼文 發現了是不是只是 本地端 的假象? 來實驗一下 在使用docker 虛擬連接發現docker 創建的連線數是正常的嗎 開了兩台 client 模擬客戶端 每台上限65536，可以看到 server 確實達到 接近12萬連線…
OpenResty + nginx + redis + spring 如何達到高吞吐量伺服器的架構? (五) 使用openresty 打造 推送server
一開始本來打算使用 firebase. 去做推送server，後來發現這項技術，在大陸地區訪問google 或是 其他服務是很有問題的xd 這邊我們才用websocket來實現 為什麼要用websocket? 传统HTTP客户端与服务器请求响应模式如下图所示： WebSocket模式客户端与服务器请求响应模式如下图： https://blog.csdn.net/oranglel…
OpenResty + nginx + redis + spring 如何達到高吞吐量伺服器的架構? (四) 負載平衡下的 session 共存
在一般的傳統下最簡單的方法就是 跟伺服器 登入帳號密碼就取得一個 key 然後伺服器返回 一個 hash 然後我們的 就可以 照著這個 key 去判斷到底是 不是維持這組帳號 是不是 中斷，然後 我們伺服器後端 也必須要去記錄到底 是誰使用這個 cookie，這組帳號 能不能 從其他地放登入等等， 為什麼要使用 spring boot + redis 去設計，比較可能的原因就是…
OpenResty + nginx + redis + spring 如何達到高吞吐量伺服器的架構? (三) openresty lua模組化
安装 Nginx+Lua 开发环境 首先我们选择使用 OpenResty ，其是由 Nginx 核心加很多第三方模块组成，其最大的亮点是默认集成了 Lua 开发环境，使得 Nginx 可以作为一个 Web Server 使用。借助于 Nginx 的事件驱动模型和非阻塞 IO，可以实现高性能的 Web 应用程序。而且 OpenResty 提供了大量组件如 Mysql、Redis、…
OpenResty + nginx + redis + spring 如何達到高吞吐量伺服器的架構? (二) 壓力測試工具篇
壓力測試工具 ab 安裝壓力測試工具，ab 源自 apache 的壓力測試工具我們來安裝吧 在学习ab工具之前，我们需了解几个关于压力测试的概念 吞吐率（Requests per second） 概念：服务器并发处理能力的量化描述，单位是reqs/s，指的是某个并发用户数下单位时间内处理的请求数。某个并发用户数下单位时间内能处理的最大请求数，称之为最大吞吐率。 计算公式：总请求…
OpenResty + nginx + redis + spring 如何達到高吞吐量伺服器的架構? (一) 基本介紹以及安裝openresty
我想大概某個大神說的，nginx 雖然有 負載平衡機制，在yahoo 公司內部也有用openresty 編寫模組的經驗 看來應付其他功能一些功能也相當彈性，但是假設要讀到db，可以再加設 一層 redis 也就是之前前輩所說的叫我不要接的爛攤子xd，如果經由負載平衡的話可以 在經過 redis 請求有資料就返回，沒資料的話就就跟數據庫要一份，然後緩存在 redis 這樣的話可以…
Nginx 初探 基於 反向代理 負載平衡 實現 無痛升級 ?
嘖嘖，公司架構，大部分可能要換成新的一些架構，被我抓到這個機會可以參與研發與設計比較底層的架構這樣，希望可以參與設計到結束這樣，廢話說完爽 今天來使用新的東西 反向代理! Nginx 來看一下比較客觀的大眾比較， 最終 技術經理 是說 apache 越來越肥，所以叫我先來研究一下 nginx，網頁伺服器 如何 做到無痛更新之類的，痾vue webpack 的預設 伺服器是 no…
Docker 環境安裝 Redis 到外網訪問
Docker 環境安裝 Redis 到外網訪問 --- 寫到一半的時候發現，那我們的東西，都放在裡面的話是不是不能拿出來??? 當然要想辦法給外面用，所以我找到了大概這些東西 docker 簡單指令 docker 訪問 外部文件(簡單版) 直接 跟著做 docker 映射連接埠 至 外網 直接 跟著做 Docker 簡單指令 --- 簡單翻了一下，大概搭建到完成Redis 使用…
Docker 安裝 和搭建Redis編寫環境
https://koukia.ca/installing-redis-on-windows-using-docker-containers-7737d2ebc25e Docker 安裝 和搭建Redis編寫環境 --- 大哥要走了，能不能繼承他的遺志呢，先來著手搭建環境，解決資料重複查詢問題，大哥說醫院架構組的是JPA機制，由於呢java 處理 xml的東西(? 是有問題的?，…
Python Facebook聊天機器人 Echo Ngork
前置作業 --- 聊天機器人 想說 Linebot 弄完後順便連Facebookbot一併弄一下好了 bot也算是兩年前的東西了，以前寫沒留下近期內用到再來寫一下作教學文 不然每次的話都要再重找 不過Facebookbot比較麻煩一點就是了 那在我們上一回的 Linebot 都裝的差不多了， 為什麼技術文章寫來寫去還是很像在寫心情雜記xd 創立一個粉絲專頁 --- Facebo…
Python Line聊天機器人 Echo Ngork
前置作業 --- https://admin-official.line.me https://developers.line.me/console/channel 上面會用到的兩個網址 https://yaoandy107.github.io/line-bot-tutorial/ 照這位大大把推廣的帳號和line console後台做綁定 好了之後呢我們來看一下正題 我們先來…
