Mam w naturze kombinować... Ruszać rzeczy które działają dobrze a mimo to próbować "ulepszać". Nie zawsze wychodzi mi to na dobre ale nauka na błędach to też nauka Tym razem przyszedł mi do głowy iście szatański pomysł. Żeby nie było, już 2x do niego podchodziłem ale za każdym razem albo rozsądek brał górę albo zmieniałem koncepcję na jeszcze bardziej "zwariowaną" ale do rzeczy...
Obecnie mam:
- za router robi mi miniPC na N5105, 4x 2.5g LAN, 256GB SSD, 8GB ram i OpenWRT
- switch główny to USW-8-150W, do niego podpięte po PoE 2x U6-Lite i 2x USW-Mini-Flex (więc część sieciową mam na Unifi)
- za NAS robi mi składak z softem Synology (i7-7700t, 12GB ram, SSDki i karta 10g ograniczona przez router do 2.5g (w PC też 2.5g)
- na NASie w VMM mam Debiana z home assistantem i innymi usługami (niestety darmowa licencja VMM pozwala tylko na jedną wirtualkę)
Pomysł:
- przejść na LAN 10g między PC a NAS
- wprowadzić wirtualizację (Proxmox)
- zwirtualizować router
Przygotowania:
- nabyłem switch Netgear MS510TXPP (PoE+, 4x 1gbit, 2x 2.5g, 2x 5g, 1x 10g rj45, 1x 10g sfp+)
- mam kartę 2x SFP+ na pcie oraz jakąś intel dual-lan 2x 1gbit
- ssd NVMe 512GB na proxmoxa (będzie na płycie w M.2)
- 2x adapter m2->pcie x1 + 2x NVME 256GB jako ssd cache (niestety SSDki 2.5" mając limit 500MB/s czyli niecałe 5Gbit. Chcąc wysycić 10gbit LAN muszę pójść w ssd cache dla macierzy ssd
Realizacja:
1) na nowym SSD NVMe instaluję proxmoxa - prosta sprawa
2) pierwsza wirtualka - Xpenology DS920+, podpięte przez passthrough 3x SSD z danymi z obecnego Xpenology i to działa od strzała bo mam to już przećwiczone. Po aktywacji IOMMU podpinam iGPU z procesora intela pod Xpenology by Plex wspierał HW transcodding - przećwiczone, działa. Przez Passthrough przekazuję też 2 adaptery m.2 pcie i instaluję SSD Cache - sprawdzone, da się i działa. Temat NASa zakończony
3) druga wirtualka - exportuję obecnego Debiana z Xpenology, rozpakowuję OVA i mam obraz gotowy do importu pod Proxmoxa - sprawdzone, działa. Przez USB Passthrough podpinam Zigbee Coordinator i temat Home Assistanta ogarnięty - sprawdzone, działa
4) trzecia wirtualka - Router... Tu mama najwięcej wątpliwości ale załóżmy... karty dual SFP+ i dual 1gbit podpinam przez Passthrough pod wirtualkę. Dodatkowo "przekazuję też vNET sieciówki zintegrowanej by sam Proxmox miał komunikację. Na OpenWRT jako br-lan podpinam integrę i jeden port SFP+. Dwa porty 1gbit będą WAN1 i WAN2 na chwilę obecną. Drugi port SFP+ zostawiam na przyszłość gdy operator wprowadzi łącza >1gbit. Exportuję listę pakietów i config z obecnego OpenWRT i odtwarzam na wirtualce.
5) podmieniam switche, Proxmoxa łączę po SFP+ z Netgearem. Kartę Asus C100C 10gbit rj45 zdemontowaną z NASa przekładam do PCta, podpinam kablem cat6 do switcha i mam 10gbit między NAS a PC.
6) pod dołożeniu RAMu może jakiś poligonowy Windows by stanął. Wszystko zależy od dostępnych zasobów.
Wątpliwości:
Czy to w ogóle ma sens? Czy oby nie za wcześnie na 10gbit? Mam obecnie LAN 2.5g w domu i prawdę mówiąc nie potrzebuję więcej (net obecnie 400mbps z możliwością zwiększenia do 1gbit). Nie mówiąc już o konieczności zamontowania SSD Cache z dysków NVMe by te 10gbit wykorzystać (w ogóle SSD Cache do macierzy SSD? kto to słyszał ). Całość to de facto czysta zabawa + nauka (łącze w proxmoxie spędziłem może z 10h). Największa wątpliwość dotyczy funkcji routera na takim serwerze wirtualizacji - jak coś padnie to nie mam nic, nawet neta. Więc może router w wirtualce to "średni" pomysł? Z drugiej strony myśl o scentralizowaniu wszystkiego kusi.
Drugim takim moim "konikiem" jest oszczędność prądu. Pół roku temu po przejściu z HDD na SSD zbiłem zużycie prądu przez moją "serwerownię" ze 100W na ok 73W. Z przykrością więc patrzę jak każdy dołożony dysk, każda dołożona karta rozszerzeń czy switch zwiększa zużycie prądu. Taki Netgear pobiera 10W więcej niż switch Unifi. Dołożenie SSD cache to dodatkowe 6-7W, dysk na proxmox to kolejne 3W więc sumarycznie +10W w dyskach, karta SFP+ też swoje pobiera. Sam proxmox zauważyłem dużo mocniej obciąża CPU co przekłada się na wyższe zużycie energii. Po testowej migracji na proxmoxa, z odpalonymi 2ma wirtualkami (synology i debian) i podmienionym switchem na netgeara ponownie dobiłem do 100W, co już mnie irytowało a jeszcze nie przeniosłem funkcjonalności routera. Ok, wyleci obecny router docelowo ale to 16W mniej więc w końcowym rozrachunku i tam zwiększę zużycie prądu niż obecnie... i prawdopodobnie hałasu, bo switch unifi jest pasywny a netgear aktywny. Obecnie NAS jest obciązony w 3-5% a na proxmoxie dobija do 30% a na mojej i7`czce siedzi boxowy cooler intela
Finalnie
Plusy:
+ przygotowanie na 10gbit
+ wszystko scentralizowane
+ pozbywam się jednego z urządzeń fizycznych (routera)
+ odzyskam sporo kasy bo switch unifi i router są warte z 1800pln
+ zalety wirtualizacji, snapshoty itd.
Minusy:
- na chwilę obecną żadnych większych korzyści z 10g nie odczuję
- prócz poniesionych już nakładów (switch i karta sfp+ ok 1000pln) musiałbym jeszcze trochę zainwestować na wymianę chłodzenia CPU, cichy wentylator do switcha i pamięć RAM (pewnie 200-300pln)
- większe zużycie energii, niby niewiele większe bo z 20W ale to jednak sprzęt chodzący 24/7
- centralizacja ma swoje minusy, jak coś padnie/spali się to leży wszystko, jak będę chciał coś wymienić to leży wszystko
- mały minusik za switch spoza ekosystemu unifi
Co myślicie o takim rozwiązaniu?
Proxmox VE:i5-13400T, 64GB RAM, 2x 512GB NVMe, 3x 2TB SSD, Intel X710-DA2 SFP+ VM Router:OpenWRT 22.03.4 VM NAS:Synology SA6400 VM VPS:Debian, WWW, Home Assistant Switch:Netgear MS510TXPP Switch:Ubiquiti USW-Flex-mini - szt. 2 Wi-Fi:Ubiquiti U6-Lite - szt. 2
Powiem cie, że projekt ciekawy. Ja na razie w domu myślę o przejściu na 2,5G dodając switch by leciało przez AX86U. Choć zastanawiam się nad kartami SFP+ nawet 8Gbp/s do NASa (xpenology) i PC bo to mnie najbardziej interesuje na szybkości. DO VM il więcej tym płynniej.
Jeden minus tego co kminisz to faktycznie jak cos padnie to leżysz. Może ten mPC jako HA zostawić?
Ja teraz zastanawiam się czy z230 podmieniać na z240 (oba i5) SFF, pasuje mi gabarytami. Czy zaszaleć i b365m z i5 8gen w NODE804. To apropo NASa.
W tej drugiej opcji jest 2x m.2 i już Syno w koncu daje możliwość storage na m.2.
Net kulejący bo tylko 30Mb/s UL. Rózowi nie dali mi dobrej oferty, a UL mają najlepszy.. Zosteje UPC z 30.
ja jestem bardzo zadowolony z ProXmox teraz nawet wykrywa grub i nie trzea po undate robic aktualizacji jadra na karcie SD.
@Shibby masz licencje czy free? przy free trzeba dodac repozitorium
deb http://download.proxmox.com/debian/pve bullseye pve-no-subscription
no i nie mozna wylaczac tego wyskakujacego komunikatu ze masz wesje free po zalogowaniu gdyz wtedy nie dzialaja update.
ale nie potrzebuje u siebie robudowanej sieci wiec jak obecny sprzet padnie (szkoda mi HP MS z Xeon i 4 HDD) to potem jednak zrobie osobny miniPC router i NAS.
Edytowany przez Adooni dnia 23-04-2023 16:43
Orange 300/50 Mb/s + ONT Terminal HPE MS gen8 Proxmox 7.0-11 VMs: Router OPNsense 23.X-amd64 and OMV HPE MicroServer gen8: Xeon E3-1265Lv2, 16GB (2x KTH-PL316E/8G), HP 331T, 4x4TB WD RED Asus RT-AC68U AccessPoint
mam wersję free, tak wiem że trzeba repo no-subscription dodać (można przez gui) i niestety wiem, że nie można wyłaczyć tego monitu przy logowaniu i w sumie nawet nie zamierzam kombinować.
Właśnie wypiąłem jeden dysk 1tb z NASa i postawiłem sobie nową wirtualkę z Proxmox Backup Server i pod niego ten dysk podpiałem i na nim będę sobie codzienne backupy robił A dodatkowo podmontowałem sobie udział cifs z NASa i będę tam najwazniejsze wirtualki robił raz na tydzień (będzie ok 200GB) i będę to pchał na chmurę OneDrive przez Hyper Backup
Zrecydowanie RAMu muszę dołożyć bo 16GB już dawno się skończyło. Dołożyłem 4GB z szuflady i już mam 95% zajęte a wirtualka z win10 wyłączona Chyba będę musiał od razu 32GB wsadzić (tyle max płytą obsłuży)
Tak to wygląda na chwilę obecną:
Pozostało:
- dokupić RAM
- czekam na dysk 2TB SSD i rozbuduję obecną macierz SHR z 2x2TB do 3x2TB
- czekam na wentylatorek do netgeara bo obecny jest głośnawy i wtedy pożegnam switch unifi na rzecz netgeara
- wan2 już śmiga po vlanie ale jak zepnę proxmoxa ze switchem światłem to wtedy obecny WAN poleci na zintegrowaną sieciówkę (tymczasowo robi za unplink do unifi) i wtedy sieciówka 2x1gbit będzie niepotrzebna i ją wyję.
i to będzie koniec na chwilę obecną (przynajmniej nie mam więcej pomysłów na tą chwilę) Edytowany przez shibby dnia 23-04-2023 20:16
Proxmox VE:i5-13400T, 64GB RAM, 2x 512GB NVMe, 3x 2TB SSD, Intel X710-DA2 SFP+ VM Router:OpenWRT 22.03.4 VM NAS:Synology SA6400 VM VPS:Debian, WWW, Home Assistant Switch:Netgear MS510TXPP Switch:Ubiquiti USW-Flex-mini - szt. 2 Wi-Fi:Ubiquiti U6-Lite - szt. 2
jako systemowy (NVMe) mam Samsung 980. Natomiast jako storage to mam (niestety) dość wysoką półkę, bo udało mi się swego czasu kupić serię Enterprise czyli Samsung SM863 na kościach MLC i to są dyski które pewnie mnie przeżyją, więc ja raczej będę złym przykładem do naśladowania
Możesz ewentualnie spojrzeć na serię PM863 albo PM883 - powinna być o połowę tańsza od SM (bo jest na kościach TLC). A jak mowa o dyskach z "domowego" podwórka to na pewno nie QLC (tego unikaj nawet do kompa), tylko dobre TLC z 5-letnią gwarancją powinny się nadać do NASa.
Co do adapterów LAN 1Gbit, to ja użyłem intel pro/1000 pt dual port ale docelowo wyleci na rzecz Mellanox-3 dual SFP+
Proxmox VE:i5-13400T, 64GB RAM, 2x 512GB NVMe, 3x 2TB SSD, Intel X710-DA2 SFP+ VM Router:OpenWRT 22.03.4 VM NAS:Synology SA6400 VM VPS:Debian, WWW, Home Assistant Switch:Netgear MS510TXPP Switch:Ubiquiti USW-Flex-mini - szt. 2 Wi-Fi:Ubiquiti U6-Lite - szt. 2
@shibby a jak to dziala w porwnaniu z poprzednim sprzetem/softem? Bo nie ma porownania wydajnosciowego, ale widze, ze musiales kupic to-tamto-siamto :-D i musisz jeszcze dokupic pare rzeczy, zeby dzialalo wydajnie. Wiem, ze na razie jest bardziej chyba for fun, ale wiedza przyda sie na pewno na przyszlosc.
Jakbym dziś stawiał na poprzednim minipc router to postawiłbym w proxmoxie
Wydajnościowo wiadomo że nowe jest lepsze (i7, sfp+) ale to nie oznacza że na stary sprzęt narzekałem... Nic z tych rzeczy, raz skonfigurowany działał bezbłędnie.
Po prostu temat wirtualizacji mocno zana chodzi i "bolało" mnie że na synology mogłem mieć tylko jedna wirtualke. Stąd tak istotna zmiana.
Proxmox VE:i5-13400T, 64GB RAM, 2x 512GB NVMe, 3x 2TB SSD, Intel X710-DA2 SFP+ VM Router:OpenWRT 22.03.4 VM NAS:Synology SA6400 VM VPS:Debian, WWW, Home Assistant Switch:Netgear MS510TXPP Switch:Ubiquiti USW-Flex-mini - szt. 2 Wi-Fi:Ubiquiti U6-Lite - szt. 2
@shibby. Dziękuje za informacje. Ale te dyski nie są na moją kieszeń
Zakupie 2x2TB WD RED SSD to i tak spory wydatek na HDD.
Co do wirtualizacji to się cieszę że wyjaśniłeś, nie doczytałem nigdzie że na synology tylko jedną można uruchomić.
Adapter LAN zamontowałem Quad Gigabit Adapter 10/100/1000/2500Mbps na Realtek 8125b i zobaczę jak to wyjdzie. Bo na dzień dzisiejszy to tylko NAS ma port 2.5G również na Realtek 8125b
nie doczytałem nigdzie że na synology tylko jedną można uruchomić.
w darmowej licencji. Oczywiście możesz dokupić sobie VMM Pro ale licencja na 3 dodatkowe wirtualki to kosmiczne 850pln na rok !! https://www.ceneo.pl/75373276
Scalony z 25 kwietnia 2023 08:33:50:
Cytat
widze, ze musiales kupic to-tamto-siamto :-D i musisz jeszcze dokupic pare rzeczy, zeby dzialalo wydajnie.
wiesz jak to mawiają "apetyt rośnie w miarę jedzenia" Na upartego nie musiałbym kupować nic ale skoro NAS stał się serwerem wirtualizacji, procesor to i7 więc jakiś zapas mocy ma, to szkoda by było tego nie wykorzystać. Chcąc finalnie sprzedać miniPC z portami 2.5g musiałem siłą rzeczy pomyśleć o nowym switchu a że bez sensu było kupować drugi switch to musiałem szukać taki, który pozwoli mi zastąpić obecny od unifi (choć z bólem serca będę się z nim żegnał). Niestety następca mojego US-8-150W, czyli model USW-Enterprise-8-PoE to koszt 2800pln, co jest po prostu ceną z kosmosu!! a i tak funkcjonalnie byłby gorszy od Netgeara (tylko 2 porty 10g a reszta to 1g, za to netgear ma pełną paletę portów )
Scalony z 25 kwietnia 2023 19:24:15:
Scalony z 27 kwietnia 2023 19:02:01: "It has been done"
Wszystko z checklisty zostało wykonane (a w sumie to nawet więcej)
1) Proxmox postawiony na NVMe Samsung 980 512GB
2) Xpenology zmigrowany do wirtualki, podpięte 2 dyski SSD 2TB ale dziś dojechał trzeci i właśnie macierz się rozbudowuje. Udało się też podpiąc iGPU z procesora do wirtualki więc w Plexie działa HW Transcoding
3) wirtualka z Debianem pomyślnie zmigrowana spod Synology do Proxmoxa
4) Router... udało się, openwrt stoi, ma podpiętą kartę 2x SFP+, do jednego portu wpięty WAN (przez adapter sfp-rj45) a drugim portem leci światłem LAN 10Gbit do switcha MS510TXPP
5) Karta Asusa XG-C100C, która wcześniej była w NASie teraz zagościła w moim PC, dzięki temu i ja mam link 10gbit
6) Ramu dołożyłem na ile fabryka pozwoliła czyli 4x8GB DDR4 3200MHz od goodrama (ale płyta spowolniła do 2400MHz)
7) dysk SSD 1TB podpiąłem pod kolejną wirtualkę, którą jest Proxmox Backup Server. Na niego codziennie robię backupy wirtualek. Dodatkowo raz na tydzień backupy robią się przez CIFS/SMB na udział NASa, który to następnie wysyła je na chmurę OneDrive. Dzięki czemu mam 2 niezależne kopie wszystkich wirtualek (jedną codzienną pod ręką, drugą tygodniową jakby się stało najgorsze.
8) karta sieciowa Intel Pro/1000 Dual okazała się zbędna. Drugi WAN (zapasowe) "wpuszczam" do OpenWRT za pomocą VLANu (router LTE podpięty jest więc do switcha do portu z wydzielonym VLANem).
9) Jako chłodzenie procesora zakupiłem Thermalright AXP90-X53, natomiast w switchu wymieniłem wiatraczek na Noctua NF-A4x20.
10) wszystkie urządzenia sieciowe zostały uziemione a łącze WAN od dostawcy przechodzi przez UPS z zabezpieczeniem przeciwprzepięciowym
11) po wszystkich zabiegach zużycie serwerowni (to co w stopce) wzrosło z 73W do 77W, więc akceptowalnie
12) jedynie czego nie udało się wdrożyć w życie to SSD Cache dla Xpenology. Po prostu SSD Cache z dysków NVMe na macierz SSD nie przyniósł kompletnie żadnej korzyści w transferach. Nie mniej po rozbudowiem macierzy o 3ci dysk SSD mam nadzieję zobaczyć przyrost i przebicie szklanego sufitu, który obecnie wynosi okolice 520MB/s. Być może jeszcze kiedyś podejmę kolejną próbę z SSD Cache ale nie było to priorytetowe w tym projekcie.
Miłego dnia i do następnego projektuEdytowany przez shibby dnia 27-04-2023 19:02
Proxmox VE:i5-13400T, 64GB RAM, 2x 512GB NVMe, 3x 2TB SSD, Intel X710-DA2 SFP+ VM Router:OpenWRT 22.03.4 VM NAS:Synology SA6400 VM VPS:Debian, WWW, Home Assistant Switch:Netgear MS510TXPP Switch:Ubiquiti USW-Flex-mini - szt. 2 Wi-Fi:Ubiquiti U6-Lite - szt. 2
@shibby masz zamontowany samsung980 w proxmox. jakie masz temperatury? zakupiłem nowy 980, ale nie wiem skąd u niego tak wysoka temperatura. Również tak masz, czy coś nie tak z tym egzemplarzem?
mój po 10 minutach pracy łapie taka temperature
Założyłem radiator na ten dysk. Ale objawy dalej te same :/Edytowany przez dragmar dnia 06-05-2023 16:10
Scalony z 07 maja 2023 10:04:09:
@dragmar poczytaj to
https://forum.proxmox.com/threads/smart-error-health-detected-on-host.109580/
piszą tam to że wina firmware w naszych samsungach. Ze dysk dostaje piki temperatury ponad 80st. Ja miałem firmware 2B4QFXO7 a najnowszy jest 3B4QFXO7.
Tu jest ten firmware
https://download.semiconductor.samsung.com/resources/software-resources/Samsung_SSD_980_3B4QFXO7.iso
a tu instrukcja jak wgrać z poziomu konsoli proxmoxa
https://blog.quindorian.org/2021/05/firmware-update-samsung-ssd-in-linux.html/
całość zajęła mi może 2min, dane zachowało, i po restarcie mam
Cytat
root@pve:~# smartctl -a /dev/nvme0
smartctl 7.2 2020-12-30 r5155 [x86_64-linux-5.15.107-1-pve] (local build)
Copyright (C) 2002-20, Bruce Allen, Christian Franke, www.smartmontools.org
=== START OF INFORMATION SECTION ===
Model Number: Samsung SSD 980 500GB
Serial Number: S64DNL1T908573N
Firmware Version: 3B4QFXO7
PCI Vendor/Subsystem ID: 0x144d
IEEE OUI Identifier: 0x002538
Total NVM Capacity: 500,107,862,016 [500 GB]
piszą że po upgradzie problemy z temp ustały. Przekonamy się Edytowany przez shibby dnia 07-05-2023 10:04
Proxmox VE:i5-13400T, 64GB RAM, 2x 512GB NVMe, 3x 2TB SSD, Intel X710-DA2 SFP+ VM Router:OpenWRT 22.03.4 VM NAS:Synology SA6400 VM VPS:Debian, WWW, Home Assistant Switch:Netgear MS510TXPP Switch:Ubiquiti USW-Flex-mini - szt. 2 Wi-Fi:Ubiquiti U6-Lite - szt. 2
Wczoraj wleciał GTX1050ti do serwerka z Proxmoxem Kartę puściłem przez Passthrough do wirtualki z Xpenology. Następnie przebudowałem TCRP z DS920+ na DVA3219. Efekt w załączniku
Wleciało też 8 licencji na kamery do Surveilance Station Będzie zabawa w AI i wykrywanie twarzy, tablic rejestracyjnych. Chcę też zobaczyć jak sobie karciocha poradzi z HW transcoding w Plexie
shibby załączono następujące plik:
Nie masz uprawnień, by zobaczyć załączniki w tym wątku.
Proxmox VE:i5-13400T, 64GB RAM, 2x 512GB NVMe, 3x 2TB SSD, Intel X710-DA2 SFP+ VM Router:OpenWRT 22.03.4 VM NAS:Synology SA6400 VM VPS:Debian, WWW, Home Assistant Switch:Netgear MS510TXPP Switch:Ubiquiti USW-Flex-mini - szt. 2 Wi-Fi:Ubiquiti U6-Lite - szt. 2
Wczoraj wleciał GTX1050ti do serwerka z Proxmoxem Kartę puściłem przez Passthrough do wirtualki z Xpenology. Następnie przebudowałem TCRP z DS920+ na DVA3219. Efekt w załączniku
Wleciało też 8 licencji na kamery do Surveilance Station Będzie zabawa w AI i wykrywanie twarzy, tablic rejestracyjnych. Chcę też zobaczyć jak sobie karciocha poradzi z HW transcoding w Plexie
Możesz podać jaka płytę główna posiadasz w tym serwerze?
Oczywiście sprzęt ewoluował przez ten czas, wleciał procek i7-7700T, 64GB ram i sieciówka 10G od intela a wszystkie dyski zostały wymienione na SSDki ale "podstawa" została bez zmian
Kilka dni temu zmigrowałem Synology do DVA1622 i przez Passtrough dałem iGPU z procesora. Transcoding w Plexie działa bardzo ładnie, jest 8 kamer w Surveilance Station. Powinna też działać detekcja Ai dla jednej kamery.
Scalony z 30 września 2024 07:53:49:
żeby być konsekwentnym (i nie wprowadzać w błąd poprzednim wpisem) uzupełnię wypowiedź o fakt, iż jakiś miesiąc temu upgrade`owałem sprzęt z 7700T na 13400T, do tego płyta główna to Asus Prime B760M-A D4-CSM.
Proxmox niestety stawiany na nowo, co nie było planowane ale okazało się, że żeby odpalić tryb CSM (Legacy) musiałbym wyłaczyć iGPU i użyć zewnętrznej grafiki… Stąd reinstalacja w trybie UEFI.
Chcąc skorzystać z dobrodziejstw iGPU 13gen musiałem zmigrować Xpenology do modelu SA6400 - to jedyny który posiada nowszy kernel i obsługuje iGPU powyżej 9gen. Niestety nie wszystko poszło zgodnie z planem i “wygrałem” też postawienie Xpenology na nowo (na poprzednim loader był skopany, dostawałem kernel panic, a po zmianie loadera gdy NAS wkońcu wstał okazało się że połowa pakietów jest uszkodzonych - w tym docker - i nie da się go naprawić/wystartować).
W ten oto sposób zmieniłem loader z M-Shell na Arc Loader Next, do tego zamiast montować to jako sata0 zamontowałem go jako USB boot (tak mi polecono na forum xpenology) - do pliku konfiguracyjnego z wirtualką (/etc/pve/qemu-server/xxx.conf) dodałem:
Shibby - a jak jest z bezpieczeństwem danych na dyskach przy takich zmianach? I jak odtworzyć konfigurację (konta użytkowników, wolumeny, foldery współdzielone, uprawnienia, itd.?
Takie właśnie problemy przy aktualizacji lub zmianach konfiguracji odstraszają od używania XPEnology jako głównego systemu NAS. Jak bawiłem się vDSM w dokerze to dało się zamontować pliki img (obrazy dysków stworzone przez vDSM) korzystając z OSFMount + sterownika WinBtfrs i odzyskać dane w przypadku problemów.
Niedawno stawiałem testowo na loaderze TCRP DS920+ - działało ale próba konwersji na DS1821+ kończyła się pętlą reinstalacji DSM (konwersja na DS362x+ wykonała się poprawnie). W razie awarii jest obraz dysków z proxmoxa tylko pojawia się problem jak się dobrać do zawartości - szczególnie jeśli dyski były skonfigurowane w macierz RAID/SHR a nie jako osobne pule danych.
Z jednej strony fajnie mieć soft synology na znacznie wydajniejszym sprzęcie ale z drugiej do celów domowych chciałoby się to skonfigurować raz i mieć spokój. Co innego serwer homelab i VMki do ew. zaorania jeśli coś pójdzie nie tak.
Mam DS220+ i poza ograniczonym miejscem na dyski ten model w zasadzie w zupełności wystarcza do większości podstawowych (i nie tylko) potrzeb. VMki i tak działają na osobnym PC - włączanym w razie potrzeby.
W sumie Synology mogłoby wypuścić swój soft w formie subskrypcyjnej do instalacji na dowolnym sprzęcie. Na ten moment tego nie zrobi ale jak dalej będzie sprzedawać tak ograniczony HW w porównaniu z konkurencją za podobne pieniądze to w końcu segment użytkowników domowych i SOHO im się wykruszy a w segmencie dużych klientów biznesowych Synology nie ma czego szukać.
No nie do końca Jeżeli przy twworzeniu wirtualki dodasz dyski wirtualne (wybierzesz storage i na nim utworzysz vdisk) to tak, masz rację. Ale jeżeli zamiast tego przekażesz całe fizyczne dyski (przez passtrough) do wirtualki albo jeszcze lepiej cały kontroler SATA (jako PCIe) do wirtualki to wtedy wirtualka będzie widziała fizyczne dyski pod Xpenology. Żaden wtedy problem wsadzić w przyszłości te dyski do prawdziwego NASa Synology i on je rozpozna i wykona migrację.
Miałem u znajomego przypadek następujący: miał DS215+, kupił DS923+. Zmigrowaliśmy mu i podnieśliśmy DSM do najnowszej wersji. Niespełna godzinę później jedna kieszeń przestała działać (nie wykrywało dysku). Nowy NAS poleciał na gwarancję. Niestety nie mogliśmy wrócić do poprzedniego NASa ponieważ nie obsługiwał on DSM7.2. Wziąłem więc starego PCta i postawiłem mu Xpenology - bez problemu wykrył i zmigrował system. Jak z gwarancji przyszedł nowy NAS to przełożyliśmy dyski i wszystko wstało
U siebie natomiast wielokrotnie przechodziłem między baremetal a proxmox, zarówno z wykorzystanie karty HBA H310 w IT mode, jak i bez. Bez problemu mi się migrował DSM. Migrowałem z DS918+ na DS920+, później na DVA3221 (dla obsługi GTX1050ti), później
DVA1622 (iGPU). Skończyłem na SA6400 i tu faktycznie się system posypał ale przez aktualizację do nowszej wersji (sama migracja przeszła poprawnie). Później doczytałem że akurat SA6400 ma problemy z Bootloadere na Sata mode i powinno stawiać się go w USB mode. Na szczęście posypały się paczki a nie sam DSM - dostać się do danych mogłem, więc postawiłem obok drugi Xpenology na świeżo na jednym dysku, przeniosłem najważnejsze dane, po czym zaorałem stare xpenology, przeniołem pozostałe dyski pod nowego i rozszerzyłem macierz.
W niedzielę poszedłem o krok dalej. Stwierdziłem, że skoro proxmox stoi na NVMe a dyski SATA są podpięte tylko pod Xpenology, postanowiłem spróbować czegoś innego. Wywaliłem ten kontroler Asmedia i przerzuciłem do wirtualki cały kontroler Intel AHCI SATA Onboard Controler… Działa Dyski są w pełni widoczne, SMART działa a transfery?
Oczywiście mimo wszystko trzeba pamiętać że RAID to nie Backup!! Dlatego ja mam kilka poziomów backupu:
1) Ważne wirtualki backupuję na pojedyńczy dysk NVMe sformatowany pod ext4 - jego zawsze mogę podłączyć pod inny sprzęt i odtworzyć wirtualki.
2) Raz na tydzień te wirtualki kopiuję też na SMB Xpenology (to wkońcu RAID i osoby system), tak na wypadek gdyby dysk backupowy NVMe padł
3) Najważniejsze dane na Xpenology (skany dokumentów, opracowania, itd) wysyłam przez Hyper Backup do chmury MS Onedrive (szyfrowanie 64 znakami). To już na taki ekstremalny wypadek gdyby mi cały serwer padł
4) oczywiście serwerek jest podpięty do UPSa
Proxmox VE:i5-13400T, 64GB RAM, 2x 512GB NVMe, 3x 2TB SSD, Intel X710-DA2 SFP+ VM Router:OpenWRT 22.03.4 VM NAS:Synology SA6400 VM VPS:Debian, WWW, Home Assistant Switch:Netgear MS510TXPP Switch:Ubiquiti USW-Flex-mini - szt. 2 Wi-Fi:Ubiquiti U6-Lite - szt. 2
Dzięki za odpowiedzi.
Jeśli chodzi o obrazy dysków to zgadza się - do celów testowych stawiałem system na 2x128GB pliki obrazów na LVM proxmoxa - spięte w RAID SHR. Stąd nie mam pewności czy dałoby się je odczytać pod innym systemem niż xpenology.
Z passthru to wiadomo - tak jak pisałeś w innym wątku - albo dyski widoczne jako QEMU-* albo trzeba przekazać cały kontroler.
Pojawia się coraz więcej gotowców w przystępnych cenach np. AOOSTAR (LINK) ale też innych, które aż się proszą o postawienie xpenology lub też proxmoxa i na nim homelaba.
Na swoje potrzeby i tak muszę mieć oryginalnego DSa - ze względu na active backup, subdomenę od synology, aktualne zabezpieczenia i stabilność działania. Drugi serwer (nie wystawiony na świat) już może być jako kopia zapasowa ew. do bardziej obciążających zadań.
W DSM brakuje mi właśnie metody na skopiowanie/backup ustawień konfiguracji systemu np. przez HyperBackup. Chyba od 7.2 pojawiła się opcja pełnej kopii NAS ale niekonieczne chcę/mam miejsce na dysku zewnętrznym by taką kopię wykonać. Migrując np. same ustawienia (użytkownicy, foldery współdzielone - bez danych) można łatwo odtworzyć/zdublować konfigurację na innym NAS a potem tylko przenieść wybrane dane.
Linki do boardpc się nie otwierają - pewnie wymagają logowania na tamtym portalu.
· Łącznie użytkowników: 24,115 · Najnowszy użytkownik: Ja
Czat
Musisz się zalogować, aby opublikować wiadomość.
Maniek91PL
06-11-2024 22:37
dzięki !
maxikaaz
29-10-2024 14:27
@Maniek91PL - Administration=> Admin Access, i tam masz "Allow Wireless Access" do zaznaczenia
Maniek91PL
26-10-2024 22:07
siemka! ktoś przypomni co się ustawiało jeśli nie mogę wejść od strony wifi do tomato? od lan działa
overflow2
04-10-2024 17:34
Kupowałem Asusy n10u albo n12d1 ale nie widzę ich, chyba już nie produkują, Chodzi o coś nowego i taniego. Transfery niewielkie.
maxikaaz
04-10-2024 09:38
@overflow2 patrząc po dostępności funkcji w nowych kompilacjach, to chyba nawet WRT54G/GL jeszcze ma OpenVPN, albo jakiś odpowiednik... zależy, na jakie transfery liczysz.
overflow2
30-09-2024 20:53
Jaki aktualnie najtańszy router do tomato do openvpn?
maxikaaz
27-07-2024 15:07
@servee - na początek router do rozebrania i obejrzenia, ciężko wróżyć tak tylko po objawach
maxikaaz
27-07-2024 14:55
@servee - cały kontroler nie pada tak sobie z powodu "zbiegu okoliczności", więc prawdopodobnie gdzieś przepięcie.
servee
25-07-2024 13:33
@maxikaaz: działało, aż pewnego pięknego dnia przestało działać. W tym dniu była też burza, ale to raczej zbieg okoliczności.
maxikaaz
25-07-2024 11:38
@servee - o ile problem jest w obrębie samych wyjść (dławiki, warystory), to naprawialne, ale jeśli w samym SoC - to nienaprawialne ze względu na koszta. A co było przyczyną?
' target='_blank'>Link
ale nauka na błędach to też nauka 
dev/nvme0, Critical Warning (0x02): Temperature