Ładuję...
photo
zaloguj się i wrzuć coś ciekawego na flakera

środa 22 września

aktywność użytkownika
photo
Skompilowałem sobie najnowszą betę #Sphinx'a i zrobiłem z niej bazę danych, zamiast po prostu #fulltext'a. No i generalnie póki co jest od 3 do 16x szybsza we wszystkim, co robi od tego samego na #InnoDB (a w sumie to #XtraDB). Normalnie wyłączam cache... [#MySQL | sphinxsearch.com inne wpisy na ten temat ]
  1. photo wsl @mlen - to jasne, że gdzieś te dane muszą być i ja je dalej trzymam w MySQL, bo pod pewnymi względami jest to ciągle potężniejsze narzędzie. Po prostu do tego rodzaju SELECT'ów, których używam, opłaca się trzymać wszystko także w Sphinx'ie i na nim operować. Jest po prostu bajecznie szybki a skaluje się, póki mi możliwości starczyły na sprawdzenie -- liniowo.
    Nie jestem specem od Postgresa, ale z tego co wiem, to jest bardzo dobry w INSERT'ach -- połączenie go ze Sphinx'em mogłoby dać naprawdę zabójczy kombajn. [odpowiedz]
  2.  

poniedziałek 5 lipca

aktywność użytkownika
photo
photo

czwartek 8 kwietnia

aktywność użytkownika
photo
"Powinienem kupić szybki #SSD czy więcej RAM'u?" -- na to pytanie w kontekście wydajności w #MySQL odpowiada świetny post z #MySQLPerformanceBlog.
[mysqlperformanceblog.com/.../04/08/fast-ssd-or-more-m... inne wpisy na ten temat | #InnoDB #XtraDB #FusionIO #Percona]
  1.  

czwartek 1 kwietnia

aktywność użytkownika
photo
Gdy patrzę na takie wpisy przypomina mi się reklama Intel'a: "Our jokes aren't like your jokes". Ludzie z pomysłami na fajną technologię chyba rzeczywiście nie mają pomysłów na fajne żarty...
[tokutek.com/...10/04/tokutek-acquires-or... inne wpisy na ten temat | #TokuDB, #MySQL, #Oracle]
  1.  

poniedziałek 29 marca

aktywność użytkownika
photo
Zna ktoś może na to lepszy sposób? Od tygodnia choruję i może moje władze umysłowe są przytępione (a może to nie od tygodnia a od czego innego)...
Potrzebowałem uruchomić #Sphinx'a przez nieuprzywilejowanego użytkownika, jednak instalacja z repozytoriów #Debian'a powoduje, że tenże gości na prawach root'a. Pozmieniałem co trzeba żeby uruchomił się jako ja, ale pozostawał problem uruchamiania go przy starcie systemu -- gdyby do takiego doszło straciłbym możliwość rotacji indeksami, a to byłby niejaki ból. Pomajstrowałem więc przy skrypcie /etc/init.d/sphinxsearch i tam okazało się, że demon startuje przy użyciu start-stop-daemon, która to ma opcję --chuid, z której można skorzystać do zmiany użytkownika, na którego prawach aplikacja będzie uruchamiana. Działa, ale szczerze mówiąc bardziej mi się podoba rozwiązanie, które ma w sobie ot choćby #MySQL -- ustawianie użytkownika w configu. Tego Sphinx nie ma. Ale może ma jakieś ładniejsze rozwiązanie -- ktoś zna?
  1. photo wsl dodałem tego flaka do historyjki:Marysia i Sfinks 
  2.  

piątek 26 marca

aktywność użytkownika
photo
Jedną z ważnych przewag #InnoDB nad #MyISAM jest to, że do swoich buforów potrafi wsadzić nie tylko klucze z tabeli, ale także jej dane. Zamiast odczytywać je z dysku, operujemy na RAMie, co (uwierzcie mi) drastycznie przyspiesza pracę z bazą. Twórcy #XtraDB postarali się dodać do information_schema swoją tabelę INNODB_BUFFER_POOL_PAGES_INDEX, dzięki której -- konstruując odpowiednie zapytanie -- możemy się dowiedzieć np. jak dobrze wpasowuje się nasza tabela w pamięć. Takie zapytanie napisali dla nas sami autorzy silnika. Dobrodusznie z ich strony, prawda? Najlepiej teraz wklepać sobie je tylko w jakiś widok.
[mysqlperformanceblog.com/...0/03/26/tables-fit-buffer... inne wpisy na ten temat | #MySQL, #Percona]
  1.  

wtorek 23 marca

aktywność użytkownika
photo
Od trzech dni robię jedną rzecz -- kompiluję SphinxSE do już zainstalowanych z repo #Debian'a serwerów #MySQL i #Sphinx. To jest nieprawdopodobne, ale ilekroć uda mi się zrobić krok do przodu, znów tkwię na jakiejś przeszkodzie kilka godzin. Do tego stopnia skończyły mi się opcje, że już przeszedłem na #MariaDB na swoim produkcyjnym serwerze z nadzieją, że skompilowany moduł zadziała pod nią -- niestety. Został mi ostatni krok -- skompilować całą Marię z #OurDelta ze SphinxSE od podstaw (mając nadzieję, że zadziała!) i zarządzać to w ten sposób za każdym razem, gdy wyjdzie nowa wersja. #Wyraz mnie trafi, ale co tam. Zostanę mistrzem wklepywania configure-make-make-install...
  1. photo anakh komentarz usunięty [odpowiedz]
  2. photo wsl komentarz usunięty [odpowiedz]
  3. photo anakh @wsl - ok dasz radę [odpowiedz]
  4. photo wsl Ja dam, ale czy serwer da :> [odpowiedz]
  5. photo anakh @wsl - kto nie próbuje ten nie wie , trzeba czasem zaryzykować:> [odpowiedz]
  6. photo wsl Taa... Po zmianie bazy danych okazało się, że pół systemu mi nie działa... Jak nie urok to srrr... ebrne wesele. [odpowiedz]
  7. photo anakh @wsl - nic to #wiosna [odpowiedz]
  8. photo wsl dodałem tego flaka do historyjki:Marysia i Sfinks 
  9.  

piątek 19 marca

aktywność użytkownika
photo
Zastanawiam się czemu nie ma tego posta bezpośrednio na #MySQLPerformanceBlog, jest jednak w archiwum gdzie indziej, a jest dość ciekawy. Pokazuje bowiem jak czasem trzeba się poważnie zastanowić nad zapytaniem, które kierujemy do bazy, bo proste i krótkie nie oznacza szybkie. Sentencja na dziś: Myśl tak jak #MySQL. [planet.mysql.com/entry/?id=23944 inne wpisy na ten temat | #optymalizacja]
  1.  

czwartek 18 marca

aktywność użytkownika
photo
Ale właśnie tekst przeczytałem... Nie mogę... Czy ktoś mi to może wytłumaczyć? Gość chce zoptymalizować wyszukiwanie po wielu kolumnach i mówi co następuje: "Zastosowanie OR jak wiadomo jest mało wydajne i zamula bazę", (skąd to wiadomo?) więc kombinuje z innymi metodami, typu UNION, FULLTEXT. Ludzie mu podpowiadają memcached, replikację, hashmapy (sic!) a nawet Sphinxa. OMG! Dlaczego nikt mu nie powie, że to tylko inny sposób na nazwanie problemu i żeby po prostu postawił indeksy i wrzucił to wszystko w RAM a query analizer zrobi resztę? Wyobraźnia ludzka nie zna granic... [devpytania.pl/.../wyszukiwanie-po-wielu-ko... inne wpisy na ten temat | #MySQL]
  1. photo bozydar @wsl - nic nie rozumiem z Twojego wpisu :)))) ale ja nie z tej bajki [odpowiedz]
  2. photo ahilles107 @bozydar - lol ;) [odpowiedz]
  3. photo wsl Bramka nr 1 zawiera normalne podejście do alternatywy -- 3 kolumny (na nich zwykły indeks), 2 razy OR i tyle.
    Bramka nr 2 zawiera indeks pełnotekstowy założony na kolumnie, która zawiera w sobie tekst ze wszystkich trzech kolumn -- i na tej kolumnie robimy wyszukiwanie pełnotekstowe, w którym robimy OR.
    Bramka nr 3 to zasadniczo to samo, tylko wykonane w Sphinxie.
    Moim zdaniem MySQL Fulltext odpadnie w przedbiegach. Jest katastrofalnie powolny.
    Nie mam natomiast pewności, czy Sphinx poradzi sobie z tym zadaniem lepiej niż normalne indeksy MySQLowe. A fakt, że zwraca id nie stanowi problemu -- zwraca je do bazy (jeżeli oczywiście korzysta się z SphinxSE) a ona od razu wyciąga odpowiednie rekordy.
    Moim zdaniem lepiej jest tutaj inwestować w optymalizację MySQL niż kombinowanie z nie wiadomo jakimi rozwiązaniami. [odpowiedz]
  4. photo wsl @mlen - ja za to jestem Sphinx loverem. Zamierzam się przesiąść niedługo z jednym projektem właśnie na niego tylko muszę zrobić "extensive testing" jak wygląda jego wydajność w przypadku łączenia indeksów i w ogóle indeksowania. Mam bowiem aplikację, która dość często robi inserty i indeks się regularnie zmienia. Z drugiej strony mógłbym w końcu całkowicie zrezygnować z pieprzonego MyISAM. Jaka byłaby to ulga... [odpowiedz]
  5. photo wsl Zrobiłem właśnie testy i nie będę robił merge'owania. Wystarczająco krótko trwa rotate'owanie indeksów ;) [odpowiedz]
  6.  
  7. pokaż wszystkie komentarze (27)

poniedziałek 25 stycznia

aktywność użytkownika
photo
Kilka osób się tu ostatnio zachwyca #tcmalloc'iem, więc może parę bardziej konkretnych słów na jego temat niż "#MySQL przyspiesza 20%".
Bo to nieprawda. Przynajmniej nie zawsze.
Ponieważ nie znalazłem informacji o tym, by w swoich build'ach Percona dorzucała Thread Caching Malloc (wprost przeciwnie, czytałem maile ich pracowników o nieciekawych wynikach ich wewnętrznych testów), więc postanowiłem operować właśnie na tej podstawie -- 5.1.42 z XtraDB -- jeśli ktoś znajdzie taką informację, to oczywiście całe testy pójdą w łeb, ale nie sądzę.
  1. photo wsl Wykonałem pewne testy na swojej aplikacji wyszukującej, którą postawiłem na cloud serverze -- nie oszukujmy się, osoby, które zaczynają swoją przygodę ze startup'em nie zawsze mają pieniądze na dedykowany serwer. I co ciekawe tu tkwi sedno problemu, bo jedyne, co mogę dostać do takiego #Rackspace, to 4 rdzenie. I choć twórcy tcmalloc'a dają do zrozumienia, że zaletą jest skrócenie czasu adresowania, to w praktyce okazuje się, że te zalety są widoczne dopiero przy dużej ilości rdzeni -- 8 i więcej -- i dużej liczbie jednoczesnych sesji. [odpowiedz]
  2. photo wsl Gdy sam uruchomiłem #httperf do zmierzenia ile requestów obsłuży mi baza w ciągu sekundy bez tcmalloc'a a ile z, wyniki były takie (bez / z [req. per sec.]):
    -- skomplikowane zapytanie, strona niecache'owana: 29,4 / 32,4
    -- skomplikowane zapytanie, strona cache'owana: 93,8 / 94
    -- proste zapytanie, strona niecache'owana: 86,2 / 87,2
    -- proste zapytanie, strona cache'owana: 128,9 / 132,5
    Wyniki w granicach błędu statystycznego. A muszę nadmienić, że użycie pamięci w MySQL było duże -- cache'owanie odbywa się w postaci tabeli HEAP. Dzięki temu następne zapytania zasuwają jak dziki bawół.
    Więc jeśli nie masz odpowiednich warunków nie oczekuj, że tcmalloc będzie motorkiem w d... Twojego MySQL'a. [odpowiedz]
  3. photo iktorn Co Ty na to @az? :) [odpowiedz]
  4. photo az @iktorn - imho profiler nie kłamie. [odpowiedz]
  5. photo wsl Może dorzucę jeszcze dwa linki znalezione w necie, z wynikami które zdają się potwierdzać to, o czym mówię -- tcmalloc pomaga MySQL'owi przestać się dławić, gdy jest tłoczno -- 8, 16+ równoległych wątków, na maszynach z 8 i 16 rdzeniami. Od 1 do 4 różnica może być niezauważalna. Jeżeli u kogoś jest, to ma niezłego farta ze scenariuszem... [lists.launchpad.net/...cona-discussion/msg00337.... inne wpisy na ten temat | mail-archive.com/...ssion@lists.launchpad.net... inne wpisy na ten temat [odpowiedz]
  6.  

czwartek 14 stycznia

aktywność użytkownika
photo
Ja już upgrade'owałem swojego #MySQL do 5.1.42 i #XtraDB do 1.0.6-9, a Ty? ;)
[mysqlperformanceblog.com/...xtradb-storage-engine-rel... inne wpisy na ten temat | #Percona]
  1.  

środa 13 stycznia

aktywność użytkownika
photo

środa 30 grudnia

aktywność użytkownika
photo
#Szachy można implementować różnie, ale generalnie robi się to w jakimś #C -ywilizowanym języku. Są jednak szaleńcy, którym zdarza się chęć zrobienia tego ot chociażby w... #SQLu, a dokładniej w jego #MySQL'owym dialekcie. W poscie, do którego link jest na końcu jest początek zabawy, a w następnym z kolei znajdziecie procedurę na ruszanie pionkami. #Cool!
[blog.some-abstract-type.com/...9/12/chessboard-in-mysql.... inne wpisy na ten temat ]
  1. photo alex-pl fajne! 
  2. photo bziuum fajne! 
  3. photo Mekk eee, myślałem że to jakiś algorytm grania a to tylko rysunek ;-)
    Z ciekawostek: aquarium (taki stosunkowo nowatorski program do analizowania partii) używa sqlowej bazy danych. [odpowiedz]
  4. photo wsl Ale procedur SQLowych czy po prostu bazy danych? [odpowiedz]
  5. photo wsl Wiesz o co mi chodzi -- jak głębokie jest zaangażowanie bazy... [odpowiedz]
  6. photo Mekk Po prostu bazy danych (używa jej zdaje się do ewidencjonowania ewaluacji pozycji i podobnych rzeczy). [odpowiedz]
  7.  

wtorek 15 grudnia

aktywność użytkownika
photo
A co jeśli masz ochotę wypróbować #MySQL 5.5?
Przede wszystkim #InnoDB Plugin 1.0.5 wbudowany bezpośrednio w serwer. Żadnego importowania, żadnego rejestrowania -- po prostu jest. Cud, miód.
Ponadto "pół-synchroniczna" replikacja opracowana na podstawie gugielskiego patcha do InnoDB, tyle że w 5.5 jest ona niezależna od silnika. Tutaj jednak potrzeba odrobiny konfiguracji, ale odrobinę wysiłku rekompensuje wynik.
Partycjonowanie -- w końcu można nie tylko po zasięgu na kolumnach całkowitoliczbowych ale także po datach czy tekście. Dla niektórych pewnie zwłaszcza kwestia daty będzie dobrą wiadomością.
A na koniec wyjątki w postaci COLGAT... tj. SIGNAL i RESIGNAL we własnych procedurach -- czego się nie robi dla debugowania?
I tak się póki co betonowa (taka była nazwa kodowa 5.5 -- #Betony) baza danych rozwija. Szkoda, że póki co, to wciąż milestonowa beta.
  1.  
photo
Nie kumam, czy naprawdę niektórzy programiści nie rozumieją, że do stworzenia dobrej wyszukiwarki, którą się będzie określać mianem "motoryzacyjnego Googla" nie wystarczy #FULLTEXT w #MySQL'u?
Wpisałem w to Wrr... aż mi nazwa nie przechodzi przez gardło... "BMW 123d", fajne małe autko, z dwulitrowym dieselkiem. W wynikach wyszukiwania jako ogłoszenie premium dostałem, tadaaaa, Forda Transita, potem już lepiej, bo Beemki, tyle że trójki, piątki, a nawet siódemki czy X5...
Dobra, przekonfigurowujemy zapytanie: "BMW 1, 2.0 diesel". Jeszcze gorzej... Pozostaje dalej szukać na otomoto i innych, bo ten agregator nie nadaje się do niczego.
Ciekawe jest to, co się dzieje po wpisaniu "Mercedes S". Nagle S znika.
I takie "cudo" dostaje Webstara od Internautów. Oj ostro się V10 wybuli za wysłane na siebie SMSy, ostro... #FAIL.
  1. photo wsl @mlen - ta, no, mhm. [odpowiedz]
  2. photo wsl A myślisz, że im spada oglądalność, bo nie ma zapotrzebowania na taki serwis? Nie, po prostu wchodzisz, patrzysz, że jest do dupy i wracasz do starej metody thank-you-God-for-tabbed-browsing. [odpowiedz]
  3. photo bartosz polecam cartoteka.pl inne wpisy na ten temat , wychodzimy trochę dalej niż like %query% ;) [odpowiedz]
  4. photo wsl @bartosz - mam mechanika w rodzinie, jak będę potrzebował to na pewno skorzystam. Tutaj narzekam na wyszukiwarki ogłoszeń. [odpowiedz]
  5. photo psphone lol! 
  6.  
  7. pokaż wszystkie komentarze (16)

piątek 6 listopada

aktywność użytkownika
photo
Przeprowadziłem testy obciążeniowe swojego #cloud serwera od #Rackspace i muszę powiedzieć, że jestem bardzo mile zaskoczony, bo spodziewałem się, że będzie jednak nieco gorzej.
Aplikacja, którą męczyłem serwer to pewnego rodzaju wyszukiwarka, napisana w #Perl'u (cudowna łatwość programowania #FastCGI), mająca na celu inteligentnie rozpoznawać słowa, poprawiać pomyłki przy pomocy algorytmu #Levenshtein'a, a potem wszystko przemielić przez to, co się znajduje w #MySQL'u, w dwóch tablicach -- jednej w #XtraDB i jednej w #MyISAM ze względu na #fulltext'owy index. Ostatecznie zadowolony byłbym gdyby latało to powiedzmy 30 requestów na sekundę. Póki co śmiga to w zależności od skomplikowania zapytania od 60 do 90 req/sec., przy czym wiem, że Perl'a już nie przyspieszę. Wiem natomiast, że mogę wyklikać wzmocnienie mocy przerobowych mojego serwera no i zawsze dostawić drugą, trzecią, piątą wirtualną maszynę obok.
Gdyby klonowanie w realu było takie proste ;)
  1. photo wsl dodałem tego flaka do historyjki:Serwer w chmurach 
  2.  

wtorek 3 listopada

aktywność użytkownika
photo
Jak to okazało się, że Director of Consulting w #Percona (dla tych co nie wiedzą -- firma zajmuje się doradztwem z zakresu #MySQL) jest tak naprawdę użytkownikiem #Postgres'a -- zabawne ;) [xaprb.com/.../03/im-a-postgres-user-as... inne wpisy na ten temat ]
  1. photo alex-pl lol! 
  2.  

sobota 31 października

aktywność użytkownika
photo
Ciągle trwa dyskusja co się powinno stać z #MySQL'em po przejęciu Sun przez Oracle, tymczasem obok wyrasta dzieło jednego z jego twórców Michaela Widenius'a -- #MariaDB, czyli pochodna MySQL piątki. Pojawiła się niedawno wersja 5.1 beta z binarkami (askmonty.org/...i/index.php/MariaDB:Downl... inne wpisy na ten temat a dziś doczekaliśmy się wersji dla #Debian'a i pochodnych (niedługo będzie też RHEL/CentOS -- ourdelta.org/...51-packages-for-debian-an... inne wpisy na ten temat Szkoda, że #XtraDB jest tylko 1.0.3 a nie wyżej...
  1.  

wtorek 27 października

aktywność użytkownika
photo
Dla fanów #MySQL myślę, że ciekawym zbiorem newsów będą ostatnie dokonania panów z #Percona
#XtraDB 1.0.4-8, czyli ósma już wersja ich zmodyfikowanej wersji silnika #InnoDB plugin, tym razem oparta na najnowszej, bardzo dobrej wersji 1.0.4. Przyznam, ze sam czekałem na to z niecierpliwością. Zwłaszcza, że Percona uruchomiła swoje repozytorium dla #Debiana. Dla tego, co poniżej, też.
#xtrabackup -0.9.5rc, czyli coś do robienia backupów baz InnoDB/XtraDB również na gorąco. Chłopaki mówią, że mimo iż nie jest to jeszcze numerowane jako stabilne, to korzystają z tego już u swoich klientów.
• I w nawiązaniu poniekąd do czegoś o czym mówił @hazan (flaker.pl/...eases-relational-database... inne wpisy na ten temat ) -- obraz AMI z XtraDB zainstalowaną na #CentOS'ie 5,3 dla #Amazon #EC2.
  1. photo iktorn a w related news amazon wypuscil hosted mysql [odpowiedz]
  2. photo wsl No to właśnie o tym pisał @hazan[odpowiedz]
  3.  

niedziela 26 lipca

aktywność użytkownika
photo

wtorek 21 lipca

aktywność użytkownika
photo
Panowie z #Percona wydali właśnie XtraDB 1.0.3-6 -- to dla tych, którzy chcą mieć The-Most-Cool-And-Enterprise-Ready-At-The-Same-Time #MySQL'a. [mysqlperformanceblog.com/...xtradb-storage-engine-rel... inne wpisy na ten temat | #OpenSource]
  1.  

środa 15 lipca

aktywność użytkownika
photo
Faceci z #Percona nie przestają mnie zadziwiać. Oświadczyli wczoraj, że przenieśli usprawnienia z #MySQL 5.4 do gałęzi 5.0 dodając jej niezłego kopa. Wyniki benchmarków, razem z porównaniem do najnowszego #XtraDB na #MySQLPerformanceBlog. [mysqlperformanceblog.com/...nce-improvements-in-perco... inne wpisy na ten temat ]
  1.  

wtorek 14 lipca

aktywność użytkownika
photo
"The MySQL Librarian is a collection of community-generated and cross referenced content related to MySQL. It's a place where the community, collaboratively, builds and maintains MySQL content." [dev.mysql.com/librarian inne wpisy na ten temat | #MySQL #Librarian]
  1.  

czwartek 9 lipca

aktywność użytkownika
photo
Yasufumi Kinoshita to taki #InnoDB #guru, który pracuje jako Performance Engineer w #Percona, Inc. i napisał ostatnio mały patch do tego silnika, który przyspiesza czas wstawania bazy po błędzie... dziesięciokrotnie i to w porównaniu do 5.4.1. Trochę to smutna wiadomość, bo pokazuje ile jeszcze do zrobienia jest w #MySQL'u. Trochę także przyjemna, bo są na świecie ludzie, którzy oddają za darmo swoją pracę innym. Chociaż chyba nie pokuszę się o stwierdzenie "bezinteresownie"... [mysqlperformanceblog.com/.../07/improving-innodb-reco... inne wpisy na ten temat | #OpenSource]
  1.  

czwartek 18 czerwca

aktywność użytkownika
photo
Zobacz (dosłownie!) jak radzić sobie z MySQL'em -- Percona uruchamia swoją "telewizję", czyli Percona.tv. Goddamncool! [percona.tv inne wpisy na ten temat | #MySQL #Percona]
  1.  
pokaż więcejPoczekaj, trwa ładowanie...KONIEC