Big Base Demo

admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Big Base Demo

Post by admin »

shahfil wrote: Mon Feb 04, 2019 8:13 am Пример-то из первого поста почините уже, bigbase.smartcj.com как минимум неделю не открывается, говорит "Sorry, there was an error. Please, reload page in a minute."
Если заметите что где-то что-то не работает - пишите плз сразу, не стоит ждать неделю )
Don't forget to run script update
darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Re: Big Base Demo

Post by darkover »

апну топик про биг базу.
есть например ресурс, ротации нет, трейда нет. в нем более 10кк галер.
рассортированы по группам ( тины, азиаты и тд ит ), все запихнуто в сфинкс
хочется получить рандомных 20к галер из группы тины с кеем азиаты ? и при custom_var1 больше 100 но меньше 400 и cuctom_var2 от 10 до 20
Можно такой запрос делать ? Как это выглядеть будет
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Big Base Demo

Post by admin »

запрос сделать можно
но тут надо понимать что рендомный - это значит сначала сделать выборку ВСЕХ галер по этим условиям , не просто например первые 100 для формирования страницы, а именно пройти всю базу, а потом уже из выбранных - выбрать сколько там рендом.

это к тому , что нагрузка будет соответствующая

если надо такое сделать - не проблема, но 95% гарантии что вы откажетесь от этого варианта, поэтому я бы попробовал сформулировать задачу как то иначе.
зачем 20к, что за ограничения, зачем это все надо и тп - может быть есть какой-то другой вариант где были бы ограничены условия и не надо был бы рендом
Don't forget to run script update
darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Re: Big Base Demo

Post by darkover »

Задача простая, держать все дампы тубов у себя и не ходить по админкам их, и при наполнении новых ресурсов выбирать с базы у себя. Просто у нуля писать не охота.
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Big Base Demo

Post by admin »

покрутил и так и этак - думаю простой вариант пододет учитывая что это только для себя, те нагрузка не так важна

"хочется получить рандомных 20к галер из группы тины с кеем азиаты ? и при custom_var1 больше 100 но меньше 400 и cuctom_var2 от 10 до 20"

20к - это в таге темпелйта

&group_name=....&search=...&custom_var1_from=100&custom_var1_to=400&custom_var2_from=10&custom_var2_to=20

вроде бы все прозрачно тут?
Don't forget to run script update
darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Re: Big Base Demo

Post by darkover »

Ну что я могу сказать, на 13кк галер админка работает с задержкой в 1-2 минуты )) Даже при флаге $config['big_database_flag'] = true;
Отредактировать категорию, модель - это еще тот квест с таймаутами, ощущение, что скрипт перебирает всю базу ) Можно что-то с этим сделать ?
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Big Base Demo

Post by admin »

да, можно
вопрос какие именно действия происходят с базой, под это надо затачивать

13М галер, а тумб?
и что именно делается? открывается редактирование я уверен быстро, вопрос наверняка в сортировке\выборке какой-то
Don't forget to run script update
darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Re: Big Base Demo

Post by darkover »

admin wrote: Sat Nov 06, 2021 3:44 pm да, можно
вопрос какие именно действия происходят с базой, под это надо затачивать

13М галер, а тумб?
и что именно делается? открывается редактирование я уверен быстро, вопрос наверняка в сортировке\выборке какой-то
Тумбы все хотлинк.
Вот например
?operation=rotation&sub=rot_groups&linked_site_id=1 открывается секунд 30+
Добавить группу - тоже секунд 30+
Добавить импортсет - create import set - тоже долго думает
/?operation=rotation&sub=rot_models& - список моделей открывается тоже больше 20 секунд
сохранение модели после редактирования - 4-5 секунды

Это вот, сразу что пришло в голову. Есть еще моменты
admin
Site Admin
Posts: 37202
Joined: Wed Sep 10, 2008 11:43 am

Re: Big Base Demo

Post by admin »

какая нагрузка винта сейчас?
Don't forget to run script update
darkover
Posts: 1518
Joined: Sat Apr 13, 2013 8:59 pm

Re: Big Base Demo

Post by darkover »

admin wrote: Sat Nov 06, 2021 4:51 pm какая нагрузка винта сейчас?
http://my.jetscreenshot.com/demo/202111 ... -123kb.jpg

Code: Select all

iostat -xtc
Linux 5.4.0-73-generic ()  11/06/2021      _x86_64_        (40 CPU)

11/06/2021 05:28:39 PM
avg-cpu:  %user   %nice %system %iowait  %steal   %idle
           8.09    0.15    1.80    0.38    0.00   89.57

Device            r/s     rkB/s   rrqm/s  %rrqm r_await rareq-sz     w/s     wkB/s   wrqm/s  %wrqm w_await wareq-sz     d/s     dkB/s   drqm/s  %drqm d_await dareq-sz  aqu-sz  %util
md0              0.00      0.00     0.00   0.00    0.00    17.18    0.00      0.00     0.00   0.00    0.00     3.30    0.00      0.04     0.00   0.00    0.00 17529.76    0.00   0.00
md1              0.91     17.50     0.00   0.00    0.00    19.20  811.12  37480.66     0.00   0.00    0.00    46.21    0.23    449.70     0.00   0.00    0.00  1952.46    0.00   0.00
md127            0.00      0.00     0.00   0.00    0.00    17.41    0.00      0.00     0.00   0.00    0.00     3.94    0.00      0.00     0.00   0.00    0.00     0.00    0.00   0.00
sda              2.11    182.95     1.25  37.21    3.21    86.87  585.51  37489.47   250.53  29.97    0.66    64.03    0.23    336.54     0.00   0.00    0.81  1461.14    0.18  20.31
sdb              1.60    173.16     1.25  43.75    4.01   108.01  584.74  37489.50   251.34  30.06    0.08    64.11    0.23    336.54     0.00   0.00    0.81  1461.14    0.23  20.33
sdc             21.49   1435.72     0.94   4.21    5.88    66.81    0.00      0.01     0.00   1.03   20.13     2.29    0.00      0.00     0.00   0.00    0.00     0.00    0.10   1.00
sdd             21.48   1435.72     0.95   4.25   10.56    66.84    0.00      0.01     0.00   1.03   21.68     2.29    0.00      0.00     0.00   0.00    0.00     0.00    0.19   1.00

Сейчас еще идет активный процесс импорта галер в базу
Current average speed: 2038 galleries per minute
Post Reply