User Tools

Site Tools

Translations of this page:

Sidebar

Documentation index

import_sets

This is an old revision of the document!


Import Sets

Various sponsors provide URLs in various formats: RSS (and some sponsors use nonstandard fields), XML, dump. Before update 47 you could add only standard RSS feed and It was inconvenient for automatic feeding of you site. Import Set introduced for take care of this. With Import Sets you can automatically import galleries from virtually any source with any options including Custom Galleries, additional thumbs and so on.

How it works: Rotation - Import Sets, click “Add New”. It opens the Import form with only few exceptions: input field for feed url (RSS, dump, XML), period of regrab, type of grab and delimiter. So type url to your gallery dump for example, click test, select what you want to import from this dump, select options as with regular import and click save. Script will import data from this dump every X hours.

Hints

  • Sometimes there's no direct URL to thumb in RSS and it looks like “some text <img src=….>”. Select “Parse Thumb”, not “Thumb” in such cases.
  • Delimiter - a division of the fields, it usually '|' for dumps, for RSS 'item' or 'video'
  • Description (Strip tags) use it if RSS have something like <a href='…'> Some Description </a> while you need only Some Description.

Note: there are 2 types of import sets: Add and Delete. So urls found in Add type - will be added to DB, in type = delele - will be deleted from DB.

Import Sets Type Deletion и Hamster (как пример, но актуально и для других)

В принципе это относится не только к Хамстеру, но поскольку вопрос возник именно на его примере - описываю проблему на его примере.

Вводная: Хамстер дает ембеды, вы решили сделать на эмбедах сайт. Дабы было постоянное автоматическое пополнение сиджа настроили Import Set и добавили туда дамп Хамстера

http://partners.xhamster.com/2export.php?ch=!&cnt=4&tmb=4&tcnt=10&tl=on&ord=1&url=off&em=1&ttl=on&chs=on&sz=on&dlm=|
который выдает в формате #EMBED|#THUMB|#TITLE|#CHANNEL|#DURATION|

Как бы этого достаточно, все работает и все хорошо.

Вопрос возникнет позже - когда надо будет добавить автоматическое удаление галер удаленных на хамстере. хамстер выдает список урлов удаленных видео, но в нашем то импорт сете урла нет (#EMBED|#THUMB|#TITLE|#CHANNEL|#DURATION|) и потому Смарт не сможет на автомате удалять удаленные видео (сорри за тавтологию но смысл надеюсь ясен).

Что делать: урл дампа хамстера надо поменять так, что б там появился урл гали, примерно так

http://partners.xhamster.com/2export.php?ch=!&cnt=4&tmb=4&tcnt=10&tl=on&ord=1&url=on&em=1&ttl=on&chs=on&sz=on&dlm=|
тогда дамп будет выдавать урл гали #EMBED|#THUMB|#URL|#TITLE|#CHANNEL|#DURATION|
те добавлено #URL

Смарт будет добавлять гали в базу с пометкой source url = … и соответственно сможет автоматически удалять у себя в базе удаленные видео хамстера.

PS Это так же актуально если вы проверяете доступность галер с помощью Gallery Checker.

Будет не лишним сделать небольшое отступление: еще до импортсетов появился Tube Import, который может автоматически добавлять видео с тубов к вам. Однако тубы периодически удаляют контент и соответственно у вас на сайте оказывались ссылки на удаленое видео или , если видео было добавлено как ембед, переставало работать. Дабы избежать такой ситуации появился Gallery Checker, который по кейвордам проверяд не удалено ли видео. Если кратко, то у Gallery Checker есть список вида domain- keyword, например xhamster.com - video was deleted и чекер проходит по всем видео и проверяет, что на страницах такого слова нет и значит видео все еще работает.

Однако с ростом баз стало ясно, что если в базе 500к урлов, то появляется некоторая проблема с проверкой такого кол-ва урлов, и как раз к этому моменту у продвинутых тубов начали появляться deletion rss - те рсс со списками удаленных урлов, и соответственно можно было не проверять все урлы с помощью Gallery Checker, а сразу точечно удалять нужные урлы - для этого у импорт сета появился тип deletion.

Те и для Gallery Checker и для импорт сет deletion type - надо знать исходный урл. Если у туба\спонсора есть deletion rss - предпочтительнее юзать его. Если нет - Gallery Checker.

Import Sets - personal name

Для удобства пользования у каждого импортсета появилось опциональное имя. Можно его не вводить и список импортсетов будет выглядеть как раньше, а можно дать каждому импорсету персональное имя.

import_sets.1433948969.txt.gz · Last modified: 2015/06/10 15:09 (external edit)