Сообщений в теме: 42

[Jyn]

Оригинальная версия и автор: https://ezwow.org/to...-isengardarmory

Краткое описание

Скрытый текст

Использование:
 
/ar имя персонажа
 
/armory имя персонажа
 
Будет найден аккаунт, которому принадлежит персонаж, а также все остальные персонажи аккаунта. Если имя персонажа не введено, т.е. просто используется /ar аддон осуществит поиск того персонажа, который у Вас в таргете.

Снова могу флудить и вот, какие новости:
1) Проект перезапущен на моём сервере:
https://ezserver.notjyn.ru/

Пользователи из РФ могут попробовать заходить сразу в контейнер:

http://ezserver.notjyn.ru:3000/

Исходники (стараюсь обновлять) - https://github.com/j...ez-parse-server
2) Несколько изменён вид сайта под свои вкусы.
3) Некоторое время назад на Изи была убрана такая штука, как "Консервация" - персонажи, которые не были онлайн >180 дней, скрывались из Оружейки.
->база мгновенно раздулась в несколько раз и WoW не мог её считать из-за лимита на количество строк в LUA-файлах.
3.1) Теперь база генерируется в несколько файлов (по 40к аккаунтов к каждом).
3.2) Так как база теперь хавает порядка 150мб ОЗУ в клиенте, добавлен вариант выкачать только персонажей 80го уровня - эдакая Light версия.
3.3) API:

Скрытый текст

АПИ сервера (для разработчиков):
https://ezserver.notjyn.space/api
 
POST /cookie/create (cookie - обязательный, строка вида isengardPortalArticlePage-0=124336; member_id=.....)
Добавить куку в БД
 
GET /cookie/count (описание параметров - https://github.com/m...-count-entities)
Получить количество кук в БД
 
GET /pulser/position - Получить смещение сканера. Сервер постоянно сканирует страницы армори, увеличивая смещение.
Когда смещение доходит до максимума, оно сбрасывается в 0.
 
GET /ezwow/stat - Получить статистику армори
 
GET /ezwow/parse (st опциональный, по умолчанию 0) - Спарсить страницу армори с указанным смещением
 
POST /character/list (описание параметров - https://github.com/m...t-list-entities)
Отдает персонажей постранично
 
GET /character/findByName (параметр "name" - искомое имя)
Найти персонажей
 
GET /character/get (описание параметров - https://github.com/m...an-entity-by-id)
Получить персонажа по внутреннему ID БД
 
GET /character/count (описание параметров - https://github.com/m...-count-entities)
Получить количество персонажей в БД
 
GET /generator/json (filename - опциональный, по умолчанию IsengardArmory.json) - скачать БД в формате JSON
GET /generator/sql (filename - опциональный, по умолчанию IsengardArmory.sql) - скачать БД в формате SQL Выпилено.

GET /generator/addon - скачать весь аддон, он состоит из LUA и TOC, упакованных в ZIP
GET /generator/addon80 - скачать аддон (только 80 лвл), он состоит из LUA и TOC, упакованных в ZIP Аддоны генерируются автоматически после полного прохода.
GET /stat/get - статистика армори

 
Какие планы:
1) Добавить фильтр по GS'у - самые популярные цифры при наборе в рейд 5.6к и 6.2к, а лучше - возможность задавать свои фильтры. Реализовано частично.
2) Решить проблему продажи персонажей (ренейма аккаунтов и т.п.):
Так как из базы ничего не удаляется, а только добавляется, то каждое действие на ТП вызывает "задвоение" - чар останется на старом акке и появится на новом.

После полного прохода по Оружейке будут сгенерированы и сохранены все доступные для скачивания файлы (включая api) - их вы и будете скачивать. А база будет вайпнута и начнёт собираться с нуля.

Итого: новая версия каждые ~3 часа. Плюсом - файлы не будут генерироваться для каждого скачивания, что сократит вам время ожидания. Реализовано Сломано,работает через раз

3) Добавить возможность скана аккаунта прямо на сайте. Реализовано.

4) Реализовать "загрузчик" аддона, чтобы он не жрал память, пока вы им не пользуетесь.

5) Тёмную тему бы запилить на сайт, ночью ослепнуть можно.

+фича: cookie запись для парсинга выбирается случайно. (раньше бралась первая валидная по дате добавления, тем самым частично обрубала функционал форума владельцу записи: магазин, полоска и хз, что ещё, функционировали с перебоями)

6) Переписать целиком этот кусок кала на человеческом фреймворке.

 

Так как я не сертифицированный LUA и тем более JS кодер, многое реализуется "наощупь". Вы всегда можете предложить свою помощь в Discord'e: жун#6006

 

Сейчас есть проблема с доступом у провайдеров Дом.ру и Ростелеком.

Накинул IPv6 серверу.

Дом.ру - проблема решается включением IPv6 (пиши в ТП, переключат вас с DHCP на PPPoE и накинут IPv6).

Ростелеком - калоедение. У них нет IPv6. Юзайте VPN.

Есть шанс, что вас пустит в контейнер NodeJS'a - http://ezserver.notjyn.space:3000/

 

Сообщение отредактировал JolyGolf: 21 июля 2023 - 12:46

[loTEDve]

P.S.: В данный момент база вайпнута и парсер застрял на 3753й странице - сломалось что-то на стороне Изенгарда и страница не грузится.

Видимо, там сидит какой-то "сломанный" персонаж, которого сервер вывести не в состоянии.

Ждём и молимся.

https://ezwow.org/in...aracter=2315856 безногий персонаж и недостаточная проверка данных. Исправлено.

[Jyn]

https://ezwow.org/in...aracter=2315856 безногий персонаж и недостаточная проверка данных. Исправлено.

Приятно. 

Наклепал пропуск страницы при ошибке и логгирование, если проблема не единичная - после полного прохода скину остальные страницы.

[black3snake]

Брату программеру респект! работа с API отличная вещь!  Rest Get, Post (в JSON  -> серилизуешь?) как с базой работаешь , что за  ORM  используешь))

Успехов тебе.

[Jyn]

На текущий момент при 500к персонажах в базе (77%) на страницу (новые 20 персонажей) требуется ~10сек времени. 

Такими темпами после полного прохода (660к персонажей) новые 20 чаров будут ~13-14сек парсится - это минимум 120 часов на фулл проход...

[Jyn]

Брату программеру респект! работа с API отличная вещь!  Rest Get, Post (в JSON  -> серилизуешь?) как с базой работаешь , что за  ORM  используешь))

Успехов тебе.

 

Ты мне такие сложные вопросы не пиши, я программист тут чтоль?!

Исходники на гитхабе лежат)

[Jyn]

Добавил возможность поиска прямо на сайте. Пока только функционал, красиво будет когда-то там потом.

 

UPD:

Сделал красиво.

Сообщение отредактировал Jyn: 30 декабря 2022 - 16:57

[Jyn]

Сделал частично 2й пункт из планов.

Можете ощутить мгновенный старт загрузки аддона.

 

UPD:

Доделал.

Сообщение отредактировал Jyn: 19 января 2023 - 13:25

[Jyn]

+фича: cookie запись для парсинга выбирается случайно. (раньше бралась первая валидная по дате добавления, тем самым частично обрубала функционал форума владельцу записи: магазин, полоска и хз, что ещё, функционировали с перебоями)

Сообщение отредактировал Jyn: 17 января 2023 - 20:11

[Shaon2015]

Отлично! Спасибо!

[Marseanin]

Аффтар крут, Хаген грит малаца. Не в обиду разрабу первой версии, но ждать фиксов по три-четыре недели малость напрягало. Лойс авансом, надеюсь не забросишь.

[Jyn]

Аффтар крут, Хаген грит малаца. Не в обиду разрабу первой версии, но ждать фиксов по три-четыре недели малость напрягало. Лойс авансом, надеюсь не забросишь.

Ничоси "аванс". Половина исходников уже переписана

 

P.S.:

Появилась хотелка "clientless" версию запилить / версию без локального хранения базы. У меня же есть чат-бот WoW<->Discord на том же сервере, возможно, получится как-то через него по скрытым каналам аддонов / либо через общедоступный приватный канал (второй вариант проще в реализации).

У LUA Варкрафта как-раз таки есть ограничение на работу с сетью, которую чат-бот поможет обойти.

С другой же стороны - есть поиск на сайте.

 

P.S2: 

Надо какую-то планку донатов запилить, ибо домен оплачивать надо через 6 месяцев (чуть меньше 2к рублев)...

 

P.S3:

Помощь с первым P.S. приветствуется.

Сообщение отредактировал Jyn: 20 января 2023 - 15:07

[Shaon2015]

С другой же стороны - есть поиск на сайте.

Просьба!

Перед осуществлением функции поиска, удаляй пробелы перед и после ника )

А то я долго вдуплял, почему не ищет по знакомому нику, а потом допер, что скопировал его с пробелом спереди )

[Jyn]

Просьба!

Перед осуществлением функции поиска, удаляй пробелы перед и после ника )

А то я долго вдуплял, почему не ищет по знакомому нику, а потом допер, что скопировал его с пробелом спереди )

Поправил.

 

Пока проверял, заметил, что первые несколько страниц в базу не сохраняются. Видимо, при костыле со свапом баз задания на парсинг продолжают отрабатывать, хотя доступа к базе нет, хбз...

Во временной базе сейчас первые страницы есть, странная хрень, посмотрим после фулл прохода.

Сообщение отредактировал Jyn: 24 января 2023 - 19:46

[Jyn]

Добавит генерацию аддона с чарами онли 5.6к+ гс.

Весит меньше -> оперативы жрёт меньше.

Из-за доп. кнопки вёрстка вся поехала, пока нет желания двигать блоки.

[loTEDve]

Весит меньше -> оперативы жрёт меньше.

Дарю:

  encodeToBase256(number) {
    let result = '';

    while (number > 0) {
      // TODO try to expand for more than 0xFF bytes? (0xFF masking doesn't make sense, but let it be)
      result += this.base256.charAt(number & 0xFF);
      number = Dump.shr(number, 8);
    }

    return result;
  }

  decodeFromBase256(string) {
    const bytes = [];

    for (let char = 0; char < string.length; char += 1) {
      bytes.unshift(this.base256.indexOf(string[char]));
    }
    bytes.unshift(0x80);

    let result = 0;
    let byte = 0x00;

    for (let position = 0; position < bytes.length; position += 1) {
      let value = bytes[position];
      value ^= byte;

      if (position === 0) {
        value &= 0x7f
      }

      result = (Dump.shl(result, 8)) + value;
    }

    return result;
  }

https://jsfiddle.net/1erm0xyp/

 

Получаем отличное сжатие чисел:

Разумеется, декодирование нужно производить по мере необходимости, иначе выигрыша по памяти не будет.

[Jyn]

Дарю:

Скрытый текст

encodeToBase256(number) { let result = ''; while (number > 0) { // TODO try to expand for more than 0xFF bytes? (0xFF masking doesn't make sense, but let it be) result += this.base256.charAt(number & 0xFF); number = Dump.shr(number, 8); } return result; } decodeFromBase256(string) { const bytes = []; for (let char = 0; char < string.length; char += 1) { bytes.unshift(this.base256.indexOf(string[char])); } bytes.unshift(0x80); let result = 0; let byte = 0x00; for (let position = 0; position < bytes.length; position += 1) { let value = bytes[position]; value ^= byte; if (position === 0) { value &= 0x7f } result = (Dump.shl(result, 8)) + value; } return result; } 

https://jsfiddle.net/1erm0xyp/

 

Получаем отличное сжатие чисел:

Разумеется, декодирование нужно производить по мере необходимости, иначе выигрыша по памяти не будет.

Речь о памяти, поедаемой клиентом Варкрафта. Декодить то в клиенте придётся. LUA умеет?

Сообщение отредактировал Jyn: 07 февраля 2023 - 06:13

[loTEDve]

Речь о памяти, поедаемой клиентом Варкрафта. Декодить то в клиенте придётся. LUA умеет?

Из коробки - конечно нет, преобразование нужно написать: для этого пример декодирования и приложен.

[Jyn]

Слыште, я вот тут подумал прилепить каким-то краем интеграцию к аддону Karma...

Либо свой гуй нарисовать с возможностью оставлять персональные "заметки" об аккаунте.

И чтобы оно потом ещё в Tip'ы подтягивалось - навёл на чела, вылезла подсказка дефолтная, а там ещё доп строка с вашим комментом аля "гений игры"/"шлепок".

Надо ли?

Сообщение отредактировал Jyn: 13 февраля 2023 - 12:50

[Marseanin]

Неплохая идея, руинить рейды станет тяжелее. Что-то вроде

 

Все персонажи аккаунта Hagen:

 

Hagen 80 воин 6744 гс

Заметка: руинит рейды

Kores 80 маг 6557
Заметка: не знает тактик

 

Так можно будет понять, что ты уже встречал этого чела раньше, но не знал что это он с твинка и оставил ему новую заметку. Плюс по совокупности заметок с разных чаров можно будет составить какое-никакое мнение о человеке.

 

Скрытый текст

Неудобный момент с тем, что на одном аккаунте на двух чарах могут играть разные люди, типа старший/младший брат, мы конечно же опустим.