Python

В 2009 году я решил изучить ещё какой-нибудь язык программирования. После анализа текущего выбора языков программирования я остановил свой выбор на Python или Ruby. После ещё некоторых колебаний склонился всё же к Python. Может быть когда-нибудь и до Ruby руки дойдут.

Если обнаружите ошибки или сможете предложить более "правильное" решение размещённых здесь задач, или же какую-то задачку для решения - пишите, буду очень признателен.

• Отличная подборка статей (с категорированием)
• Учебник Python 3.1
• Р.А. Сузи, Язык программирования Python - курс лекций для начинающих
• Конвертеры *.py в *.exe
  • py2exe, а также статья как им пользоваться
  • PyInstaller
• Be Pythonic - статья для новичков в Python с примерами, когда известное из других языков, может быть не всегда полезным в Python.
• Python: советы, уловки, хаки
  • Часть 1
  • Часть 2
• Программирование и научные вычисления на языке Python
• Юникод для чайников
• Записочки по Python — дата и время и файлы
• 10 приложений для изучения Python на Android-устройствах
• PyTest
• Статья для начинающих - Эффективные и не эффективные методы кодинга на Python (добавлено 18.12.2019)

Понадобилось написать небольшое приложение с визуальным интерфейсом под Windows. Приложение довольно простое - с десяток полей для ввода данных и кнопка для обработки введённых значений.

Первоначально хотел делать его на Delphi, так как имею довольно приличный опыт программирования на нём, а также считаю, что для быстрой разработки визуальных приложений под Windows это до сих пор лучший инструмент. Но потом подумал, что опыт программирования на Delphi у меня есть, что-то новое я на вряд ли узнаю (только если память освежу), а вот на Python я приложений с визуальным интерфейсом никогда не делал, хотя знаю, что это можно. Так что выбор был сделан в пользу Python и изучения чего-то нового. Первоначально думал для визуальных элементов использовать библиотеку Qt, и даже посматривал на книгу Python 3 и PyQt 6. Разработка приложений, но потом, в комментариях к одной статье отметили, что для небольших и не очень сложных приложений (вроде бы как раз как моё) можно использовать встроенную в Python библиотеку Tkinter - на ней и решил попробовать пока остановиться.

А дальше начинается самое интересное, что, собственно, и подтолкнуло меня к написанию этой заметки - Андрей живо заинтересовался этой задачей и тоже решил попробовать реализовать такое приложение, но только используя "вайбкодинг" - программирование с активным использованием ИИ.

В итоге уселись вечером рядом и получилось своего рода соревнование - оба знаем Python, оба не знакомы с используемой библиотекой Tkinter - в общем условия более менее равные. Раз, два, три - поехали.

Я, так как не знал этой библиотеки, читал описание, копировал и адаптировал под свои нужды найденные примеры, Андрей же сделал несколько запросов к ИИ и... первая (пусть и "черновая") версия интерфейса готова, и даже реализована часть обработки введённых данных. Я же к этому моменту только создал форму, кнопку для обработки результата (только кнопку, без какой-либо обработки) и разместил на форме несколько полей.

Когда же я доделал предварительный внешний вид будущего приложения, т.е. реализовал приблизительно тоже самое, что получил Андрей практически сразу, но без какой-либо обработки вводимых данных, что у него, пусть и частично, но тоже было сделано, Андрей продвинулся ещё дальше - реализовал выпадающий список для выбора значений и более удобный интерфейс для выбора даты - календарь. Правда, с этим он провозился довольно долго - кратно дольше, чем чтобы получить первый прототип. Пришлось многократно тестировать и указывать ИИ что именно не работает или работает не так. Пока ещё не знаю как это делается в Tkinter, так что возможно меня ждëт неприятный сюрприз, но на Delphi такие доработки заняли бы буквально пару минут.

Так что выводы напрашиваются очень неоднозначные - с одной стороны - по скорости реализации положил меня на обе лопатки, с другой стороны с ростом сложности приложения скорость разработки у него значительно просела. Так что, возможно, идея отправки исходного кода приложения в ИИ с просьбой его оптимизировать и структурировать не так уж и плоха, как могло показаться на первый взгляд, особенно для небольших проектов.

Опубликую ссылки и краткий конспект трëх статей одного автора по некоторым возможностям Python. Правда, скорее всего данный материал будет интересен только начинающим изучать этот замечательный язык программирования.

• Эволюция форматирования строк в Python

  В настоящее время существует три способа форматирования строк:

  • Оператор % - слева от оператора указать строку с заполнителем в стиле языка С (например, %s), а справа — подставляемое значение.
    Начиная с Python 3.0 считается устаревшим способом, но поддерживается для совместимости со старым кодом.
  • Метод format - возвращает копию строки, в которой каждый заполнитель {} заменяется строковым представлением соответствующего переданного аргумента.
  • f-строки (появились в версии 3.6). F-строка (formatted string literals, f-strings) представляет собой строку с префиксом 'f' или 'F', которая может содержать заполнители {}. В каждый заполнитель помещаются переменные или выражения, значения которых объединяются со строковой частью f-строки.
• Секреты логических операторов в Python

  Одной из важных особенностей языка Python является концепция truthy и falsy объектов - любой объект в Python может быть оценен как True или False (с помощью встроенной функции bool()). К встроенным falsy объектам относятся:

  • значение False
  • значение None
  • нули числовых типов данных: 0, 0.0, 0j, Decimal(0), Fraction(0, 1)
  • пустые последовательности и коллекции: '', (), [], {}, set(), range(0)

  Другие объекты встроенных типов данных относятся к truthy объектам. Экземпляры пользовательских классов по умолчанию также являются truthy объектами.

  Здесь следует отметить, что в других языках программирования, в которых используется аналогичное понятие список объектов может быть другим, например в JavaScript пустые массив и объект не являются falsy.

• Моржовый оператор := в Python

  Появился в версии 3.8 и - позволяет выполнить сразу два действия присвоить значение переменной и вернуть это значение, что позволяет проворачивать довольно интересные "фокусы".

  Следует отметить, что при использовании этого оператора помимо отступления от канонических принципов простоты Python, может вылезти ряд подводных камней, что в комплексе и привело к очень неоднозначной реакции сообщества. В любом случае, так как теперь это часть языка знать про него и понимать, как он работает просто необходимо. А уж использовать или нет - тут каждый решает сам.

Недавно ко мне обратились с просьбой помочь решить вот какую задачу: есть текстовый файл с данными (скорее всего выгрузка из какой-то системы). Проблема в том, что при формировании файла каждые n-строк в него добавляется одинаковый заголовок (как у таблицы). Возможно, в каком-то случае это и удобно (например, при печати или работе с этим документом напрямую), но в данном случае это мешало. Так что надо было оставить такой заголовок только в самом начале файла (известно, что он занимает три строки), в остальных местах его убрать, а заодно убрать строку с количеством данных в файле, которая добавляется после всех данных.

Для решения данной задачи основным кандидатом сразу же стал Python. Правда, также рассматривал возможность написания такой программы на Go - очень уж хотелось опять попрактиковаться, но в итоге всё же остановился на Python. Получилось следующее решение такой задачи.

# -*- coding: utf-8 -*-
__author__ = 'Stelletskiy_vv'

import sys
import os.path

# Настройки
cntHeader = 3   # Кол-во строк в заголовке
fname = 'file.txt'

if len(sys.argv) > 1:
    fname = sys.argv[1]

if not os.path.exists(fname) or not os.path.isfile(fname):
    exit()

headers = []
nline = 0
fname, fext = os.path.splitext(fname)

fw = open(fname + '.tmp', "w")
for line in open(fname + fext, 'r'):
    nline += 1
    if nline <= cntHeader:
        headers.append(line)
    else:
        s = line.strip()
        if line in headers or s == '':
            continue
        # Ищем строку с количеством выгруженных строк
        if len(s) < 28:
            s = s.split()
            if len(s) == 3:
                if s[0].isdigit() and s[1].startswith('строк') and s[2].startswith('выбран'):
                    continue
    fw.write(line)
fw.close()

# переименование файлов
if os.path.exists(fname + '.bak') and os.path.isfile(fname + '.bak'):
    os.remove(fname + '.bak')
os.rename(fname + fext, fname + '.bak')
os.rename(fname + '.tmp', fname + fext)

PS Как и в прошлый раз предложил Андрею попробовать самому написать программу для решения такой задачи, но он ничего пока ещё не показывал.

В качестве разминки и дополнительной практики в программировании решил предложить Андрею попробовать написать программу для решения судоку (числовой головоломки). Их в последнее время регулярно публикуют в районной газете, которую периодически кладут в почтовый ящик. А для дополнительной мотивации и в качестве примера решил и сам написать такую программу.

В итоге, я выбрал Python, а Андрей изучаемую им сейчас Java. Получилось своего рода соревнование (или как сейчас говорят "батл" или "челендж").

Моё решение (на Python) уже готово, хотя, конечно, можно ещё поработать над оформлением кода и вывода найденного решения (посмотреть код).

# -*- coding: utf-8 -*-
__author__ = 'Stelletskiy_vv'

print(u"2023 Stelletsky V.")
print(u"Решение СУДОКУ
")

numbers = frozenset({1, 2, 3, 4, 5, 6, 7, 8, 9})
debug = False

class Ceil():
    def __init__(self, r, c):
        self.r = r
        self.c = c
        
        if r <= 2:
            nr = 0
        elif r > 5:
            nr = 2
        else:
            nr = 1
            
        if c<=2:
            nc = 0
        elif c > 5:
            nc = 2
        else:
           nc = 1
           
        self.square = nc + nr * 3
        self.value = set()

    def __repr__(self):
        return '(r=%s, c=%s, q=%s)' % (self.r, self.c, self.square)


def row(r):
    return set(su[r])


def col(c):
    s = set()
    for i in range(9):
        s.add(su[i][c])
    return s


def square(r, c):
    s = set()
    if r<=2:
        r1 = 0
        r2 = 2
    elif r>5:
        r1 = 6
        r2 = 8
    else:
        r1 = 3
        r2 = 5
        
    if c<=2:
        c1 = 0
        c2 = 2
    elif c>5:
        c1 = 6
        c2 = 8
    else:
        c1 = 3
        c2 = 5
    while r1<= r2:
        cc = c1
        while cc<= c2:
            s.add(su[r1][cc])
            cc += 1
        r1 += 1
    return s

fields = []
su = []
wl = []
r = 0
c = 0
with open("test9.su", "r") as f:
    for line in f:
        line = line.strip()
        print(line)
        su.append([])
        c = 0
        for char in line:
            if char.isdigit() and 0 < int(char) <= 9:
                su[r].append(int(char))
            else:
                su[r].append(None)
                wl.append((r,c))
            c += 1
        r += 1
all_cnt = len(wl)
print('Надо заполнить %s клеток' % all_cnt)

cc = 0
f = 0
answ = 0
fields.append(su)
while len(fields) > 0:
    if cc != 0:
        print('Решаем последний сохранённый вариант:')
    f += 1
    su = fields.pop()
    err = False

    while True:
        wl = []
        # заполняем новый рабочий список
        for r in range(9):
            if r > 0 and r % 3 == 0:
                print('---+---+---')
            s = ''
            for c in range(9):
                if c > 0 and c % 3 == 0:
                    s += '|'
                if su[r][c] == None:
                    s += '.'
                    wl.append((r,c))
                else:
                    s += str(su[r][c])
            print(s)
            
        # обрабатываем рабочий список (пустые ячейки)
        ceils = []
        for (r, c) in wl:
            ceil = Ceil(r, c)
            ceil.value = set(numbers) - square(r, c) - row(r) - col(c)
            if debug:
                print(ceil, ceil.value)
            ceils.append(ceil)

        # пробегаемся по списку ячеек и пытаемся заполнить те, где нет вариантов (одно значение)
        cnt = 0
        squares = {}
        for c in ceils:
            if len(c.value) == 0:
                print('Ошибка! - Нет значений для ячейки %s' % c)
                err = True
                break
            if len(c.value) == 1:
                # проверяем, что вставить можно
                v = c.value.pop()
                print('Однозначная позиция %s в %s' % (v, c))
                if v in square(c.r, c.c) or v in row(c.r) or v in col(c.c):
                    print('Ошибка! - значение %s уже добавлено (заполнение ячейки %s)' % (v, c))
                    for ceil in ceils:
                        print(ceil, ceil.value)
                    print(su)
                    err = True
                    break
                else:
                    su[c.r][c.c] = v
                    cnt += 1
            else:
                if c.square in squares:
                    squares[c.square] = squares[c.square] + list(c.value)
                else:
                    squares[c.square] = list(c.value)

        if err:
            break
               
        # если ячеек с единичным значением не найдено, то проверяем ячейки, где есть единственная возможность установить 
        if cnt == 0:
            if debug:
                print(squares)
            # пробуем найти уникальные позиции
            for q in squares:
                if err:
                    break
                for v in set(squares[q]):
                    if err:
                        break
                    if squares[q].count(v) == 1:
                        print('Нашли %s в квадрате %s' % (v, q))
                        for c in ceils:
                            if len(c.value) == 0:
                                print('Ошибка! - Нет значений для ячейки %s' % c)
                                err = True
                                break
                            elif c.square == q and v in c.value:
                                su[c.r][c.c] = v
                                cnt += 1
                                
        if err:
            break

        # если решить всё равно не получается - включаем перебор
        if cnt == 0:
            # ищем ячейку с двумя вариантами
            for c in ceils:
                if len(c.value) == 0:
                    print('Ошибка! - Нет значений для ячейки %s' % c)
                    err = True
                    break
                if len(c.value) == 2:
                    print('Начинаем перебор для ячейки %s значения %s' % (c, c.value))
                    new = []
                    for r in range(9):
                        new.append(su[r][:])
                    print(su)
                    su[c.r][c.c] = c.value.pop()
                    new[c.r][c.c] = c.value.pop()
                    print(su)
                    print(new)
                    fields.append(new)
                    cnt += 1
                    break                

        if err:
            break

        cc += 1
        if len(wl) == 0:
            print('Решено за %s проходов
' % cc)
            answ +=1
            break

        print('Заполнили %s (осталось %s из %s клеток):' % (cnt, len(wl)-cnt, all_cnt))
        
        if cnt == 0:
            print('Решить не получилось (%s проходов)' % cc)
            break

if f != 1 or answ != 1:
    print('Найдено %s решений' % answ)

Андрей же пока реализовал только часть алгоритма, но простые судоку из газеты его программа уже тоже решает. Осталось сделать возможность перебора вариантов, когда нет логически однозначного решения (надеюсь доделает).

Теперь думаю чтобы ещё ему предложить.

PS: А ещё подумываю о реализации решения этой же задачи на Go, чтобы освежить в голове синтаксис этого языка программирования.

Интересная статья, в которой собраны несколько полезных декораторов Python:

1. @lru_cache: Ускоряем программы кэшированием - не рассчитываем повторно результат выполнения функции, если её уже вызывали с данными параметрами
2. @total_ordering: Добавляем недостающие методы сравнения (для классов)
3. @contextmanager: Кастомный менеджер контекстов
4. @property: Настраиваем геттеры и сеттеры для классов
5. @cached_property: Кешируем результат функции как атрибут - т.е. первый раз функция выполняется, сохраняется результат и далее возвращается он без вызова самой функции.
6. @atexit.register: Объявляем функцию которая вызывается при выходе из программы

PS: 3 и 6 показались наименее полезными (на текущий момент)

Решил разобраться, как делаются Telegram-боты и попробовать написать своего (пока, правда, без конкретной цели, больше для изучения вопроса и разных экспериментов). На текущий момент изучаю официальную документацию и статьи по теме (см. ссылки ниже). К сожалению, очень много статей и обзоров посвящено вопросу как создать бота (что довольно-таки просто), а не вопросам его "обучения", т.е. программированию. Приведу ссылки на несколько понравившихся мне статей:

• Питоном по телеграму! Пишем пять простых Telegram-ботов на Python - очень простенький (базовый) функционал, но зато первые результаты видны практически сразу.
• Простой Telegram-бот на Python за 30 минут - также несколько простых примеров, но уже более "продвинутых".
• Как создать чат-бота для Telegram с помощью Python - довольно подробное пошаговое описание реализации бота для отображения курсов валют.

В итоге, тестовый бот создан (в основном пока на материале этих статей) и первые результаты уже не могут не радовать (меня). Конечно же, до чего-то более-менее стоящего моему боту ещё очень далеко - пока только разбираюсь, что и как делается и провожу различные эксперименты.

UPD: Наткнулся на статью, в которой описывались явно не описанные ограничения, с которыми столкнулись при написании и эксплуатации одного Telegram-бота, и, хотя я при этой разработке ни с чем таким не сталкивался, решил сохранить ссылку на неё себе.

За последние несколько недель удалось вместе с Андреем написать несколько небольших программок на Python:

• нормализатор данных - удаление двойных и нестандартных пробелов, замена кавычек, пробелы вокруг скобок и знаков препинания, нормализация телефонных номеров; (посмотреть код)

  # -*- coding: utf-8 -*-
  __author__ = 'Stelletskiy_vv'
  
  ''' Описание модуля
  '''
  
  # список символов и строк для замены
  replace_list = [
      # пробелы 160
      (' ', ' '),
      # кавычки
      ('«', '"'),
      ('»', '"'),
      ('“', '"'),
      ('”', '"'),
      # ошибки
      (',,', ','),
      # строки
      ('ж019', 'Ж019'),
      # (' город ', ' г. '),
      # (' улица ', ' ул. '),
      # (' дом ', ' д. '),
      # (' строение ', ' стр. '),
      # (' помещение ', ' пом. ')
  ]
  
  # список знаков пунктуации/препинания
  punct_list = [')', ',', ';', ':']
  
  
  def NormalizeName(st, isPhone):
      st1 = st.strip()
      # замена символов и строк (из списка)
      for item in replace_list:
          st1 = st1.replace(item[0], item[1])
  
      # добавление пробелов после знаков припинания
      for item in punct_list:
          st1 = st1.replace(item, item + ' ')
      # перед открыв. скобкой
      st1 = st1.replace('(', ' (')
  
      # удаление двойных пробелов
      st2 = ''
      while st1 != st2:
          st2 = st1
          st1 = st1.replace('  ', ' ')
  
      # удаление пробелов перед знаками препинания
      for item in punct_list:
          st1 = st1.replace(' ' + item, item)
      # после открыв. скобки
      st1 = st1.replace('( ', '(')
  
      # лишние пробелы рядом с кавычкой
      st1 = st1.replace(' " ', '"')
      # в начале строки
      if st1[:2] == '" ':
          st1 = '"' + st1[2:]
      # в конце строки
      if st1[-2:] == ' "':
          st1 = st1[:-2] + '"'
  
      st1 = st1.strip()
  
      if isPhone:
          st1 = st1.replace(') ', ')')
          # хак - удалим пробел после двоеточения во времени
          st1 = st1.replace(': 0', ':0')
          st1 = NormalizePhone(st1)
  
      return st1
  
  def NormalizePhone(st):
      st = st + '!'
      sl = st.split(' ')
      st = ''
      s = ''
      sorig = ''
      for item in sl:
          # print(item)
          if sorig != '':
              sorig += ' '
          sorig += item
          i = 0
          while i < len(item):
              if item[i].isdigit() or item[i] == '-' or item[i] == ')' or
                  (item[i] == '(' and len(s) < 2) or (item[i] == '+' and s == ''):
                  if item[i].isdigit():
                      s = s + item[i]
                      # print ('s='+s)
              else:
                  if len(s)==10 or len(s)==11:
                      if len(s)==11:
                          if s[0]=='7' or s[0]=='8':
                              s=s[1:]
                      if len(s)==10:
                          if s[0] == '9' or s[:3] in ['495', '499', '496', '800', '812']:
                              sorig = '(%s)%s-%s-%s' % (s[:3], s[3:6], s[6:8], s[8:])
                              if i==0:
                                  sorig +=' '
                              sorig += item[i:]
                          else:
                              sorig = sorig.replace('8 (', '(')
                              sorig = sorig.replace('+7 (', '(')
                              sorig = sorig.replace('7 (', '(')
  
                  if st != '':
                      st += ' '
                  st += sorig
                  # print('st='+st)
                  s=''
                  sorig=''
  
                  break;
              i+=1
      return st[:-1]
  
  if __name__ == "__main__":
      # примеры для отладки
      st = ' ООО   КДЛ   «Новые люди»( г.Петропавловск )(  ж019 ) '
      print(st, '
  ', NormalizeName(st))
      st = '+7(3456)30-40-50, 7 (8321)25-50-75, 8(3948)248-248'
      print(st, '
  ', NormalizePhone(st))
      st = '8 (495)1231234 +7 999 333-66-99'
      print(st, '
  ', NormalizePhone(st))
  

• два разных алгоритма для сравнения двух разных типов структурированных данных - сравнения прайс-листов и поиска похожих наборов исследований (профилей или диагностических панелей). (посмотреть код)

  # -*- coding: utf-8 -*-
  __author__ = 'Stelletskiy_vv'
  
  ''' Описание модуля
  '''
  
  def compare (d1, d2):
      # удаление одинаковых
      k1 = list(d1.keys())
      for key in k1:
          p1 = d1[key]
          if key in d2:
              p2 = d2[key]
              if p1 == p2 and p1[0] == p1[1]:
                  del d1[key]
                  del d2[key]
  
      # вывод результатов
      k1 = list(d1.keys())
      k1 += list(d2.keys())
      k1 = set(k1)
      k1 = list(k1)
      k1.sort()
      for key in k1:
          er = 'Не совпала цена'
          if key in d1:
              st1 = d1[key]
              if st1[0] == st1[1]:
                  st1 = st1[1]
              else:
                  er = 'срочная != обычной'
          else:
              st1 = '---'
              er = 'Нет в первом'
          if key in d2:
              st2 = d2[key]
              if st2[0] == st2[1]:
                  st2 = st2[1]
              else:
                  er = 'срочная != обычной'
          else:
              st2 = '---'
              er = 'Нет во втором'
          print(er, '|', key, '|', st1, '|', st2)
  
  if __name__ == "__main__":
      d1={}
      d2={}
  
      # заполнение первого
      d1['А1'] = (100,100)
      d1['Б1'] = (90,90)
      d1['В1'] = (80,90)
      d1['Г1'] = (70,70)
      d1['Д1'] = (60,60)
      # заполнение второго
      d2['Д1'] = (65,65)
      d2['Б1'] = (90,90)
      d2['Г1'] = (70,70)
      d2['В1'] = (80,80)
      d2['Е1'] = (50,50)
      compare(d1,d2)
  

• парсер логов, который позволил увидеть цельную картину происходящего и разобраться в одной довольно запутанной ситуации.

И хотя все эти программы были довольно таки не сложные, всё равно удалось попрактиковаться в программировании, с пользой провести время, а также закрепить и приобрести новые знания (Андрею) и "размять" мозги.

Дополнительным плюсом было то, что все эти программы (которые мы оформили в виде модулей) после написания нашли применение на практике, т.е. это были решения прикладных задач и практически сразу после написания были использованы на работе для автоматизации и сокращения объема ручного труда.

При получении данных с MSSQL-сервера с помощью pymssql столкнулся с тем, что данные поступают в нечитаемом виде:

15 Äðîçäîâ False 165
16 Çàéöåâà False 95

Сначала попробовал исправить кодировку полученных данных в python-скрипте - к сожалению, не получилось.

Потом была идея исправить это указав кодировку при подключении к MSSQL, например:
Connection = pymssql.connect(server, user, password, database, charset='WINDOWS-1251')

Но подобрать кодировку, с которой данные приходили бы в нормальном виде, также не удалось.

В итоге, в Интернете был найдено следующее решение - попробовать привести на MSSQL тип колонки к NVARCHAR.
После этого данные стали поступать в нормальном виде.

На выходных удалось немного попрограммировать на Python - разбирали с ребёнком решения задач. В итоге с удовольствием освежил и закрепил свои знания и навыки, а также удалось узнать кое что новое: впервые на практике применил несложный, но новый для меня приём, вместе разобрали решения нового для меня круга задач (работа с изображениями, цветовые схемы BGR и HSV(B), распознавание информации с изображений), поверхностно познакомились с возможностями пакетов/библиотек NumPy и cv2.

В очередной раз получил массу удовольствия от программирования на Python.