Представлены решения граничных задач электродинамики для собственных волн коаксиальных четырехреберных волноводов методом интегральных уравнений с использованием предложенных систем ортогональных базисных функций, корректно учитывающих сингулярное поведение поля на ребрах. Приведенные формулы позволяют рассчитать критические волновые числа и распределения электрического и магнитного полей волн типов ТЕМ, ТЕ и ТМ при наличии ребер на внутреннем или на внешнем проводящем цилиндре. Проведен анализ сходимости численных решений для критических волновых чисел в зависимости от количества базисных функций и парциальных мод. Показано, что для расчета критических волновых чисел с остаточной погрешностью, меньшей 0,1%, достаточно использовать 7 предложенных ортогональных базисных функций, корректно учитывающих сингулярность поля на ребрах, и 21 парциальную моду.