Ну, во-первых, будем работать не со всей окружностью, а с ее четвертью.
Представим ее столбцами (ну вот как-то так - четверть окружности с центром в начале координат, соотв 1 четверти координатной плоскости):
**
***
***
****
как мы видим, при проходе слева направо высота столбцов убывает, то есть если в n-ном столбце m целочисленных точек (точку, лежащую на оси, не считаем), то между ним и n-1 будет m квадратиков.
сколько целочисленных точек в первом столбике - мы знаем (y0=trunc®)
во втором столбце координата х1=1
проверим, попадет ли точка (x1,y0) в наш круг. Если попала - отлично, количество квадратиков первого столбца знаем (y0). y1=y0. иначе - y1=y0-1. опять проверяем, пока не попадет.
Переходим на следующий. x2=2...
и так, пока хn<>trunc®
разумеется, столько переменных вводить не надо. это я для наглядности
-----
это если центр в начале координат
надо подумать, что изменится при смещении центра